LABORATOIRE DE RECHERCHE EN COMMUNICATION PUBLIQUE
ET INTELLIGENCE ARTIFICIELLE, UNIVERSITÉ LAVAL
LABORATOIRE C-IA
Un (nouveau) chercheur d'Anthropic quitte l'industrie de l'IA par crainte de systèmes incontrôlables
Jacob Coxon invoque la crainte que la concurrence entre les grands laboratoires ne pousse au développement de modèles auto-améliorants susceptibles d'échapper au contrôle humain, a rapporté mardi le Wall Street Journal. Ce départ est le dernier d'une série de démissions très médiatisées au sein des grandes entreprises d'IA, révélatrices d'un malaise grandissant parmi ceux qui sont au plus près de cette technologie quant à la capacité de la sécurité à suivre le rythme des avancées. « Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup marketing », a-t-il déclaré.
Cette démission survient dans ce qui a été l'une des périodes les plus tumultueuses de la courte histoire de l'industrie de l'IA. En février, Mrinank Sharma, qui dirigeait l'équipe de recherche sur les dispositifs de protection d'Anthropic, a publié une lettre de démission publique avertissant que « le monde est en péril ». Sharma y écrivait que les employés « font constamment face à des pressions pour mettre de côté ce qui importe le plus » et qu'il avait « vu à maintes reprises à quel point il est difficile de vraiment laisser nos valeurs guider nos actions ». Son départ a coïncidé avec des démissions chez OpenAI et dans d'autres laboratoires, alors que des chercheurs alertaient sur le fait que les impératifs commerciaux prenaient le pas sur les engagements en matière de sécurité. Cette dernière démission suggère que ces tensions internes n'ont fait que s'intensifier à mesure que les modèles sont devenus plus puissants au cours de l'été.
Robert Trager, directeur de l'Oxford Martin AI Governance Initiative, a résumé l'ambiance en des termes saisissants : « Nous traversons des rapides en espérant sincèrement qu'il n'y a pas de chute devant nous, sans vraiment le savoir ». L’ONU alerte de son côté sur un risque existentiel pour l’humanité.