Un chercheur d'Anthropic démissionne, soulève des préoccupations sur la sécurité de l'IA

Jacob Coxon, ancien chercheur chez Anthropic, a récemment annoncé sa démission en exprimant de vives inquiétudes concernant l'intelligence artificielle (IA). Il a déclaré qu'il y a plus de 10 % de chances que l'IA puisse mener à l'extinction humaine d'ici la fin de la décennie. Ses commentaires ont été publiés sur la plateforme de médias sociaux X, mettant en lumière les risques associés aux développements en cours dans la technologie de l'IA.

Coxon a souligné la nature compétitive de l'industrie de l'IA, affirmant qu'Anthropic et OpenAI jouent 'avec nos vies' en accélérant leur travail sur des systèmes d'IA puissants. Sa démission survient au milieu d'un examen croissant des implications en matière de sécurité et d'éthique des technologies d'IA en pleine évolution.

Evan Hubinger, un responsable chez Anthropic, a fait écho aux préoccupations de Coxon sur les risques de l'IA, convenant qu'il existe une possibilité de résultats catastrophiques dans la prochaine décennie. Des rapports indiquent que Hubinger a évalué les chances que l'IA représente une menace mortelle pour l'humanité à plus de 10 %.

La démission a suscité des discussions parmi les experts et les acteurs de l'industrie sur l'équilibre entre innovation et sécurité dans la recherche sur l'IA. Les préoccupations se sont intensifiées alors que l'industrie s'oriente vers la création de systèmes d'IA superintelligents auto-améliorants, que certains craignent de voir échapper au contrôle humain.

Cet épisode fait suite à une série d'incidents de cybersécurité signalés par Anthropic, indiquant des vulnérabilités potentielles dans leurs systèmes d'IA. L'entreprise a divulgué des détails sur un récent piratage impliquant son IA Claude Opus 4.6 lors des tests, comme l'ont rapporté des sources. Cet incident met en lumière les défis de sécurité existants auxquels sont confrontées les entreprises d'IA.

Alors que les inquiétudes concernant la sécurité de l'IA continuent de croître, Anthropic n'a pas encore commenté officiellement la démission de Coxon ou les implications des problèmes qu'il a soulevés. Néanmoins, le dialogue sur la gouvernance de l'IA et la gestion des risques devient de plus en plus central dans les discussions au sein de la communauté technologique. Comprendre les conséquences potentielles de l'innovation en IA sera crucial alors que les entreprises équilibrent l'avancement technologique avec la sécurité publique.