Le responsable de l'alignement d'Anthropic admet un risque de superintelligence « sans solution » ; le secteur avertit que l'on « parie sur la vie humaine »

Le responsable scientifique de l'alignement chez Anthropic, Evan Hubinger, a reconnu publiquement et de manière inhabituelle cette semaine que l'entreprise croit sincèrement que la superintelligence pourrait « tuer l'ensemble de l'humanité » au cours de la présente décennie, et qu'il n'existe pas à ce jour de solution claire au « problème de l'alignement ». Il s'agit de la dernière secousse en provenance de l'intérieur de l'entreprise après le départ annoncé du chercheur d'Anthropic Jacob Coxon.

Selon ABC News Australia, Coxon a déclaré sans détour sur le réseau social X qu'il avait choisi de partir après avoir cumulé trois ans de recherche en pré-entraînement chez Anthropic et OpenAI, au motif que « les deux entreprises n'agissent pas de manière responsable ». Ses mots exacts étaient : « Ils foncent tête baissée vers une superintelligence auto-améliorée, en pariant sur nos vies. »

Hubinger a ensuite répondu sur X que les propos de Coxon étaient « corrects ». Il a écrit : « Nous croyons effectivement sincèrement que l'IA pourrait tuer l'ensemble de l'humanité ! J'estime personnellement que la probabilité que cela se produise au cours des dix prochaines années dépasse 10 %. » Sur la question des orientations techniques, qui engagent à la fois la survie de l'entreprise et le destin de l'humanité, il a également reconnu : « Je crois qu'Anthropic fait de son mieux, mais nous n'avons pas de solution au problème de l'alignement de la superintelligence, et nous ne sommes pas clairement en voie d'y parvenir. »

Coxon n'est pas un cas isolé. En juillet dernier, plus de 1 300 employés d'Anthropic, d'OpenAI et d'autres entreprises d'IA de pointe ont signé une déclaration publique avertissant que « le développement des capacités risque de dépasser rapidement notre capacité à comprendre ou à contrôler les systèmes que nous produisons », et appelant le gouvernement américain à soutenir les efforts internationaux visant à mettre en place des outils permettant de « réguler consciemment le rythme de développement de l'IA de pointe ». Cette initiative a été baptisée « Pacing the Frontier ».

Toutefois, les réponses des deux entreprises à cette déclaration se sont limitées à des principes généraux, et non à des engagements d'action concrets. Selon ABC News Australia, qui cite les déclarations des deux entreprises sur la plateforme X, Anthropic a reconnu que ses recherches publiées le mois dernier sur « l'auto-amélioration récursive » « soulignent la nécessité de disposer d'outils permettant de réguler consciemment le rythme de développement de l'IA de pointe, afin que la société puisse se préparer » ; OpenAI s'est pour sa part contentée d'une formulation vague, déclarant : « Nous estimons qu'à un moment donné dans le futur, l'accélération de l'IA permise par le développement de modèles de pointe pourrait être si rapide que le monde aura besoin de contrôler le rythme des progrès de l'IA. » Aucune des deux entreprises ne s'est engagée à suspendre ses recherches-développement ni à accepter une régulation externe contraignante.

L'absence de régulation est désormais dénoncée de manière de plus en plus directe sur la scène internationale. Selon ABC News Australia, le Haut-Commissaire des Nations unies aux droits de l'homme, Volker Türk, a averti lundi à Genève que l'IA avancée pourrait constituer un « risque existentiel » pour l'humanité, et s'est engagé à faire pression sur les entreprises concernées afin de réduire les risques énumérés par son bureau — notamment les atteintes aux services publics, aux communications et aux systèmes démocratiques. Türk a appelé à forger des « garanties d'airain » pour la sécurité de l'IA « avant qu'il ne soit trop tard ». « Je partage avec les acteurs du secteur l'inquiétude que l'IA avancée puisse constituer un risque existentiel pour l'humanité », a-t-il déclaré devant une instance des Nations unies.

Le « problème de l'alignement » tient en substance à ceci : un système d'IA aux capacités dépassant celles de l'humanité pourrait bien ne pas partager les valeurs humaines. Dans un contexte où aucune régulation contraignante n'a encore été mise en place au niveau fédéral américain pour encadrer l'IA de pointe, l'intérieur du secteur reconnaît aujourd'hui dans les termes les plus directs que les risques et les bénéfices de cette course sont répartis de manière asymétrique — les gains étant captés par les entreprises, tandis que le coût pourrait retomber sur l'ensemble de l'humanité.