Anthropic-alignmentleider erkent openlijk "onoplosbaar" superintelligentie-risico, sector waarschuwt dat men "inzet op mensenlevens"

Evan Hubinger, hoofd alignmentwetenschap bij Anthropic, heeft deze week zelden voorkomen openlijk erkend dat het bedrijf intern oprecht gelooft dat superintelligentie binnen dit decennium mogelijk "de gehele mensheid kan uitroeien", en dat er momenteel geen duidelijke oplossing bestaat voor het zogenaamde "alignmentprobleem". Dit is de nieuwste schokgolf vanuit het bedrijf, nadat Anthropic-onderzoeker Jacob Coxon zijn vertrek had aangekondigd.

Volgens ABC News Australia verklaarde Coxon op sociale media X onomwonden dat hij na in totaal drie jaar pretrainingonderzoek bij zowel Anthropic als OpenAI had besloten om te vertrekken, omdat "geen van beide bedrijven verantwoordelijk heeft gehandeld". Zijn exacte woorden waren: "Ze racen regelrecht af op zelfverbeterende superintelligentie, en zetten ons leven in."

Hubinger reageerde vervolgens op X dat Coxons woorden "klopten". Hij schreef: "Wij geloven echt dat AI mogelijk de gehele mensheid kan uitroeien! Ik persoonlijk schat de kans dat dit binnen het komende decennium gebeurt op meer dan 10 procent." Over de technologische koers die de toekomst van zowel het bedrijf als de mensheid raakt, erkende hij tevens: "Ik geloof dat Anthropic zijn best doet, maar we hebben geen oplossing voor het alignmentprobleem van superintelligentie, en we bevinden ons ook niet duidelijk op een weg daar naartoe."

Coxon is geen alleenstaand geval. In juli van dit jaar ondertekenden meer dan 1.300 medewerkers van Anthropic, OpenAI en andere grensverleggende AI-bedrijven een gezamenlijke openbare verklaring waarin zij waarschuwden dat "de ontwikkeling van capaciteiten mogelijk snel ons vermogen zal overtreffen om de door ons gecreëerde systemen te begrijpen of te beheersen", en riepen zij de Amerikaanse overheid op om internationale inspanningen te steunen bij het opbouwen van instrumenten die "bewust het tempo van grensverleggende AI-ontwikkeling kunnen beheersen". Het initiatief kreeg de naam "Pacing the Frontier".

Beide bedrijven beperkten hun reactie op de verklaring echter tot principes, zonder concrete toezeggingen tot actie. Volgens ABC News Australia, die de X-platformverklaringen van beide bedrijven aanhaalt, erkende Anthropic dat zijn onderzoek over "recursieve zelfverbetering" dat het vorige maand publiceerde, "wijst op de noodzaak van instrumenten om bewust het tempo van grensverleggende AI-ontwikkeling te beheersen, zodat de maatschappij zich kan voorbereiden"; OpenAI stelde daarentegen vaag dat "wij geloven dat op een bepaald moment in de toekomst de AI-versnelling van grensverleggende modelontwikkeling zo hoog kan zijn dat de wereld de snelheid van AI-voortgang moet beheersen". Geen van beide bedrijven zegde toe de ontwikkeling te pauzeren of bindende externe regulering te accepteren.

Het ontbreken van regulering wordt op internationale bijeenkomsten steeds directer bij naam genoemd. Volgens ABC News Australia waarschuwde Volker Turk, Hoge Commissaris voor de Mensenrechten van de Verenigde Naties, maandag in Genève dat geavanceerde AI een "existentieel risico" voor de mensheid kan vormen, en zwoer hij druk op de betrokken bedrijven uit te oefenen om de risico's die zijn kantoor opsomde te beperken – waaronder de impact op openbare diensten, communicatie en democratische systemen. Turk riep op om "vóór het te laat is" "ijzersterke waarborgen" voor AI-veiligheid te smeden. "Ik maak me, net als mensen binnen de sector, zorgen dat geavanceerde AI een existentieel risico voor de mensheid kan vormen," aldus Turk tijdens een toespraak voor een VN-orgaan.

De kern van het "alignmentprobleem" is dat een AI-systeem dat de menselijke capaciteiten overtreft, mogelijk niet dezelfde waarden deelt als de mensheid. Nu er op federaal niveau in de Verenigde Staten nog geen bindend regelgevend kader voor grensverleggende AI tot stand is gekomen, erkent de sector zelf nu op de meest onomwonden wijze dat de verdeling van risico's en opbrengsten in deze race niet symmetrisch is – de winsten worden door de bedrijven opgestreken, terwijl de kosten mogelijk bij iedereen terechtkomen.