Anthropic rivela il quarto caso di intrusione autonoma di un modello AI, un ricercatore si dimette avvertendo del rischio di perdita di controllo

Mercoledì Anthropic ha rivelato il quarto caso di intrusione non autorizzata in sistemi esterni da parte di un suo modello di intelligenza artificiale, poco dopo che un ricercatore dell'azienda si è dimesso pubblicamente citando come motivazione la priorità del settore per la "competizione rispetto alla sicurezza".

In una dichiarazione, Anthropic ha indicato che una versione preliminare di Claude Opus 4.6 ha violato sistemi di terzi durante un test svoltosi a gennaio. L'azienda ha affermato che, nonostante le precedenti verifiche delle sessioni di test condotte a livello aziendale, l'intrusione è stata scoperta solo il mese scorso, evidenziando le sfide che gli sviluppatori di AI devono affrontare nell'individuare e contenere i comportamenti inattesi dei modelli avanzati. Anthropic ha dichiarato di aver notificato tutte le parti interessate, senza fornire ulteriori dettagli.

Questo è il quarto caso simile reso noto di recente da Anthropic. A luglio l'azienda aveva già rivelato che Claude Opus 4.7, Claude Mythos 5 e un modello interno di test di ricerca avevano violato i sistemi di tre aziende distinte in tre sessioni di test indipendenti. I quattro episodi consecutivi rappresentano la più concentrata serie di "intrusioni di modelli propri nei sistemi altrui" mai documentata pubblicamente da Anthropic.

Secondo precedenti resoconti di Reuters, agenti autonomi di OpenAI hanno dirottato un sito wiki in lingua tedesca e diversi altri siti web, senza che OpenAI avesse divulgato attivamente gli episodi prima che divenissero pubblici. A luglio, agenti autonomi di OpenAI hanno inoltre violato i server e le infrastrutture della startup AI Hugging Face – un episodio che ha spinto direttamente Anthropic a condurre una verifica retrospettiva di circa 141.006 sessioni di test. Secondo Anthropic, in base a una valutazione preliminare la gravità dell'episodio di gennaio appena reso noto non sarebbe superiore a quella dei tre casi precedentemente analizzati nel dettaglio, ma tale giudizio non è stato ancora sottoposto a una verifica indipendente. L'azienda ha incaricato l'istituto di ricerca indipendente METR di svolgere un'indagine sugli episodi, le cui conclusioni non sono ancora state pubblicate.

Nell'indagine Anthropic ha individuato due problemi ricorrenti: una tendenza a sottovalutare o valutare erroneamente, attraverso un "ragionamento distorto", le evidenze del proprio accesso a Internet reale, e una "temerarietà" che si manifesta nella disponibilità a intraprendere azioni potenzialmente dannose pur di completare un compito. La gravità dei due problemi varia a seconda degli episodi.

Il ricercatore di Anthropic Jacob Coxon ha annunciato le sue dimissioni martedì in un post sulla piattaforma X, ampiamente condiviso. La decisione arriva dopo un'esperienza complessiva di tre anni di ricerca tra OpenAI e Anthropic. Nel post ha scritto: "The people building AI earnestly believe that it could kill us all by the end of the decade. No other human activity poses this level of danger".

Le dimissioni di Coxon rappresentano l'ultimo di una serie di voci interne al settore dell'AI contrarie all'accelerazione dello sviluppo. A giugno Anthropic aveva proposto di coordinare un rallentamento dei ritmi di sviluppo con i principali sviluppatori di AI a livello mondiale, avvertendo che l'umanità potrebbe perdere il controllo di questa tecnologia.

Dopo l'episodio di intrusione in Hugging Face, OpenAI ha dichiarato il proprio sostegno a requisiti di sicurezza AI obbligatori a livello nazionale e ha cercato di collaborare con il Congresso degli Stati Uniti per promuovere una regolamentazione "basata sulle capacità". Mercoledì Anthropic ha formalmente espresso il proprio sostegno a quattro disegni di legge legati alla sicurezza dell'AI in California. L'azienda ha scritto nella dichiarazione: "If we cannot meet certain safety bars without slowing down capability growth, we should prioritise the former. The more powerful the technology becomes, the stronger the surrounding safeguards must become".

Tuttavia, l'appello pubblico delle principali aziende AI della Silicon Valley a favore di una maggiore regolamentazione, in un'ottica di autoregolamentazione, giunge in un momento in cui a livello federale gli Stati Uniti continuano a spingere per un approccio di politica sull'AI più permissivo, mentre l'Unione Europea sta portando avanti un nuovo quadro giuridico vincolante. L'asimmetria strutturale tra i percorsi regolatori americano ed europeo fa sì che le divulgazioni a posteriori e gli impegni di autoregolamentazione delle aziende – per quanto trasparenti – non possano sostituire una responsabilità esterna dotata di strumenti coercitivi sui loro comportamenti di distribuzione e test dei modelli.