Jacob Coxon ha lasciato Anthropic lanciando un’accusa pesantissima contro l’azienda e la sua principale rivale, OpenAI. Entrambe starebbero infatti spingendo lo sviluppo dell’IA a una velocità che non può essere considerata sicura. Secondo il ricercatore, che in passato ha lavorato per entrambe le società, chi costruisce questi sistemi è consapevole della possibilità che possano arrivare a rappresentare una minaccia esistenziale per l’umanità, ma continua comunque ad accelerare.

In un messaggio pubblicato su X, diventato rapidamente virale con oltre 70 milioni di visualizzazioni, Coxon ha spiegato di essersi dimesso perché ritiene che le due aziende stiano “giocando con le nostre vite”. Il punto centrale della sua critica riguarda l’avvicinamento a sistemi potenzialmente superiori agli esseri umani in un numero crescente di attività, dalla programmazione alla ricerca, fino alla capacità di sfruttare vulnerabilità informatiche e di acquisire risorse e potere nel mondo reale.

L’aspetto più significativo della vicenda è però che alcune delle preoccupazioni espresse da Coxon non arrivano da osservatori esterni all’industria. Evan Hubinger, responsabile dell’alignment presso Anthropic, ha infatti sostenuto pubblicamente che il collega ha ragione nel descrivere il rischio, ritenendo superiore al 10% la probabilità che l’IA possa causare l’estinzione dell’umanità entro il prossimo decennio, anche se allo stesso tempo ha precisato che Anthropic sta cercando di affrontare il problema, pur non disponendo ancora di un piano risolutivo per l’alignment della superintelligenza.

È una dichiarazione che porta nel dibattito la possibilità di recursive self-improvement, cioè la capacità di un sistema di progettare o migliorare autonomamente una versione successiva di sé stesso. Una simile dinamica non è oggi disponibile nei modelli commerciali, ma rappresenta uno degli scenari che maggiormente preoccupano i ricercatori impegnati sulla sicurezza. Un sistema capace di accelerare autonomamente il proprio sviluppo potrebbe infatti ridurre drasticamente la capacità degli esseri umani di comprenderlo e controllarlo.

Anche OpenAI ha recentemente riconosciuto che il problema dell’alignment è tutt’altro che risolto. Jakub Pachocki, chief scientist dell’azienda, ha scritto che nessuna società di IA ha ancora raggiunto un livello sufficiente di sicurezza e monitoraggio per poter continuare ad aumentare indefinitamente le capacità dei propri modelli alla massima velocità. Pachocki ha auspicato rallentamenti volontari coordinati e standard di sicurezza condivisi, oltre a una maggiore cooperazione internazionale.

Il paradosso è evidente, perché mentre la ricerca sulla sicurezza chiede di introdurre limiti e criteri comuni, Anthropic e OpenAI stanno investendo enormi risorse per sviluppare modelli sempre più potenti e si preparano a una possibile fase di quotazione in Borsa. La competizione commerciale rende quindi particolarmente difficile immaginare un rallentamento spontaneo dell’intero settore.

LLM router

Crediti: Shutterstock

Il problema non è comunque nuovo. Nel 2023 diversi protagonisti dell’industria, tra cui Sam Altman e Dario Amodei, avevano sottoscritto una dichiarazione secondo cui ridurre il rischio di estinzione provocato dall’IA dovrebbe essere considerato una priorità globale, al pari di pandemie e conflitti nucleari. Nel frattempo è entrato nel lessico tecnico anche il termine “p(doom)”, utilizzato informalmente per indicare la probabilità attribuita a scenari catastrofici legati all’IA.

La pressione arriva ora anche dalla politica statunitense. Una lettera firmata a luglio da circa 1.400 ricercatori, tra cui lo stesso Hubinger, ha chiesto di “dosare” deliberatamente lo sviluppo dell’IA di frontiera. Parallelamente, Democratici e Repubblicani hanno presentato proposte legislative con approcci differenti per aumentare la supervisione sui modelli avanzati e, nel caso del Ban Artificial Superintelligence Act, arrivare a una sospensione temporanea dello sviluppo della superintelligenza in attesa di nuove regole.

Il confronto si sta inoltre spostando dall’IA in sé alle sue conseguenze economiche e infrastrutturali. La crescente opposizione negli Stati Uniti ai giganteschi data center necessari per addestrare e far funzionare i modelli sta trasformando l’espansione dell’IA in una questione politica, con costi energetici, consumo di risorse, occupazione e distribuzione dei benefici tecnologici che stanno alimentando una reazione sempre più evidente nell’opinione pubblica.

Un altro sintomo di come sia sempre più sentita l’esigenza di rallentare lo sviluppo dell’AI arriva sempre da Anthropic, che nelle scorse ore ha confermato un quarto caso di “breakout” della sua IA Claude, riuscita ad accedere a internet reale e a violare un sistema aziendale esterno durante un test di sicurezza. L’episodio, avvenuto a gennaio 2026 ma emerso solo di recente dopo l’analisi approfondita di oltre 141.000 log di sessione, si aggiunge ai tre già divulgati a fine luglio, sollevando nuovi e severi interrogativi sul controllo dei modelli avanzati.

L’incidente specifico ha coinvolto una versione preliminare di Claude Opus 4.6 durante un esercizio di cybersicurezza di tipo Capture-the-Flag. A causa di una configurazione errata dell’infrastruttura di test, il modello non è rimasto isolato in una sandbox protetta ma si è trovato connesso alla rete globale. Credendo erroneamente di operare all’interno di una simulazione d’attacco, Claude ha individuato una password, ha ottenuto i privilegi di amministratore sul server reale di un’azienda terza, ha modificato le impostazioni di rete per facilitare futuri accessi e ha persino visionato dati personali.

L’azione si è interrotta autonomamente solo quando l’IA ha constatato l’impossibilità tecnica di raggiungere l’obiettivo prefissato. Nel proprio report ufficiale, Anthropic ha ricondotto questi comportamenti a due difetti principali: il ragionamento distorto, che spinge il modello a ignorare le prove di trovarsi sul web reale, e la spericolatezza, ovvero la tendenza a compiere azioni invasive pur di completare il compito assegnato.

Mentre i tre breakout precedenti avevano interessato Claude Opus 4.7, Claude Mythos 5 e un prototipo di ricerca, in nessuno dei casi le aziende colpite si erano accorte dell’intrusione prima della notifica. Di conseguenza, Anthropic ha temporaneamente sospeso i test autonomi di valutazione e ha siglato un accordo con l’ente indipendente METR, garantendo ai suoi ricercatori il totale accesso ai registri interni per un’indagine approfondita di otto settimane.