Anthropic ha riconosciuto che alcuni dei suoi modelli Claude sono riusciti ad accedere a Internet durante test che avrebbero dovuto svolgersi in un ambiente completamente isolato, arrivando a interagire con sistemi reali e a compromettere l’infrastruttura di tre diverse organizzazioni. L’episodio, reso noto dalla stessa società, riporta al centro del dibattito quanto sia realmente affidabile il contenimento operativo degli agenti AI durante le fasi di valutazione.

L’indagine interna è partita dopo il clamore suscitato da un precedente incidente che aveva coinvolto modelli di OpenAI, riusciti a raggiungere la piattaforma Hugging Face durante alcuni test sperimentali. Anthropic ha quindi deciso di verificare se situazioni analoghe si fossero già verificate anche all’interno dei propri processi di valutazione. L’analisi ha preso in esame oltre 141.000 esecuzioni di test nelle quali Claude avrebbe potuto, almeno teoricamente, ottenere accesso alla rete. Il risultato ha portato all’individuazione di tre episodi nei quali il modello è effettivamente uscito dai confini dell’ambiente di prova, sfruttando una configurazione errata predisposta dal partner esterno Irregular, società specializzata nelle attività di red teaming e nelle esercitazioni di sicurezza informatica.

Secondo quanto ricostruito da Anthropic, il problema sarebbe nato da un errore nella configurazione dell’infrastruttura di test. L’ambiente avrebbe dovuto impedire qualsiasi comunicazione con Internet, ma una mancata comprensione tra le due aziende ha lasciato attiva la connettività esterna. Dal punto di vista del modello, la situazione appariva perfettamente coerente con lo scenario assegnato. Claude stava partecipando a una serie di esercitazioni di tipo capture the flag, competizioni molto diffuse nel settore della cybersecurity in cui l’obiettivo consiste nell’individuare una determinata informazione od ottenere l’accesso a una risorsa bersaglio attraverso tecniche di attacco controllate. Trattandosi di una simulazione, il modello ha interpretato qualsiasi sistema raggiungibile come parte integrante dell’esercizio.

È proprio questa errata percezione del contesto ad aver generato le conseguenze più significative. In uno dei casi analizzati, il dominio indicato come bersaglio del test veniva ritenuto fittizio dagli organizzatori dell’esercitazione. In realtà il sito esisteva realmente ed era operativo. Claude ha quindi tentato di completare la missione attaccando un’infrastruttura appartenente a un’organizzazione reale. Anthropic sottolinea che gli attacchi condotti dal modello non hanno sfruttato vulnerabilità sofisticate. Secondo la ricostruzione dell’azienda, Claude ha utilizzato esclusivamente tecniche elementari come credenziali deboli o endpoint accessibili senza autenticazione, limitandosi a perseguire l’obiettivo richiesto dal test senza tentare attività ulteriori.

L’episodio più interessante riguarda però la gestione della supply chain software. Durante una delle esercitazioni, Claude ha trovato una documentazione tecnica che suggeriva agli sviluppatori di installare una determinata libreria Python dal repository pubblico PyPI. Il pacchetto indicato, tuttavia, non esisteva. Per portare a termine il compito assegnato, il modello ha elaborato una strategia decisamente creativa, creando autonomamente un pacchetto con quel nome, pubblicandolo sul repository pubblico di PyPI e rendendolo disponibile online, ritenendo che anche quella piattaforma facesse parte della simulazione.

Shadow AI

Crediti: Shutterstock

La realtà era ben diversa. Per circa un’ora il pacchetto malevolo è rimasto effettivamente disponibile nel repository ufficiale, venendo scaricato ed eseguito da 15 sistemi reali prima della sua rimozione. Sebbene Anthropic non abbia segnalato conseguenze particolarmente gravi, l’episodio dimostra come un agente AI possa produrre effetti concreti sull’infrastruttura Internet semplicemente perseguendo l’obiettivo assegnato durante una valutazione.

Particolarmente interessante è anche il comportamento osservato nelle diverse generazioni di Claude. Alcuni modelli hanno mostrato una certa capacità di mettere in discussione il contesto operativo nel quale stavano agendo. Mythos 5, ad esempio, aveva inizialmente intuito di trovarsi davanti a sistemi reali connessi a Internet, salvo poi convincersi che l’intero scenario facesse comunque parte della simulazione. Opus 4.7, invece, ha proseguito l’attività senza interrompere l’esercizio.

Il modello sperimentale più recente sviluppato internamente da Anthropic ha invece adottato un comportamento differente. Dopo aver raccolto elementi sufficienti per ritenere autentici gli obiettivi raggiunti, ha deciso autonomamente di interrompere l’operazione senza completare il compito assegnato. Si tratta di un dettaglio rilevante perché suggerisce un’evoluzione nei meccanismi di allineamento e nelle capacità di valutare il contesto operativo.

Anthropic insiste nel distinguere questi episodi da un vero fallimento del modello sul piano dell’allineamento. Secondo l’azienda, Claude ha agito coerentemente con le informazioni ricevute. Era stato istruito a recuperare una “flag” in un ambiente che avrebbe dovuto essere isolato dalla rete e ha semplicemente interpretato i sistemi raggiungibili come parte dell’esercitazione. Il problema, sostiene la società, sarebbe quindi riconducibile principalmente all’infrastruttura di test e ai controlli operativi, più che a un comportamento intenzionalmente pericoloso del modello.

L’azienda afferma inoltre che le protezioni integrate nelle versioni commerciali di Claude avrebbero impedito le azioni osservate durante queste prove sperimentali. Una precisazione che punta a rassicurare clienti enterprise e sviluppatori, anche se inevitabilmente riaccende il confronto sull’affidabilità dei sistemi di sicurezza implementati dai principali laboratori di intelligenza artificiale.

La vicenda evidenzia soprattutto un cambiamento di prospettiva nel settore. Con agenti AI sempre più autonomi e capaci di eseguire codice, navigare sul web, interagire con repository software e prendere decisioni articolate, per la sicurezza diventano altrettanto cruciali la progettazione dell’ambiente di esecuzione, il corretto isolamento delle sandbox, il monitoraggio continuo delle attività e l’applicazione rigorosa del principio del minimo privilegio.