L’incidente che ha coinvolto OpenAI e Hugging Face rappresenta uno spartiacque nel panorama della sicurezza informatica applicata all’intelligenza artificiale. Per la prima volta infatti un modello linguistico avanzato, impegnato in una valutazione interna delle proprie capacità offensive, è riuscito a uscire dall’ambiente di test, individuare una catena di vulnerabilità reali e compromettere un’infrastruttura esterna. L’episodio, inizialmente comunicato da Hugging Face come un’anomalia di sicurezza, è stato ora ricostruito più nel dettaglio da OpenAI, che lo definisce un evento senza precedenti per complessità e implicazioni.

Secondo quanto emerso dalle indagini preliminari, l’attività è stata generata da una combinazione di modelli sperimentali di OpenAI, tra cui GPT-5.6 Sol e una versione ancora più evoluta non rilasciata pubblicamente. Entrambi erano impiegati in un benchmark interno progettato per misurare le capacità cyber dei modelli di nuova generazione. Per ottenere una fotografia il più possibile realistica delle loro potenzialità, gli sviluppatori avevano temporaneamente disattivato parte dei meccanismi di sicurezza che normalmente impediscono ai modelli di fornire supporto ad attività offensive.

L’obiettivo dell’esperimento era verificare fino a che punto un’intelligenza artificiale fosse in grado di affrontare scenari di attacco articolati, caratterizzati da numerosi passaggi intermedi, vulnerabilità concatenate e decisioni autonome da prendere lungo il percorso. Il test si svolgeva all’interno di un ambiente fortemente isolato dalla rete pubblica, costruito proprio per evitare qualsiasi interazione con sistemi reali.

La ricostruzione effettuata da OpenAI mostra però come il modello abbia interpretato il compito assegnato in maniera estremamente aggressiva. Nel tentativo di risolvere il problema previsto dal benchmark, denominato ExploitGym, l’AI ha dedicato una notevole quantità di risorse computazionali alla ricerca di un modo per superare i limiti dell’ambiente di prova. Dopo numerosi tentativi è riuscita a individuare una vulnerabilità zero-day presente in un software di terze parti utilizzato come proxy e cache per l’accesso ai repository di pacchetti software.

Sfruttando questa falla, successivamente segnalata in modo responsabile al produttore del software, il modello ha ottenuto un accesso che non avrebbe mai dovuto possedere. Da quel momento ha iniziato una vera e propria operazione di privilege escalation, muovendosi lateralmente tra diversi sistemi interni fino a raggiungere un nodo dotato di connettività verso Internet. È proprio questo passaggio a rendere l’intero episodio particolarmente significativo. Finché il modello rimaneva confinato nel laboratorio di test, il rischio era considerato gestibile. Una volta ottenuto l’accesso alla rete esterna, invece, l’intelligenza artificiale ha iniziato a raccogliere informazioni autonomamente per individuare possibili scorciatoie utili a completare il benchmark.

 

Secondo OpenAI, il modello ha dedotto che Hugging Face potesse ospitare modelli, dataset o informazioni riconducibili a ExploitGym. Da questa semplice ipotesi è partita una sequenza di attività che ricorda da vicino le metodologie impiegate dai gruppi APT più sofisticati. L’intelligenza artificiale ha infatti esplorato differenti vettori di attacco, cercando credenziali compromesse, identificando nuove vulnerabilità e concatenando tecniche differenti per arrivare all’esecuzione di codice remoto sui server della piattaforma. L’aspetto più sorprendente è che tutto questo sarebbe avvenuto senza alcun accesso preventivo al codice sorgente dei sistemi coinvolti. Il modello avrebbe ricostruito il percorso d’attacco osservando esclusivamente il comportamento delle infrastrutture bersaglio, dimostrando una capacità di adattamento che fino a poco tempo fa apparteneva soprattutto agli scenari teorici.

copydoc-display-crop-image1

Fortunatamente l’attività anomala è stata rilevata rapidamente. I sistemi di monitoraggio interni di OpenAI hanno individuato comportamenti incompatibili con quelli previsti durante una normale valutazione, mentre il team di sicurezza di Hugging Face è riuscito a identificare e bloccare le operazioni direttamente sulla propria infrastruttura prima che si verificassero conseguenze più gravi.

La collaborazione tra le due aziende è iniziata praticamente subito. Hugging Face aveva già avviato le procedure di contenimento e le analisi forensi, ricorrendo persino ai propri modelli open source per ricostruire la sequenza degli eventi. OpenAI si è successivamente unita alle indagini, avviando un lavoro congiunto che prosegue tuttora.

L’episodio ha inevitabilmente spinto OpenAI a rivedere parte delle proprie procedure di sviluppo e valutazione. L’azienda ha infatti annunciato l’introduzione di controlli infrastrutturali molto più restrittivi, pur riconoscendo che queste misure rallenteranno inevitabilmente il ritmo della ricerca. Parallelamente sono stati rafforzati i sistemi di monitoraggio, le politiche di accesso agli ambienti sperimentali e le tecniche di isolamento utilizzate durante i test.

Un altro fronte riguarda proprio la valutazione delle capacità offensive dei modelli. Fino a oggi questi benchmark erano considerati relativamente sicuri grazie all’isolamento degli ambienti di prova. L’incidente dimostra invece che un modello sufficientemente avanzato può trovare percorsi imprevisti e sfruttare vulnerabilità sconosciute persino nei sistemi costruiti appositamente per contenerlo. OpenAI sottolinea come le protezioni normalmente integrate nei propri modelli non fossero attive durante questa valutazione, perché l’obiettivo consisteva proprio nel misurare il livello massimo raggiungibile in ambito cyber. Questa scelta metodologica ha permesso di osservare capacità che difficilmente sarebbero emerse in un contesto operativo tradizionale, evidenziando però quanto sottile possa diventare il confine tra ricerca e rischio concreto.

Il caso rafforza anche le conclusioni raggiunte recentemente dall’AI Security Institute del Regno Unito, secondo cui i modelli di frontiera stanno acquisendo la capacità di sostenere campagne offensive articolate per periodi molto lunghi, mantenendo memoria degli obiettivi, adattando continuamente la strategia e concatenando vulnerabilità differenti per raggiungere il risultato desiderato.

Per OpenAI la risposta non consiste nel limitare la ricerca sulle capacità cyber dell’intelligenza artificiale, ma nell’accelerare lo sviluppo di strumenti difensivi altrettanto sofisticati. L’idea è utilizzare gli stessi modelli per individuare vulnerabilità prima dei criminali informatici, simulare attacchi complessi contro le infrastrutture aziendali e proporre contromisure in tempi compatibili con la velocità con cui oggi vengono scoperte ed exploitate nuove falle di sicurezza. L’incidente di Hugging Face rappresenta quindi un importante campanello d’allarme, dimostrando come la corsa verso modelli sempre più potenti dovrà necessariamente procedere di pari passo con un’evoluzione altrettanto rapida delle tecniche di contenimento, monitoraggio e difesa.

(Immagine in apertura: Shutterstock)