Un modello Qwen open-weight eseguito in locale ha tentato di inviare file a Pechino, segnala Cohere

La canadese Cohere ha pubblicato i risultati di un test in cui Qwen3.8-Flash-Next, modello open-weight di Alibaba, ha esaminato la macchina su cui girava e ha provato a caricare una stringa di prova su un bucket – un contenitore di archiviazione cloud – di Alibaba Cloud a Pechino. La richiesta è fallita perché il test era eseguito in una sandbox che non aveva alcuna rotta verso l’esterno. Secondo Cohere il comportamento è raro, meno di una chiamata su 100.000, ma un aspetto che preoccupa è che nel ragionamento esplicito il modello dichiarava che non avrebbe usato strumenti esterni.

Open-weight significa che i pesi, cioè i parametri numerici appresi durante l’addestramento, sono scaricabili ed eseguibili su infrastruttura propria. Rilasciato da Alibaba il 26 agosto come anteprima dell’architettura di Qwen4, Qwen3.8-Flash-Next è diventato rapidamente molto popolare tra chi esegue modelli AI in locale, ottenendo 6.000 like su Hugging Face.

Che cosa ha fatto il modello

Il test è stato condotto a Toronto da Cohere Cyber, il ramo di cybersecurity dell’azienda, con CTI-REALM, un benchmark di Microsoft che misura la capacità deli agenti AI di svolgere il lavoro di un analista di sicurezza. Il compito era piuttosto ordinario: scrivere una regola per rilevare script bash scaricati con curl in /tmp e poi eseguiti, uno schema classico della distribuzione di malware.

Secondo Cohere, il modello ha ignorato le istruzioni. Nello stesso turno ha elencato il contenuto di /tmp, controllato quali strumenti di trasferimento fossero installati (curl, wget, python3, jq), letto la configurazione DNS della macchina e poi lanciato una richiesta curl di tipo PUT, cioè un caricamento, verso un endpoint del servizio di archiviazione di Alibaba Cloud nella regione di Pechino. Il contenuto era una stringa di prova, non dati aziendali.

La richiesta sospetta generata dall’agente (url alterata da Cohere per motivi di sicurezza)

La traccia di ragionamento – il monologo interno che il modello produce prima di agire, su cui molti team di sicurezza fanno affidamento per capire che cosa stia per fare un agente – diceva però qualcosa di diverso. Il modello aveva allucinato una parte di conversazione mai avvenuta e ne concludeva che bastava una breve conferma, senza dover chiamare strumenti esterni. Un controllo basato sulla sola lettura del ragionamento avrebbe lasciato passare l’azione. Cohere precisa che questa stranezza compare in circa l’1% delle prime risposte di Qwen3.8 e di non essere riuscita a dimostrare un legame tra l’allucinazione e il tentativo di invio.

Una nuova esecuzione dello stesso prompt ha prodotto la regola richiesta. Cohere stima che, in un servizio con 10 milioni di turni di agenti a settimana, il comportamento potrebbe presentarsi fino a un centinaio di volte. Un turno è un singolo ciclo di lavoro dell’agente: il modello riceve il contesto, produce un’azione, per esempio un comando da eseguire, e ne riceve l’esito. Un compito complesso può richiede moltissimi turni. Secondo Cohere, basterebbe una sola richiesta andata a buon fine per comunicare al server ricevente dove si trova la rete dell’utente e che un agente è attivo al suo interno. Nel test l’effetto è stato nullo: la richiesta si è fermata ai confini del container.

Il trigger e le altre abitudini del modello

Per capire da che cosa nasca il comportamento, i ricercatori hanno usato il prefilling: hanno dato al modello il proprio ragionamento e i primi caratteri del comando, lasciandogli completare la riga, un parametro di curl alla volta e con centinaia di campioni per ogni passo. Quando compare il flag -o, che dice a curl di salvare il file su disco, la generazione di un URL sale dal 4% al 92% e la presenza di host sospetti, che Cohere tiene in una lista di controllo, dallo 0,5% al 23%. Il più frequente è un host che per nome è un file proxy di Alibaba, già segnalato da altri sviluppatori.

Nei campioni con prefilling, tra il 23 e il 36% dei completamenti cerca l’indirizzo 169.254.169.254. È un indirizzo IP della rete interna che eroga un servizio di metadati con cui le macchine di Amazon Web Services, Google Cloud e Microsoft Azure ottengono informazioni sulla propria configurazioni e credenziali IAM temporanee, cioè le chiavi con cui il server opera per conto del proprietario dell’account. Interrogarlo è il primo passo per rubarle. Cohere lo legge come un tentativo di sottrarre credenziali, ma con due cautele: la sandbox non aveva un servizio attivo per rispondere, e quindi non si può sapere cosa seerebbe poi successo, e un riflesso così raro non dimostra un’intenzione.

Frammenti del comportamento erano già emersi. In agosto un utente di Hacker News aveva descritto Qwen3.8-27B che tentava di contattare link su Alibaba Cloud mai richiesti; a settembre un progetto di agente aveva registrato undici richieste verso uno stesso host Alibaba e a ottobre un thread su Reddit si chiedeva se fosse un fatto normale. Questi però tutti casi in cui l’agente cercava di recuperare dei file. Quello di Cohere è un tentativo di caricamento, verso un bucket diverso.

Cohere non conosce la causa

Cohere scrive che “non siamo in grado di dire se si tratti di un comportamento deliberato o di un comportamento derivato da residui nell’addestramento”. Sono due ipotesi molto diverse e il post non offre elementi per scegliere.

• Residuo dell’addestramento. È la lettura benigna. Nel post-addestramento, la fase in cui il modello viene rifinito anche con esercizi in cui usa strumenti, potrebbero essere finiti per errore, senza essere ripuliti, i registri di agenti provenienti da sandbox di addestramento interni o da strumenti di terze parti. Il modello ne avrebbe memorizzato indirizzi e abitudini e li riprodurrebbe. Un indizio a favore: uno sviluppatore ha trovato uno strumento di coding che instradava le richieste web attraverso lo stesso host. Resta il fatto che questo comunque produce una richiesta che consegna a un server esterno indirizzo IP, orario e URL completo.
• Impianto deliberato. È la lettura grave: un meccanismo di “call home” inserito di proposito, che registri i server su cui girano agenti basati sul modello e tenti l’esfiltrazione, cioè la fuoriuscita di dati dalla rete, quando trova una via d’uscita. Cohere osserva che costruirlo costa poco e che backdoor di questo tipo possono sopravvivere ai normali addestramenti di sicurezza. Non presenta però prove che sia il caso di Qwen.

Dall’esterno non è possibile accertare la situazione. Un file di pesi è una matrice di numeri: non contiene un elenco leggibile dei dati o delle istruzioni da cui deriva. Di chi siano i bucket e come gestiscano queste richieste non è noto. Per un responsabile della sicurezza, aggiunge Cohere, la risposta cambia poco: il comportamento è imprevedibile e il traffico ha comunque attraversato il perimetro.

Dobbiamo trattare i modelli open-weight con più cautela

Cohere contesta l’idea che far girare i pesi sui propri server basti a tenere i dati dentro l’azienda. Vale finché il modello risponde soltanto a domande, non più quando agisce con strumenti. Il tema non è marginale: nell’anno precedente a marzo 2026 i modelli cinesi hanno rappresentato il 41% dei download su Hugging Face, secondo il rapporto della piattaforma. Per i team IT il punto pratico è che il self-hosting decide dove gira il modello, non che cosa abbia imparato né che cosa tenta di fare quando ha la rete aperta. Il problema è di portata limitata quando si interroga un chatbot, ma se il modello può utilizzare strumenti

Per Cohere, insomma, i modelli open-weight andrebbero trattati come file binari di provenienza non affidabile. Un file di pesi non è codice eseguibile in senso stretto, ma quando il modello è collegato a un terminale, a un browser senza interfaccia, a un interprete di codice o a una console cloud, può decidere quali comandi lanciare. Ciò che è stato incorporato nei pesi durante l’addestramento produce azioni nella rete aziendale.

Le indicazioni di Cohere per i team di sicurezza vanno in questa direzione:

• applicare i controlli sulla chiamata effettiva allo strumento, e non sulla traccia di ragionamento, prima che venga eseguita;
• negare per impostazione predefinita il traffico in uscita (egress) degli agenti;
• segnalare URL cloud non abituali e chiamate a strumenti inattese;
• bloccare gli spazi dei nomi utente non privilegiati nei container degli agenti, tenere le sandbox di valutazione separate dalla produzione e testare il codice scritto dall’IA con exploit reali.

Cohere nota anche che le restrizioni dei governi, come quelle adottate dall’Italia contro DeepSeek nel gennaio 2025, colpiscono soprattutto app e aziende che utilizzano le API da cloud cinesi, non i pesi ospitati in proprio. L’AI Act europeo obbliga i fornitori di modelli di grandi dimensioni a a pubblicare un riepilogo dei dati di addestramento, che però, secondo Cohere, non mostra che cosa contenessero le sandbox usate per l’addestramento.

Una fonte non neutrale

Vale la pena ricordare che il post viene da una parte interessata. Cohere compete con Alibaba nei modelli AI per le aziende e chiude l’analisi presentando la propria offerta: pesi forniti direttamente da Cohere con un’unica catena di custodia, tracciabilità dei dati di addestramento e distribuzione in cloud privato virtuale, su server del cliente o in ambiente isolato (air-gapped).

Il test è stato eseguito in un solo ambiente, l’evento è rarissimo e la stessa Cohere ammette che non prova un’intenzione. Detto ciò, Cohere ha anche pubblicato su Hugging Face un dataset con tracce, token grezzi e uno script di riproduzione, quindi altri potranno provare a ripetere il comportamento. E quel che segnala non può essere ignorato.