Indice dell'articolo

Satya Nadella, presidente e CEO di Microsoft, ha pubblicato sul suo blog personale un post intitolato “Models as Insider Risks in the Super Intelligence Era”, con cui propone di trattare i modelli di frontiera, chiusi od open weight, come un qualsiasi dipendente con accesso a sistemi critici, e quindi soggetto a un sistema di regole di supervisione, autorizzazione e traccabilità. Non perché siano necessariamente malevoli, ma perché anche un attore capace può sbagliare o essere ingannato. Il punto operativo è nella frase più citata del testo: “Dobbiamo presumere che il modello sia compromesso e contenerlo fin dall’inizio”.

Il saggio parte da un’ammissione. Nel software tradizionale è possibile ricondurre un comportamento uno specifico percorso nel codice; con i modelli attuali AI no. Eppure questi sistemi ricevono accesso ai dati più sensibili e la facoltà di compiere azioni critiche per conto delle aziende. Nadella accantona il problema dell’allineamento – cioè come garantire che il modello persegua davvero gli obiettivi voluti – e propone un approccio di contenimento: circondare modelli non deterministici con un’architettura deterministica, controlli umani e procedure affidabili. Creare cioè quella rete di sicurezza burocratica che nelle organizzazioni impedisce che l’errore o il dolo di un singolo dipendente possano causare danni rilevanti.

Il cuore della proposta è separare il modello dall’harness, lo strato software che orchestra il suo lavoro: gli assegna i compiti, gli mette a disposizione strumenti e dati, ne esegue le azioni. I controlli su cosa il modello può vedere e fare devono stare fuori dal modello, che non deve avere la possibilità di aggirarli né manometterli. Nadella richiama un principio della sicurezza informatica degli anni Settanta, quello che gli esperti conoscono come reference monitor: il meccanismo che applica i permessi deve essere sempre invocato esternamente e non alterabile dal programma che controlla.

Da qui discendono sette principi, tra cui la diversità dei modelli (nessun modello deve verificare il proprio lavoro), audit trail a prova di manomissione per ogni azione rilevante, verifiche indipendenti, la comunicazione tempestiva degli incidenti e infine un freno di emergenza che una persona autorizzata possa sempre azionare.

Il nodo delle catene di ragionamento

Un passaggio delicato riguarda la chain of thought, la catena di ragionamento che i modelli producono prima di rispondere. Per Nadella la sua trasparenza “non è negoziabile”, e il gergo che chiama Neuralese – le rappresentazioni interne che hanno cominciato ad apparire nelle Chain of Thoughts ma che non sono leggibili da un essere umano – non può giustificarne l’opacità.

È una richiesta che va in direzione opposta alla prassi recente dei principali laboratori. OpenAI e Anthropic mostrano agli utenti per lo più riassunti del ragionamento anziché la traccia completa, anche per difendersi dalla distillazione, la tecnica con cui i concorrenti stanno addestrando i propri modelli sulle risposte di quelli di frontiera. Nel corso del 2026 Anthropic e OpenAI hanno denunciato campagne di distillazione su larga scala attribuite a laboratori concorrenti.

Nadella riconosce che la trasparenza del ragionamento non basti, perché non è possibile essere certi che ciò che il modello dichiara di aver pensato corrisponda alla verità. E diffida dell’idea di far sorvegliare un modello da un altro modello: scatole nere annidate una nell’altra.

Una burocrazia per i modelli, e chi la vende

In sostanza, come dicevamo, Nadella propone di applicare ai modelli la stessa burocrazia riservata alle persone con accessi privilegiati: verifica dell’identità, permessi minimi, registri di attività e autorizzazioni esplicite sono pratiche consolidate da decenni nelle aziende, come lui stesso ricorda.

Il punto cruciale è che nella proposta di Nadella, la responsabilità passa da chi costruisce il modello a chi lo mette in produzione: le garanzie del fornitore, scrive Nadella, non sollevano l’azienda dalla responsabilità per ciò che il modello fa in suo nome.

E qui serve applicare spirito critico. Microsoft vende Agent 365, un pannello di controllo che assegna a ogni agente un’identità in Entra ID, ed è investitore e partner di OpenAI, i cui agenti erano protagonisti dell’incidente di luglio. Anche la diversità dei modelli è coerente con la strategia di un’azienda che in Microsoft 365 Copilot affianca ai modelli OpenAI quelli di Anthropic. La proposta di Nadella quindi solleva Open AI e gli altri frontier Labs dalla responsabilità per le azioni dei loro modelli, e la attribuisce all’azienda utente del modello. Che potrà trovare nell’offerta della casa la soluzione per governare il rischio AI.

Nadella chiude il saggio con un rovesciamento condivisibile: il sistema più affidabile non sarà quello con il modello di cui ci fidiamo di più, ma quello che ci permette di fidarci il meno possibile del modello.

Cosa cambia per CIO e CISO

Per chi opera in Europa la proposta di Nadella non è una vera e propria novità normativa, ma una buona traduzione operativa di obblighi già esistenti. L’AI Act, per i sistemi ad alto rischio, chiede la registrazione automatica degli eventi (articolo 12), una supervisione umana che includa la possibilità di interrompere il sistema con un kill switch o una procedura analoga (articolo 14) e attribuisce a chi utilizza il sistema obblighi propri, tra cui la conservazione dei log (articolo 26). La direttiva NIS2 impone misure di gestione del rischio che comprendono controllo degli accessi e sicurezza della catena di fornitura.

Molti agenti in uso nelle aziende non ricadono tra i sistemi ad alto rischio. Le domande che il post suggerisce restano però utili per valutare qualunque fornitore:

  • una persona identificata può fermare l’agente durante un’attività, e la funzione è stata provata?
  • le azioni rilevanti si possono ricostruire da registri che l’agente non può modificare?
  • chi stabilisce i permessi dell’agente: l’azienda o le impostazioni predefinite del fornitore?
  • quali risultati dipendono da un solo modello, e chi ne verifica il lavoro?
  • cosa prevede il contratto sulla comunicazione degli incidenti e sulle modifiche al comportamento degli agenti?

Restano aperti i limiti che il saggio stesso dichiara: gli standard di contenimento per i modelli più avanzati sono ancora da definire e la comunicazione degli incidenti negli USA oggi è volontaria.

Una nota lessicale e la neolingua orwelliana

Nell’articolo, Nadella non scrive mai “Artificial Intelligence”, utilizzando invece l’espressione “Super Intelligence” e la sigla SI. È la dizione che il presidente statunitense Donald Trump ha imposto alle agenzie federali con un ordine esecutivo del 30 settembre. L’obbligo formale riguarda solo le agenzie federali e non le aziende private, ma due giorni prima della pubblicazione dell’articolo di Nadella, Trump aveva scritto su Truth Social che la Casa Bianca considera “IL NEMICO” (maiuscole sue) chiunque continui a usare il termine “Artificial Intelligence”.

Nel suo romanzo 1984, George Orwell immaginava un governo autoritario che modificava il modo di pensare della popolazione alterando il vocabolario e creando una neolingua: se elimini la parola che esprime un concetto, questo smette di esistere. Oggi Microsoft si aggiunge a Meta tra le aziende private che hanno adottato la nuova dizione conforme alla neolingua di Trump.