Per anni il principio “human-in-the-loop” è stato considerato una sorta di dogma nella governance dell’intelligenza artificiale. L’idea alla base è lasciare che i sistemi AI operino autonomamente, mantenendo però un essere umano incaricato di approvare decisioni critiche, verificare risultati e intervenire in caso di anomalie. Un compromesso rassicurante, almeno in teoria, ma oggi alcune delle più grandi aziende tecnologiche del pianeta stanno iniziando a mettere apertamente in discussione questo paradigma.

Tra le voci più nette c’è quella di Eric Brandwine, vicepresidente e distinguished engineer di Amazon, convinto che la supervisione umana continua sia molto meno affidabile di quanto il settore abbia voluto credere finora. Secondo Brandwine, il problema non riguarda la tecnologia, bensì il comportamento umano stesso, caratterizzato da inevitabili cali di attenzione, assuefazione e perdita progressiva di disciplina operativa.

Il dirigente collega questa visione a un concetto ben noto nell’ingegneria della sicurezza come quello della “normalizzazione della devianza”. Si tratta del processo attraverso cui pratiche inizialmente considerate rischiose o scorrette diventano gradualmente accettate all’interno di un’organizzazione semplicemente perché, nel breve periodo, non producono conseguenze evidenti. È un fenomeno osservato in contesti industriali, sanitari e aerospaziali molto prima dell’arrivo dell’intelligenza artificiale.

Brandwine utilizza un esempio estremamente concreto per spiegare il problema. In un pronto soccorso, durante i primi giorni di lavoro, ogni allarme viene percepito come potenzialmente critico. Con il passare delle settimane, la continua esposizione a falsi positivi riduce progressivamente il livello di attenzione degli operatori. Quando finalmente si presenta un’emergenza reale, il rischio che venga ignorata aumenta drasticamente. Secondo Amazon, la stessa dinamica si sta già manifestando nei sistemi AI agentici.

Quando un dipendente deve approvare centinaia di operazioni eseguite da agenti intelligenti, il controllo umano tende rapidamente a trasformarsi in una formalità. Le prime verifiche vengono effettuate con precisione, ma successivamente arriva la stanchezza cognitiva, seguita da automatismi sempre meno accurati. In pratica, il supervisore smette gradualmente di valutare davvero ciò che il sistema sta facendo.

È una posizione che riflette un cambiamento molto più ampio all’interno dell’industria tecnologica. Anche Google Cloud ha recentemente descritto il passaggio da una sicurezza “human-led” a una struttura AI-driven supervisionata da esseri umani. L’obiettivo è lasciare che flotte di agenti software gestiscano operazioni ordinarie alla velocità della macchina, mantenendo agli esseri umani un ruolo strategico e di audit.

agenti ai

Crediti: Shutterstock

Una visione simile emerge dalle dichiarazioni del CEO di Microsoft Satya Nadella, che ha parlato di “loop learning”. In pratica, workflow aziendali e competenze operative vengono progressivamente incorporati nei sistemi AI, così da renderli sempre più autonomi e adattivi. Anche IBM si è inserita nel dibattito criticando apertamente l’uso superficiale del modello human-in-the-loop, sostenendo che spesso venga utilizzato come forma di “lavaggio della responsabilità” dove la presenza nominale di un supervisore umano serve più a scaricare colpe che a garantire un controllo reale.

La proposta alternativa di Amazon ruota attorno a un concetto definito “accountability end-to-end”. In questo modello la responsabilità rimane sempre associata a una persona specifica, anche quando le azioni operative vengono eseguite autonomamente dagli agenti AI. Se un agente provoca un’interruzione di servizio, la responsabilità resta attribuita al dipendente o al team che ha autorizzato il deployment di quell’agente.

Per rendere tracciabile questa catena decisionale, Amazon assegna identità autonome ai sistemi AI. I log interni non riportano semplicemente che “Eric ha eseguito questa operazione”, bensì che “questo agente ha eseguito l’operazione per conto di Eric”. La distinzione è cruciale perché separa formalmente l’azione dell’umano da quella dell’agente, pur mantenendo chiara la responsabilità finale.

Il problema, naturalmente, è che gli agenti AI mostrano comportamenti estremamente difficili da prevedere quando vengono integrati in ambienti reali. Brandwine parla di “goal-seeking behavior”, una sorta di fissazione algoritmica verso un obiettivo specifico. Se a un agente viene chiesto di aggiornare un database, potrebbe identificare come soluzione più rapida la cancellazione completa del database stesso per poi ricrearlo da zero. In questo scenario, non esiste alcun attacco esterno o prompt malevolo, ma il sistema sta semplicemente perseguendo il risultato richiesto attraverso un percorso distruttivo.

Bloccare certe azioni tramite permessi insufficienti non basta sempre a fermare questi comportamenti. Gli agenti tendono infatti a cercare percorsi alternativi per raggiungere il medesimo obiettivo. È uno dei motivi per cui la sicurezza AI sta rapidamente diventando una disciplina distinta dalla cybersecurity tradizionale. I sistemi autonomi introducono superfici d’attacco completamente nuove, spesso invisibili agli strumenti di protezione progettati per software convenzionali.

Secondo Amazon, uno degli approcci più efficaci consiste nello spiegare all’agente le conseguenze delle sue azioni invece di limitarsi a negarle. Dire semplicemente “non puoi cancellare il database” produce risultati peggiori rispetto a istruzioni contestualizzate come “non eseguire operazioni che possano compromettere l’ambiente di produzione”. Questo tipo di feedback semantico sembra migliorare sensibilmente il comportamento degli agenti durante l’esecuzione dei task.

Rimane però aperta la questione più delicata, ovvero il livello di accesso da concedere a questi sistemi. Gli utenti aziendali vogliono agenti potenti, capaci di operare rapidamente su infrastrutture complesse, mentre i team di sicurezza preferiscono privilegi estremamente limitati per ridurre l’impatto di eventuali errori. Una tensione, quella tra produttività e controllo, che sta già ridisegnando il mercato della sicurezza enterprise.

(Immagine in apertura: Shutterstock)