L’intelligenza artificiale è ormai una realtà consolidata nel panorama aziendale, e nessuna azienda oggi può permettersi di ignorare i vantaggi che può portare per l’efficienza, la flessibilità e la trasformazione dei servizi. Questa consapevolezza sta spingendo le aziende a varare progetti per introdurre sistemi AI e large language model nei propri flussi di lavoro nel modo più veloce possibile.

Dietro le promesse di efficienza e innovazione si nascondono però rischi concreti che ogni decisore IT deve conoscere e gestire. Non stiamo più parliamo di scenari ipotetici, ma di problematiche reali che hanno già avuto un impatto su costi, ricavi, responsabilità civili e penali e reputazione di diverse aziende.

I rischi spesso vengono introdotti da scelte sconsiderate che hanno portato ad adozioni frettolose, ma in altri casi sono indissolubilmente legati alle caratteristiche della attuale tecnologia alla base dell’IA in generale, e di quella generativa in particolare.

In linea generale, le principali caratteristiche dell’’AI che introducono un fattore di rischio sono:

  • funzionano come “scatole nere” (black box) i cui meccanismi decisionali restano opachi anche agli sviluppatori;
  • possono generare allucinazioni, cioè informazioni plausibili ma completamente inventate;
  • i chatbot sono vulnerabili ad attacchi inseriti nel prompt per manipolare il comportamento del modello (prompt injection).
  • non garantiscono la riproducibilità dei risultati, includendo sempre un fattore di casualità
  • spesso mantengono opacità sui dati di training utilizzati per il loro addestramento, lasciando l’azienda esposta a possibili richieste di risarcimento da parte dei detentori dei diritti.

L’IA generativa – quella capace di creare testi, immagini o codice – e l’IA basata su agenti che possono prendere decisioni e agire autonomamente (Agentic AI) – amplificano ulteriormente questi rischi, rendendo essenziale una strategia di gestione consapevole.

Ecco quindi una serie di possibili rischi dell’AI, con casi concreti accaduti ad aziende reali.

1. Decisioni di business basate su informazioni sbagliate

Le allucinazioni dell’AI non sono semplici errori: sono falsità generate con totale convincimento. Un sistema di IA può produrre analisi di mercato dettagliate citando studi inesistenti, o generare proiezioni finanziarie basate su dati inventati. Il pericolo è che queste informazioni appaiano perfettamente credibili, portando il management a prendere decisioni strategiche su fondamenta inesistenti.

Zillow rappresenta il caso più costoso di fallimento dell’AI nel settore immobiliare. L’attività principale dell’azienda consisteva nell’acquistare unità immobiliari, ristrutturarle e rimetterle sul mercato con un margine. Il suo programma Zillow Offers stimava il valore degli immobili attraverso Zestimate, un modello di machine learning. Il programma aveva un margine di errore medio dell’1,9%, che poteva salire fino al 6,9% per unità con caratteristiche poco comuni.

Questi margini, già elevati, sono completamente esplosi quando un evento “cigno nero” come la pandemia di Covid-19 ha cambiato le condizioni del mercato. Delle 27.000 proprietà acquistate dal 2018, solo 17.000 sono state vendute entro il 2021, e le rimanenti avevano un prezzo incompatibile con quello di acquisto. Tra perdite dirette e svalutazioni, l’azienda si è ritrovata con un ammanco di 881 milioni di dollari, che ha portato alla chiusura del programma e al licenziamento del 25% della forza lavoro.

2. Responsabilità derivanti da affermazioni generate dall’AI

Uno dei casi d’uso dell’AI generativa che vengono più richiesti e valutati dalle aziende è come interfaccia con il pubblico per il supporto ai clienti. L’idea di annullare i tempi di attesa al centralino, e al contempo tagliare drasticamente l’organico del personale di supporto, risulta probabilmente molto allettante. Esporre un chatbot al pubblico è però molto rischioso, perché il rischio di allucinazioni è sempre dietro l’angolo. Il tutto è ancora più vero quando i consumatori si fanno insistenti e cercano di forzare le risposte, anche utilizzando tecniche di prompt injection (ne parliamo più avanti in dettaglio).

Air Canada ha dovuto affrontare conseguenze legali quando il suo chatbot ha fornito informazioni errate sulle tariffe per lutto nel novembre 2022. Il sistema ha detto a un cliente che poteva richiedere retroattivamente uno sconto sulla tariffa entro 90 giorni dal viaggio, contraddicendo la politica aziendale, che indicava un periodo molto più breve. Un tribunale canadese ha condannato la compagnia a pagare 812 dollari canadesi di danni al cliente, stabilendo che le aziende non possono considerare i chatbot come “entità legali separate” per evitare responsabilità, e che le affermazioni o le proposte fatte dal chatbot sul sito dell’azienda, la vincolano contrattualmente.

L’indennizzo è modesto, certo, ma il caso fissa un precedente pericoloso per tutte le aziende che affidano il customer care a un chatbot AI direttamente esposto al pubblico, suggerendone invece l’utilizzo come assistente di operatori umani che rimangono, come si dice, “nel loop”.

3. Danni reputazionali da risposte inappropriate al pubblico

Quando l’AI interagisce direttamente con clienti o stakeholder, ogni risposta inappropriata diventa immediatamente un rischio reputazionale. I sistemi possono fornire informazioni errate sui prodotti, assumere impegni che l’azienda non può mantenere o, peggio ancora, generare contenuti offensivi o discriminatori.

Lo spedizioniere tedesco DPD ha subìto una crisi reputazionale nel gennaio 2024 quando il suo chatbot ha iniziato a imprecare, scrivere poesie autodenigratorie e raccomandare servizi della concorrenza. Il post virale di un cliente su Twitter ha generato 1,3 milioni di visualizzazioni, costringendo DPD a disabilitare le funzionalità AI del chatbot, vanificando l’investimento fatto.

4. Violazione della privacy e fuga di dati sensibili

L’abuso dei sistemi RAG (Retrieval-Augmented Generation) – tecnologie che permettono all’AI di accedere a database aziendali per migliorare le risposte – può trasformarsi in un incubo per la privacy, se l’AI ha accesso a informazioni riservate, dati personali di clienti o strategie aziendali confidenziali, e per qualche motivo riesce a superare i guardrail di sicurezza e a generare risposte che includono queste informazioni. Addirittura, un chatbot può essere ingannato per rivelare gli indirizzi dei server a cui si collega per recuperare le informazioni, e le credenziali di accesso.

Il sistema di recruiting di McDonald’s ha esposto dati personali di potenzialmente 64 milioni di candidati quando i ricercatori di sicurezza hanno scoperto che il chatbot AI “Olivia” conteneva falle di sicurezza elementari. Il sistema utilizzava credenziali amministratore predefinite e mancava di controlli di sicurezza di base, consentendo l’accesso a nomi, informazioni di contatto, risultati di test della personalità e registri di conversazione.

5. Jailbreak, prompt injection e attacchi sofisticati

Gli attacchi di prompt injection rappresentano una nuova frontiera della cybersecurity. Criminali o semplici malintenzionati possono manipolare il comportamento dell’AI inserendo comandi nascosti nei dati di input, realizzati in modo da bypassare le misure di sicurezza, alterare il funzionamento dell’applicazion od ottenere accesso non autorizzato a informazioni o funzionalità.

Nell’agosto 2024, un criminale informatico ha sfruttato l’assistente AI Claude Code di Anthropic per automatizzare un’operazione di cybercrime senza precedenti contro 17 aziende. L’attaccante ha manipolato Claude per identificare obiettivi vulnerabili, generare codice malevolo, organizzare dati rubati, calcolare importi di riscatto basati su analisi finanziarie e redigere comunicazioni di estorsione. Questo primo caso documentato di cybercrime completamente automatizzato tramite AI ha preso di mira appaltatori della difesa, istituzioni finanziarie e fornitori sanitari con richieste di riscatto da 75.000 a oltre 500.000 dollari.

Sempre più spesso, però, i comandi malevoli non vengono inseriti consapevolmente dall’utente, ma da attori terzi attraverso l’invio di documenti o link. Diverse società di recruiting hanno segnalato nei curriculum ricevuti dai candidati la presenza di frasi scritte in piccolo e con lo stesso colore dello sfondo e contenenti istruzioni per raccomandare il candidato in questione come ottimale per la posizione aperta. L’idea è che se il recruiter inserisce i curriculum ricevuti in un LLM per una valutazione, questi leggerà anche la frase invisibile agli umani e la eseguirà, favorendo il candidato.

6. Bias, discriminazione e violazioni normative

I sistemi AI ereditano e amplificano i bias presenti nei loro dati di training. Questo può tradursi in discriminazioni verso genere, etnia, età o altre categorie protette, esponendo l’azienda a sanzioni legali e danni reputazionali sotto normative come l’AI Act dell’Unione Europea o il GDPR.

Nel 2020, Unilever ha scoperto che il suo strumento di recruiting basato su AI aveva inavvertitamente sviluppato un bias contro i candidati con più esperienza, favorendo sistematicamente quelli all’inizio della carriera. L’azienda si è trovata esposta a critiche quando è emerso che l’algoritmo stava inavvertitamente escludendo i professionisti più esperti.

Nonostante Unilever avesse implementato l’AI per aumentare la diversità (riuscendo ad aumentare la diversità del pool di candidati del 16% e riducendo i tempi di assunzione da 4 mesi a poche settimane), il sistema aveva sviluppato bias che introducevano discriminazioni non previste, e dovette essere modificato.

7. Dipendenza tecnologica e perdita di competenze

L’eccessivo affidamento sull’AI può erodere le competenze interne cruciali. Quando i sistemi intelligenti gestiscono processi complessi, i dipendenti rischiano di perdere la capacità di comprendere e gestire manualmente quei processi, creando vulnerabilità operative pericolose.

Nel 2024, Klarna ha licenziato 700 operatori del customer care, impiegando tool di AI generativa per rispondere alle domande degli utenti. Un anno dopo, ha dovuto fare una parziale retromarcia, perché gli utenti non erano soddisfatti dell’interazione con un chatbot e necessitavano di un intervento umano. L’azienda ha quindi aperto un programma di recruiting per operatori da remoto che possono intervenire e prendersi carico della segnalazione.