Un difetto software distribuito a luglio sui server gateway di rete di Microsoft 365, rimasto silente per oltre tre mesi, è all’origine del blackout che il 12 e 13 novembre ha bloccato per quasi un giorno l’accesso alle caselle Exchange Online in tutto il mondo. Lo spiega il report preliminare post-incidente pubblicato da Microsoft il 15 novembre nel Microsoft 365 admin center negli aggiornamenti MO1550821 e EX1550543, consultabili solo dagli amministratori dei clienti e sintetizzato su X da Charles Lamanna, Executive Vice President Copilot, Agents and Platform di Microsoft. Il report definitivo è atteso per il 20 novembre.

Un blocco in un processo interno di Windows

Il difetto era contenuto in una correzione di Windows preparata appositamente per i gateway di rete di Microsoft 365. Provoca una lock contention in un processo interno del sistema operativo: più thread competono per acquisire lo stesso blocco (lock) su una risorsa condivisa e restano in attesa l’uno dell’altro, fino a esaurire CPU e memoria del server. Il fenomeno cresce con il numero di core. Secondo il report, “il problema di contesa peggiora sulle macchine con più core e con hardware più recente”.

Qui sta il punto debole dei controlli. L’aggiornamento aveva superato i test di carico e il processo di distribuzione progressiva di Microsoft senza effetti visibili, ma “i nostri test di carico tendevano a concentrarsi su hardware meno potente, con meno core”, ammette l’azienda. L’ambiente di test, in altre parole, non rappresentava i server di produzione più recenti, cioè proprio quelli su cui il difetto si manifesta con più forza.

L’innesco: il traffico di Teams e una capacità già ridotta

Il difetto si è attivato quando si sono sommate due condizioni. Alle 2:07 ora italiana del 12 novembre il traffico di Teams è stato spostato, tramite failover, sul gateway primario che serve anche Exchange Online. Un’operazione ordinaria, che però ha aumentato il carico. Nello stesso momento circa il 14% della capacità dei server del gateway era già fuori servizio per un problema non correlato, emerso il giorno precedente. Anche questo, un inconveniente tutto sommato ordinario in sé e Microsoft riteneva che il servizio avesse “sufficiente margine di capacità”.

Da lì si è innescato un effetto domino. Quando un server smetteva di rispondere, il traffico veniva reindirizzato verso quelli ancora sani, che incontravano lo stesso difetto. In circa due ore il problema si è esteso all’intera flotta e, nel momento peggiore, oltre l’80% dei server non rispondeva. Anche le protezioni pensate per confinare un guasto all’interno di una singola regione non hanno funzionato, per un problema distinto. I sistemi di monitoraggio hanno segnalato le anomalie di connettività alle 17:03 ora italiana del 12 novembre, e il primo ticket di assistenza è arrivato mezz’ora dopo.

Perché il ripristino è stato così lento

Per circa 15 ore i tecnici hanno sospeso distribuzioni e modifiche di configurazione, aggiunto capacità e deviato il traffico, ma i server continuavano a cadere: quelli rimessi in servizio venivano subito travolti dalle richieste accumulate. Le procedure automatiche di ripristino, scrive Microsoft, “non erano progettate per ripristinare il servizio da uno stato di mancata risposta così esteso”.

Fare un rollback alla versione precedente non era possibile, perché la modifica era in produzione ormai da mesi. Secondo Lamanna, “i normali strumenti di rollback, flighting e feature flag non sono riusciti ad annullare rapidamente la modifica” (il flighting è il rilascio graduale su gruppi ristretti di server; i feature flag sono interruttori software che attivano o disattivano singole funzioni). Gli ingegneri hanno quindi scritto un aggiornamento correttivo che riporta il codice di Windows coinvolto allo stato precedente, applicato a gruppi di server dalle 8:20 del 13 novembre. Microsoft ha dichiarato i servizi di nuovo regolari alle 17:10 dello stesso giorno.

Già il 13 novembre l’azienda aveva escluso un attacco informatico. Tra le contromisure indicate nel report preliminare figurano capacità aggiuntiva, monitoraggio dei reindirizzamenti di traffico e limiti alla distribuzione del carico.

Exchange Online, il servizio che non può cambiare strada

Teams, OneDrive, SharePoint e le applicazioni Office sono stati spostati fuori dai gateway difettosi e sono state ripristinate per prime. Per Exchange Online non è stato possibile: per ragioni di scala, dipende dal gateway colpito e non dispone di un percorso alternativo. Per questo la posta, e con essa Outlook, è rimasta ferma più a lungo. Durante il guasto sono risultati degradati anche Intune, Defender for Office 365 e Purview, oltre a parte degli strumenti di amministrazione. Gli amministratori si sono trovati così senza alcuni degli strumenti che sarebbero stati necessari a gestire l’emergenza.

La lezione da imparare

Il dato più rilevante per i responsabili IT è che in Microsoft 365 molte componenti diverse dipendono dalla posta elettronica, che a sua volta è basata su un componente che non può essere aggirato. Chi ha costruito i piani di continuità operativa contando sulla ridondanza del cloud dovrebbe verificare quali processi si fermano senza Exchange Online, quali canali alternativi sono disponibili e se gli strumenti di gestione dei dispositivi restano raggiungibili durante un guasto.

Il tema riguarda anche la conformità. La direttiva NIS2 include continuità operativa e sicurezza della catena di approvvigionamento tra le misure di gestione del rischio richieste ai soggetti essenziali e importanti. Nel settore finanziario, Microsoft Ireland Operations Limited è uno dei 19 fornitori ICT terzi designati come critici dalle autorità di vigilanza europee (EBA, EIOPA, ESMA) ai sensi del regolamento DORA, e quindi sottoposto alla loro sorveglianza diretta. Banche e assicurazioni restano comunque responsabili di valutare la propria dipendenza dal fornitore, con piani di uscita e test di resilienza.

E quello di venerdì non è un caso isolato, ma il quarto grave disservizio di Microsoft 365 dall’inizio dell’anno legato a modifiche o manutenzioni della stessa Microsoft, dopo quelli di gennaio, luglio e agosto. Il rischio maggiore, per clienti e partner, sta nelle modifiche che non possono vedere, testare o rinviare: rivenditori e fornitori di servizi gestiti hanno ricevuto le chiamate dei clienti senza alcun preavviso. Negli Stati Uniti il presidente della commissione Sicurezza interna della Camera, Andrew Garbarino, ha chiesto chiarimenti a Microsoft e alla CISA. Il report definitivo del 20 novembre dovrà chiarire soprattutto perché le protezioni regionali hanno ceduto e come cambieranno le modalità di test per evitare che un problema simile si ripresenti.