Cloudflare ha deciso di cambiare radicalmente le regole del gioco e, a partire da oggi, bloccherà di default l’accesso dei crawler AI ai siti web che protegge, invertendo l’approccio tradizionale dell’open web. L’obiettivo dichiarato? Proteggere i contenuti online dall’estrazione indiscriminata da parte delle aziende che sviluppano modelli di intelligenza artificiale, ponendosi in questo modo come nuovo “gatekeeper” della rete.

Un termine, quello di gatekeeper, spesso usato in senso peggiorativo per definire colossi come Google o Apple, accusati di sfruttare il proprio controllo su sistemi operativi e piattaforme per trarre vantaggi monopolistici. Ma Cloudflare ne propone una reinterpretazione più etica: essere un custode non per dominare, ma per tutelare i creatori di contenuti digitali dal cosiddetto “stripmining” dell’intelligenza artificiale.

Matthew Prince, CEO di Cloudflare, ha spiegato come l’equilibrio storico tra motori di ricerca e produttori di contenuti sia ormai compromesso. Negli anni ’90, il “patto” era chiaro: i siti permettevano ai crawler di Google di indicizzare le loro pagine in cambio di traffico. Un accordo che ha sostenuto per decenni la crescita del web aperto, ma oggi, sostiene Prince, quell’equilibrio non esiste più.

Con l’ascesa degli LLM, molte aziende (da Google a OpenAI passando per Microsoft, Anthropic e altri) stanno utilizzando crawler automatizzati per raccogliere enormi quantità di contenuti pubblicamente disponibili sul web. Questi dati alimentano modelli linguistici in grado di fornire risposte dirette agli utenti, riducendo drasticamente il traffico verso i siti originali e, di conseguenza, i ricavi pubblicitari o in abbonamento dei publisher.

“Un web dominato dall’intelligenza artificiale non premia più chi crea contenuti”, ha affermato Prince. “Che si tratti di vendere pubblicità, abbonamenti o semplicemente ricevere visibilità, il vecchio modello di scambio non regge più”.

Un’analisi condotta da Cloudflare tra il 19 e il 26 giugno 2025 ha mostrato dati impressionanti: il crawler di Claude (Anthropic) ha effettuato quasi 71.000 richieste HTML per ogni singolo referral verso un sito. Peggio ancora OpenAI con un rapporto di 1.600:1 (Google resta “moderato” con un rapporto di 9,4:1), mentre Baidu si ferma a 1:1. Questi numeri dimostrano, secondo i dirigenti di Cloudflare, che i nuovi modelli IA “prendono” molto più di quanto restituiscano.

Cloudflare crawler

A questo squilibrio si aggiunge una cornice normativa ancora incerta. Sentenze recenti negli Stati Uniti hanno spesso confermato la legittimità del “fair use” anche per l’uso dei contenuti del web nel training dei modelli IA. E mentre aziende come Microsoft difendono pubblicamente l’idea che tutto ciò che è sul web sia “freeware”, ovvero liberamente utilizzabile, i creatori di contenuti si trovano privi di strumenti per difendere i propri diritti.

Per questo motivo Cloudflare ha deciso di intervenire in modo drastico. Da oggi, i suoi clienti possono bloccare in automatico i crawler delle principali aziende IA, a meno che queste non paghino per l’accesso. Il meccanismo, chiamato Pay per Crawl, è attualmente in fase beta e prevede un sistema integrato di autorizzazione e pagamento: i crawler possono presentare una “intent to pay” tramite intestazioni HTTP e ottenere accesso, oppure ricevere un messaggio “402 Payment Required” con indicazione del prezzo da pagare.

Cloudflare, che fungerà da merchant of record, fornirà anche l’infrastruttura tecnica per gestire le transazioni e i publisher potranno scegliere se bloccare completamente i crawler, consentire solo ad alcuni, offrire accesso gratuito oppure richiedere un pagamento.

L’iniziativa si inserisce in un contesto già in evoluzione, con alcuni grandi gruppi editoriali che hanno iniziato a siglare accordi diretti con le aziende IA. È il caso di HarperCollins, che a novembre 2024 ha autorizzato Microsoft a utilizzare le proprie opere per tre anni in cambio di un compenso simbolico di 5.000 dollari, da dividere tra autore ed editore. Cloudflare punta ora a rendere questi accordi la norma, semplificandone l’implementazione e democratizzandone l’accesso.

Tuttavia, questa nuova postura comporta anche dei rischi. Se molti publisher adotteranno l’approccio “a pagamento”, l’open web come lo conosciamo oggi potrebbe diventare meno aperto, più frammentato e a pagamento per l’accesso da parte delle macchine. Ma secondo Prince, è un prezzo necessario per salvaguardare l’ecosistema della rete.

Il paradosso è evidente, visto che per mantenere vivo un web ricco di contenuti potremmo dover accettare che le IA e i loro sviluppatori paghino per accedervi. Una trasformazione radicale che potrebbe cambiare il futuro dell’informazione online e il modo in cui l’intelligenza artificiale si nutre del sapere umano, tanto che Cloudflare non è sola a muoversi in questo intricato scenario.

Google ha infatti lanciato Offerwall, una soluzione digitale che permette agli sviluppatori di app e siti web di monetizzare offrendo agli utenti la possibilità di completare azioni (come sondaggi, download di app o iscrizioni) in cambio di ricompense virtuali. Integrando l’Offerwall, gli utenti possono scegliere tra diverse offerte, aumentando l’engagement e la retention, mentre per gli sviluppatori questa soluzione rappresenta una fonte di guadagno alternativa alla pubblicità tradizionale, migliorando l’esperienza utente e la fidelizzazione.

(Immagine in apertura: Shutterstock)