Cloudflare ha introdotto una modifica destinata a influenzare il modo in cui i modelli AI raccolgono informazioni dal web. A partire dal 15 settembre 2026, la società cambierà le impostazioni predefinite della propria piattaforma bloccando automaticamente i cosiddetti crawler “mixed-use”, ovvero quei bot che utilizzano la stessa infrastruttura sia per indicizzare i contenuti destinati ai motori di ricerca, sia per alimentare servizi basati sull’intelligenza artificiale o addestrare nuovi modelli linguistici.

La novità riguarderà tutti i nuovi clienti Cloudflare, i nuovi siti creati dagli utenti già registrati e l’intera base degli account gratuiti. In pratica, i proprietari dei siti non dovranno più intervenire manualmente per limitare questo tipo di accesso, ma il blocco sarà attivo di default e potrà essere eventualmente disattivato soltanto scegliendo impostazioni differenti.

L’obiettivo è distinguere in modo molto più netto le attività dei motori di ricerca tradizionali da quelle legate all’intelligenza artificiale. Secondo Cloudflare, gran parte dei gestori di siti web desidera continuare a comparire nei risultati di ricerca, ma non vuole che i propri contenuti vengano utilizzati gratuitamente per addestrare modelli AI o alimentare agenti intelligenti senza alcuna forma di compensazione.

Nel comunicare la novità, l’azienda punta indirettamente il dito contro Google, pur senza citarla esplicitamente. Cloudflare osserva infatti che “il più grande motore di ricerca del mondo” dispone di una quantità di informazioni sensibilmente superiore rispetto agli altri sviluppatori di AI, proprio perché utilizza infrastrutture condivise che rendono difficile separare l’indicizzazione per la ricerca dall’utilizzo dei contenuti nei servizi basati sull’intelligenza artificiale.

Google, tuttavia, aveva già contestato questa interpretazione in passato. L’azienda mette infatti a disposizione Google Extended, un crawler dedicato che consente agli editori di impedire l’utilizzo dei propri contenuti per l’addestramento dei modelli e per prodotti come Gemini e Vertex AI senza compromettere la presenza nei risultati del motore di ricerca. Rimane però il ruolo del tradizionale Googlebot, impiegato anche per funzionalità sempre più integrate con l’intelligenza artificiale, come AI Overviews e AI Mode, rendendo il confine tra ricerca classica ed elaborazione AI meno netto di quanto alcuni editori vorrebbero.

Cloudflare bot

Crediti: Shutterstock

Secondo Matthew Prince, cofondatore e CEO di Cloudflare, il momento richiede un cambio di paradigma. L’azienda evidenzia infatti come il traffico generato dai bot abbia ormai superato quello prodotto dagli utenti umani, un traguardo che fino a poco tempo fa veniva previsto soltanto per il prossimo anno. Questo cambiamento rende necessario, secondo Prince, costruire un ecosistema più sostenibile, nel quale i proprietari dei contenuti possano decidere con maggiore trasparenza chi può accedere alle proprie informazioni e per quale finalità.

Le nuove impostazioni rappresentano soltanto una parte della strategia di Cloudflare. Negli ultimi anni, la società ha sviluppato numerosi strumenti dedicati alla gestione dei crawler AI, compreso Pay Per Crawl, un sistema che consente agli editori di richiedere un compenso economico alle aziende che effettuano attività di scraping dei contenuti.

Ora questo modello si evolve ulteriormente con Pay Per Use, un meccanismo che sposta il focus dal semplice accesso ai dati al valore effettivamente generato. L’idea è remunerare gli editori quando i loro contenuti vengono realmente utilizzati per produrre risposte, risultati di ricerca o altri servizi basati sull’intelligenza artificiale, superando il concetto tradizionale di pagamento per singola scansione delle pagine.

L’iniziativa potrebbe produrre benefici anche dal punto di vista infrastrutturale. Le analisi interne di Cloudflare indicano infatti che oltre la metà del traffico generato dai crawler AI riguarda pagine già acquisite in precedenza e rimaste invariate. Limitare queste richieste ridurrebbe il consumo di banda e di risorse computazionali a carico dei siti web, migliorando l’efficienza complessiva dell’ecosistema.

Per inaugurare il nuovo modello commerciale, Cloudflare collaborerà inizialmente con Ceramic.ai e You.com. Gli editori che aderiranno al programma riceveranno un compenso quando i propri contenuti verranno utilizzati nei risultati di ricerca AI di Ceramic oppure quando You.com accederà a materiali premium. L’azienda precisa inoltre che il sistema è pensato per essere adattabile anche da altri sviluppatori di intelligenza artificiale, aprendo la strada a un nuovo equilibrio tra innovazione tecnologica e tutela economica dei contenuti digitali.

(Immagine in apertura: Shutterstock)