Cloudflare ora bloccherà i web scrapers AI che non pagano per i dati

Dichiarando il "Giorno dell'Indipendenza dei Contenuti", il CEO di Cloudflare Matthew Prince ha annunciato cambiamenti massicci all'infrastruttura dei servizi web dell'azienda, che ora bloccherà tutti i bot web crawler AI per impostazione predefinita.

In un post sul blog https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/prince ha spiegato che il panorama moderno della ricerca sul web è ora sempre più definito da chatbot AI come Gemini di Google o ChatGPT di OpenAI. Se da un lato sono utili, dall'altro raschiano liberamente i dati disponibili online senza alcuna ripercussione e non compensano i creatori originali.

Prince ha affermato che, a causa delle recenti modifiche apportate a Google Search, oggi è dieci volte "più difficile per un creatore di contenuti ottenere lo stesso volume di traffico" di dieci anni fa.

"Invece di essere uno scambio equo", ha detto Prince. "Il web viene spolpato dai crawler dell'AI e i creatori di contenuti non vedono quasi nessun traffico e quindi quasi nessun valore"

Prince ha affermato che i contenuti scraped "sono il carburante che alimenta i motori AI", ed è giusto che i creatori originali vengano compensati per questo.

Cloudflare ha anche annunciato i piani per un mercato che riunirà i creatori e le aziende di AI in un unico luogo. Il marketplace assegnerà un punteggio ai contenuti disponibili non solo in base al traffico che generano, ma anche "in base a quanto approfondiscono la conoscenza" Prince ritiene che questo aiuterà i motori AI a diventare più veloci e "potenzialmente faciliterà una nuova età dell'oro della creazione di contenuti di alto valore"

Prince ha ammesso di non avere ancora tutte le risposte, ma l'azienda sta collaborando con "importanti informatici ed economisti per capirle"

Recentemente, SourceHut, un servizio di hosting git open-source https://status.sr.ht/issues/2025-03-17-git.sr.ht-llms/ha dichiarato di aver subito delle interruzioni a causa di "crawler LLM aggressivi" e di aver bloccato diversi fornitori di cloud, tra cui Google Cloud e Microsoft Azure, a causa degli elevati volumi di traffico in entrata dalle loro reti.

A gennaio, DoubleVerify, una piattaforma per l'analisi web, ha segnalato un aumento dell'86% del Traffico Invalido Generale (GIVT) da scrapper AI e altri strumenti automatizzati online rispetto al 2024.

Nonostante le promesse precedenti, GPTbot di OpenAI ha anche trovato il modo di ignorare o bypassare il robot.txt di un sito, causando una massiccia impennata del traffico per i proprietari di domini e bollette costose.