I crawler dell'AI hanno talvolta una copertura maggiore rispetto a Google Search

Per decenni, Google è stato il leader indiscusso nella raccolta di informazioni da Internet ed è probabilmente l'esempio più importante di crawler di siti web. Questi programmi automatizzati effettuano il crawling di Internet e registrano i contenuti che trovano, consentendo ai motori di ricerca di rendere i siti web scopribili. Ma Google Search sta ora affrontando la concorrenza, in quanto anche i sistemi di AI richiedono dati da Internet, ed è per questo che le aziende di AI come OpenAI stanno distribuendo i propri bot per cercare informazioni su Internet.

Alla fine di agosto 2025, il provider di web hosting Hostinger ha condotto uno studio sull'accessibilità di 5 milioni di siti web ai crawler. Particolarmente sorprendente è che, ad esempio, il bot GPT di OpenAI ha raggiunto 4,4 dei 5 milioni di siti web, ottenendo così una copertura maggiore rispetto al bot di Google, che ha avuto accesso a "solo" 3,9 milioni di siti web. Anche i bot meno conosciuti, come il crawler SEO di Ahrefs, il bot Claude di Anthropic e i crawler di Meta, TikTok, Bing e Apple sono stati molto attivi, generando un totale combinato di circa 1,4 miliardi di richieste giornaliere per i 5 milioni di siti web.

Il fatto che alcuni bot raggiungano una percentuale di copertura inferiore rispetto ad altri non significa che ignorino alcune parti di Internet. Piuttosto, i programmi ruotano i loro obiettivi e creano così una mappa quasi completa di Internet in un periodo di tempo più lungo (ma comunque entro poche settimane).

Lo studio mostra anche che circa l'80% delle query proviene da aziende tecnologiche statunitensi, circa il 10% dalla Cina, mentre gli altri Paesi rappresentano una percentuale trascurabile. Ciò significa che l'indicizzazione di Internet è dominata principalmente dai provider degli Stati Uniti e, all'interno di questo Paese, da poche grandi aziende tecnologiche. Di conseguenza, un piccolo numero di piattaforme ha una grande influenza sui contenuti visibili e sulle risposte che i sistemi AI generano.