Il pilota dell'European Open Web Index garantisce l'accesso a quasi 1 petabyte di dati crawlati

Il consorzio OpenWebSearch.eu aprirà il mese prossimo il primo Open Web Index (OWI) federato e paneuropeo a tester esterni. Il progetto pilota garantisce l'accesso a quasi un petabyte di dati web strisciati e segna il passo iniziale verso un indice a lungo termine progettato per raggiungere 5 PB e infine 10 PB di contenuti.

A differenza di un motore di ricerca convenzionale, l'OWI funziona come una biblioteca digitale condivisa che i servizi di terze parti - portali di ricerca, fornitori di modelli linguistici di grandi dimensioni o team di ricerca - possono interrogare per recuperare i documenti. Una partnership di 14 membri, composta da università, centri di supercalcolo, aziende tecnologiche e CERN, sta finanziando l'infrastruttura nel tentativo di ridurre la dipendenza europea dagli indici proprietari gestiti da Google, Microsoft e altri operatori statunitensi.

I sostenitori sostengono che la centralizzazione attorno alle piattaforme ad-driven ha indebolito la qualità della ricerca e limitato la copertura linguistica. Gestendo un indice senza scopo di lucro, guidato da standard all'interno dello spazio normativo europeo, il consorzio spera di incoraggiare i servizi che rispettano le regole locali di protezione dei dati, che visualizzano i risultati in più lingue e che stanno alla larga dalla pubblicità aggressiva o dall'auto-preferenziazione. Le autorità di regolamentazione di Bruxelles e Londra hanno ripetutamente sfidato il dominio delle aziende tecnologiche statunitensi proprio per questi motivi.

Durante la fase pilota, i gruppi accademici, le start-up e i singoli sviluppatori possono ottenere il set di dati con una licenza di ricerca generale o richiedere una licenza commerciale. La Community Manager Ursula Gmelch descrive il lancio come "un primo passo verso una vera sovranità digitale europea", aggiungendo che i primi feedback determineranno come l'indice si evolverà per soddisfare la domanda del mondo reale. Il team è particolarmente interessato alla ricerca verticale e argomentativa, alla generazione aumentata del reperimento e alle applicazioni AI correlate.

Il calendario si allinea con InvestAI, il programma della Commissione Europea che mira a mobilitare 200 miliardi di euro (circa 224,7 miliardi di dollari) per progetti di intelligenza artificiale. Una sessione Zoom aperta prevista per le 10.00-pomeriggio CEST del 6 giugno introdurrà i partecipanti alla piattaforma e distribuirà le credenziali. In caso di successo, la sperimentazione potrebbe fornire alle piccole e medie imprese europee la materia prima necessaria per costruire strumenti di ricerca e di intelligenza artificiale competitivi e indipendenti dagli ecosistemi prevalenti negli Stati Uniti.