Google Pixel 11 trasforma la lingua dei segni americana in testo digitato

Mercoledì Google DeepMind ha presentato un modello di traduzione della lingua dei segni, e questa volta non rimarrà confinato in laboratorio. SL2T, acronimo di «sign-language-to-text» (dalla lingua dei segni al testo), è ora integrato nella tastiera Gboard e nell’app Live Transcribe sul Pixel 11. Basta usare la lingua dei segni per ottenere il testo corrispondente. Funziona ovunque si digiti normalmente: ricerche sul web, messaggi, documenti e prompt di Gemini. Google non applica alcun costo aggiuntivo per questo servizio.

Per gli utenti non udenti, ciò rappresenta ben più di una semplice comodità. Circa 70 milioni di persone in tutto il mondo utilizzano una delle oltre 200 lingue dei segni come lingua principale e la dettatura, qualcosa che gli utenti udenti danno per scontato da anni, non è mai stata a loro disposizione. In Live Transcribe possono ora rispondere direttamente, anziché dover digitare ogni parola durante una conversazione.

La fotocamera non invia mai video a Google

La progettazione incentrata sulla privacy è l’aspetto più interessante. Il modello non vede mai l’immagine ripresa dalla fotocamera. MediaPipe Holistic viene eseguito sul telefono e riduce le riprese a punti di riferimento corporei, semplici coordinate relative a mani, braccia, testa e viso. Solo tali dati vengono trasmessi al server e, secondo Google, il video viene immediatamente eliminato.

Ciò che Google ha tralasciato è altrettanto importante. I sistemi precedenti traducevano tramite «glosse», una notazione intermedia approssimativa dei singoli segni che elimina gran parte di ciò che le lingue dei segni effettivamente trasmettono, comprese le espressioni facciali e l’uso dello spazio. SL2T passa direttamente dai punti di riferimento al testo. L’addestramento ha utilizzato oltre 100.000 ore di filmati relativi a più di 50 lingue dei segni, di cui circa un quarto in lingua dei segni americana (ASL). Nel benchmark FLEURS-ASL ottiene un punteggio di 70 BLEURT, un indicatore della qualità della traduzione, senza aver visionato preventivamente i dati di test.

Una sola lingua, e Google segnala i propri errori

L’elenco delle lingue rappresenta il punto critico. Al momento del lancio, SL2T gestisce la traduzione dall’ASL all’inglese e nient’altro, pertanto gli utenti della lingua dei segni britannica, tedesca o di qualsiasi altra lingua dei segni devono ancora attendere. Google promette l’aggiunta di ulteriori lingue e dispositivi, senza tuttavia specificare una data.

Anche l’accuratezza non è impeccabile, come ammette la stessa azienda nei propri esempi. Una digitazione veloce trasforma «preda» in «grigio», un classificatore descrittivo viene omesso, un tempo verbale cambia quando manca il contesto. Il team ha affrontato i problemi pratici: la latenza durante la traduzione in tempo reale, l’output inventato quando nessuno sta comunicando con i segni, i comunicanti mancini e la comunicazione con una sola mano, che diventa necessaria nel momento in cui l’altra mano tiene il telefono.

I professionisti sordi sono stati coinvolti in ogni fase del processo. Un gruppo consultivo denominato AISLAC ha accompagnato il lancio e ha collaborato alla stesura di un rapporto su ciò che il modello è in grado di fare e ciò che non può fare.

Solo Pixel 11, per ora

Per provare questa funzionalità è necessario acquistare un Pixel 11. Google ha aperto i preordini il 12 agosto e, al 13 agosto, il Google Store indica ancora il telefono come disponibile in preordine al prezzo di 899 dollari. I modelli precedenti, come il Pixel 10 Pro, per il momento non sono compatibili.