Un nuovo sistema traduce gesti specifici per ogni persona in linguaggio vocale per coloro che hanno una comunicazione limitata

Un team di ricercatori della Pennsylvania State University ha sviluppato un prototipo di sistema che utilizza sensori indossabili e intelligenza artificiale per convertire i gesti in parlato. Questo sistema converte in parlato i movimenti del corpo che sono unici per l'individuo, differenziandosi dai sistemi generici.

Questo nuovo approccio - pubblicato sulla rivista Augmentative and Alternative Communication - è progettato per aiutare le persone con disabilità motorie o visive a comunicare in modo più indipendente ed efficace. L'innovazione chiave di questo sistema è la personalizzazione a livello individuale.

A differenza dei sistemi gestuali convenzionali addestrati su grandi insiemi di dati, il sistema è progettato per imparare movimenti idiosincratici - gesti che hanno un significato specifico e unico per una persona. Ciò consente alla tecnologia di adattarsi ai movimenti specifici che l'utente trova facili da eseguire, riducendo così lo stress fisico dell'utente.

Il sistema funziona facendo indossare a una persona un sensore al polso e ripetendo un gesto circa tre volte. Utilizzando un algoritmo AI, misura le caratteristiche di movimento del gesto, imparando il suo modello unico. Questo modello o gesto viene poi assegnato a una frase parlata, come "vieni qui" o "smettila". Un'app per smartphone collegata pronuncia la frase ad alta voce ogni volta che l'utente compie il gesto.

Nel corso dello sviluppo, il team ha lavorato a stretto contatto con persone che avevano un linguaggio limitato. Un partecipante degno di nota è stata Emma Elko, che ha un deficit visivo corticale. Il sistema ha appreso con successo i suoi gesti personali, permettendole di comunicare senza l'aiuto di sua madre, il suo principale partner di comunicazione.

I ricercatori affermano che il prossimo passo sarà quello di testare il prototipo con altre persone per perfezionare la sua capacità di distinguere tra gesti simili e ignorare i movimenti involontari. Hanno anche in programma di aggiungere delle telecamere al sensore esistente, per ottenere un livello di precisione migliore.