Microsoft rilascia l'applicazione mobile Seeing AI per aiutare gli utenti ipovedenti a descrivere il mondo utilizzando Azure AI

Microsoft ha lanciato l'applicazione Seeing AI durante l'Ability Summit del 7 marzo, un evento che esplora le soluzioni digitali per le persone con disabilità. Questa applicazione innovativa utilizza le tecnologie AI di Azure per aiutare le persone ipovedenti a navigare più facilmente nella vita.

Le tecnologie AI spesso richiedono computer potenti per analizzare e rispondere alle richieste degli utenti, e pochi dispositivi mobili dispongono di chip AI come lo Snapdragon 8 Gen 3 negli smartphone top 2024. Pertanto, la maggior parte delle richieste viene passata a servizi online come OpenAI (ChatGPT) o Microsoft (Azure AI, CoPilot), dove computer cloud più potenti gestiscono le richieste.

Microsoft Seeing AI utilizza Azure GPT-4 Turbo con Vision AI per consentire risposte reattive e precise su qualsiasi smartphone con queste caratteristiche:

1. Text-to-speech - L'app legge il testo che vede. Il testo più breve può essere letto in modalità fotocamera live, mentre il testo più lungo viene fotografato, convertito in testo e infine letto ad alta voce.
2. Lettore di codici a barre - L'app cerca i prodotti in base al codice UPC.
3. Scena - L'app descrive la scena che vede, concentrandosi sull'oggetto più vicino.
4. Persona - L'app descrive la persona che vede, identificando l'emozione del viso.
5. Valuta - L'app identifica le banconote che vede tra 17 Paesi.
6. Colore - L'app identifica il colore al centro della foto live.
7. Scrittura - L'app converte le note scritte a mano in testo.
8. Luminosità - L'app emette un tono che varia a seconda della luminosità.

I risultati dell'app sono generalmente accurati, ma nessuna AI è brava come un essere umano nell'identificare e descrivere ciò che viene visto. Ad esempio, Seeing AI identifica correttamente un rasoio da barba in un barattolo, ma non è in grado di identificare un selezionatore di monete, nonostante i segni dei centesimi sul corpo. Lo stesso vale per il testo: in genere l'app converte accuratamente il testo delle ricevute e delle confezioni, ma fallisce con i testi matematici e chimici.

L'intelligenza artificiale di Microsoft Seeing può essere scaricata oggi dall'app store Android e Apple app store. I lettori che hanno problemi a vedere le cose piccole potrebbero provare una lente di ingrandimento illuminata(come questa su Amazon).