Open-Source Kinesis effettua il reverse engineering del Neural Band di Meta per il controllo del Mac tramite i muscoli

Meta ha originariamente progettato il “Neural Band” come dispositivo di input per i propri occhiali a realtà aumentata Ray-Ban Display. Anziché affidarsi a telecamere per tracciare i movimenti delle mani nell’aria, il braccialetto utilizza l’elettromiografia di superficie (sEMG) per rilevare i minuscoli segnali elettrici che il sistema nervoso dell’utente invia lungo il braccio. Ogni volta che rileva una contrazione del dito o una pressione del pollice, i sensori a contatto con la pelle rilevano gli impulsi motori prima ancora che il dito completi il movimento fisico, creando un controller invisibile e poco faticoso che funziona quando le mani si trovano in una posizione naturale. Tuttavia, fino a poco tempo fa questa tecnologia era limitata all’hardware di Meta.

Kinesis, un progetto open source pubblicato su GitHub dallo sviluppatore callbacked, ha decodificato il flusso di pacchetti Bluetooth Low Energy (BLE) non crittografati del braccialetto. L’utilità della barra dei menu di Kinesis si accoppia direttamente con l’hardware tramite Bluetooth, aggirando completamente i daemon proprietari e i server cloud di Meta. Traducendo i segnali grezzi dei sensori neuromuscolari in eventi di sistema di macOS, una pinza tra pollice e indice viene registrata come un clic del mouse, lo scorrimento delle dita regola il volume del sistema e un leggero movimento del polso consente di passare da uno spazio desktop virtuale all’altro in Mission Control.

Al momento, l’implementazione di Kinesis è limitata a macOS. Tuttavia, un ampio supporto multipiattaforma appare praticamente certo. Poiché lo sviluppatore ha mappato il protocollo BLE grezzo della banda anziché affidarsi ai framework proprietari di Apple, il porting del decodificatore su Linux o Windows risulta semplice e potrebbe aprire la strada a una navigazione neurale del desktop open source su qualsiasi sistema operativo. Potete trovare ulteriori informazioni su Kinesis al link riportato di seguito.