Dimensionality Reduction techniques for latent space visualization on Motor Imagery BCI data

The Brain-computer interface (BCI) is a neurotechnology capable of acquiring, processing and decoding brain signals through invasive or non-invasive acquisition techniques and translating them into commands for the external environment. This command depends on the final objective of the BCI, which can be used to control a robotic device, a rehabilitation technology, or a game on the computer screen. The type of BCI used in this study is non-invasive and based on motor imagery. Data from a single subject who participated in the Cybathlon competition for two consecutive years were used, and on this dataset comprising various offline, online, and control sessions, a deep neural network was trained. The advantage of using a deep learning approach in this context is to minimize preprocessing of the raw data and the manual feature extraction process. At the same time, a major disadvantage of this system is explainability. Therefore, the aim of this study is not so much to find the best classifier, but rather to understand how the model makes predictions and how this process changes over the sessions, in relation to user adaptation. The goal is to demonstrate that the user has learned to use the BCI over the months through the visualization of the neural network's latent space. To enable visualization in two-dimensional space, a data dimensionality reduction technique based on UMAP (Uniform Manifold Approximation and Projection) was adopted, and it emerged that there was indeed a shift in the data distribution across the sessions, particularly evident when the subject became skilled in performing the required motor imagery tasks. To obtain a quantitative correspondence, several metrics were used, in addition to the classic accuracy, which together with the visualization allowed for an in-depth study of short-term and long-term user learning.

L'interfaccia uomo-macchina (Brain-computer interface, BCI) è una neurotecnologia capace di leggere i segnali cerebrali attraverso registrazioni invasive o non invasive e tradurli in comandi per l'ambiente esterno. Questo comando dipende dall'obiettivo finale della BCI, che può essere utilizzata per controllare un dispositivo robotico, una tecnologia di riabilitazione o un gioco sullo schermo del computer. La tipologia di BCI discussa in questo studio è non invasiva e basata sull'immaginazione motoria. Sono state utilizzate le registrazioni di un singolo soggetto che ha partecipato alla competizione Cybathlon per due anni consecutivi, e su questo set di dati, comprendente molte sessioni offline, online e di controllo, è stata addestrata una rete neurale profonda. Il vantaggio di utilizzare un approccio di deep learning in questo contesto è quello di ridurre al minimo la fase di pre-elaborazione dei dati grezzi e il processo manuale di estrazione delle caratteristiche. Allo stesso tempo, un grande svantaggio di questo sistema è la spiegabilità. Pertanto, l'obiettivo di questo studio non è tanto quello di trovare il miglior classificatore, ma piuttosto comprendere come il modello effettui le predizioni e come questo processo cambi nel corso delle sessioni, in relazione all'adattamento dell'utente. Si vuole quindi dimostrare che l'utente ha imparato nei mesi a usare la BCI attraverso la visualizzazione dello spazio latente della rete neurale. Per permettere la visualizzazione nello spazio bidimensionale è stata adottata una tecnica di riduzione della dimensionalità dei dati basata su UMAP (Uniform Manifold Approximation and Projection), e ne è emerso che c'è stato effettivamente uno spostamento nella distribuzione dei dati tra le varie sessioni, particolarmente evidente quando il soggetto è diventato abile nell'eseguire i compiti di immaginazione motoria richiesti. Per ottenere una corrispondenza quantitativa, sono state utilizzate diverse metriche, oltre alla classica accuratezza, che insieme alla visualizzazione hanno permesso uno studio approfondito dell'apprendimento dell'utente a breve e a lungo termine.