Decoding and analysis of EEG signals during the Motor Observation of robotic arm movements ​

There are knowledge gaps in the state of the art on the topic of electrophysical neural activity correlated to the observation of movements, especially when coming to its application in brain-computer interfaces. In fact, recent studies showed that in the invasive domain, the neural activity during the observation of robotic movements during a reach-and-grasp task can be useful for enhancing the active control of the robotic device through the decoding of brain signals. Nevertheless, it is not clear how this principle translates to non-invasive brain activity measurement. In order to fill this gap, I designed an experimental paradigm to explore how the observation of center-out target-oriented reaching movements performed by a robotic arm in the 2D plane are encoded in the brain electroencephalography (EEG). Moreover, the possibility of decoding the measured activity into movement-related information, being that the target of the movement or the kinematic state of the robot itself, was investigated through the design of a classification and a regression task. To solve the task, several approaches were followed, through features selection and the search for the best-performing machine learning models. After measuring and analyzing the experimental data collected from the participants, what was found is that the EEG during the observation of the motor act shows time and frequency features that are known from the literature to be associated with the observation of movement, and that patterns characteristics of the direction of movement are present in the event-related de-synchronization (ERDS) in several phases of the action. Moreover, through the design of algorithms and custom models, it was possible to decode low-frequency EEG both in the classification and the regression task with accuracy significantly above the chance-level, proving that the neural activity measured non-invasively during a motor observation task encodes sufficient quantities of movement-related information for being applied in BCI systems. All this adds to the existing knowledge of the neural correlates of the observation of movements in the EEG, and could have a positive impact on the performance of EEG-based brain-computer interfaces for the neural control of robotic devices.

Ciò che conosciamo del campo dell'attività elettrofisica neurale correlata con l'osservazione dei movimenti presenta delle lacune, soprattutto per quanto riguarda la sua applicazione nelle interfacce cervello-computer (BCI). Infatti, recenti studi hanno dimostrato che nel dominio invasivo, l'attività neurale durante l'osservazione dei movimenti robotici durante un'attività di reach-and-grasp può essere utile per migliorare il controllo attivo del dispositivo robotico attraverso la decodifica dei segnali cerebrali. Tuttavia, non è chiaro come questo principio si traduca nel contesto della misurazione non invasiva dell'attività cerebrale. Per colmare tale lacuna, ho progettato un paradigma sperimentale per esplorare il modo in cui l'osservazione di movimenti center-out e target-oriented eseguiti da un braccio robotico nel piano 2D venga codificata nell'elettroencefalogramma (EEG). Inoltre, la possibilità di decodificare l'attività misurata in informazioni relative al movimento, siano esse il bersaglio del movimento o lo stato cinematico del robot stesso, è stata approcciata attraverso la progettazione di una task di classificazione e una di regressione. Per risolvere quest'ultime sono stati seguiti diversi approcci, attraverso la selezione delle caratteristiche e la ricerca dei modelli di machine learning più performanti. Dopo aver misurato e analizzato i dati sperimentali raccolti dai partecipanti, è emerso che l'EEG durante l'osservazione dell'atto motorio mostra caratteristiche di tempo e frequenza che sono note in letteratura per essere associate all'osservazione del movimento, e che i pattern caratteristici della direzione del movimento sono presenti nella event-related de-synchronization (ERDS) in diverse fasi dell'azione. Inoltre, grazie alla progettazione di algoritmi e modelli personalizzati, è stato possibile decodificare l'EEG a bassa frequenza sia nella task di classificazione che in quella di regressione con un'accuratezza significativamente superiore al caso fortuito, dimostrando che l'attività neurale misurata in modo non invasivo durante un processo di osservazione motoria codifica quantità di informazioni legate al movimento sufficienti per essere applicata in sistemi BCI. Tutto ciò si aggiunge alle conoscenze esistenti sui correlati neurali dell'osservazione dei movimenti nell'EEG e potrebbe avere un impatto positivo sulle prestazioni delle interfacce cervello-computer basate sull'EEG per il controllo neurale di dispositivi robotici.