Assessing deep learning approaches to detect error-related potentials in BCIs

Brain-computer interfaces (BCIs) are systems that use the recorded cerebral activity to establish a communication between brain and devices, with the objective of understanding the user's intentions and allowing him/her to interact with the surrounding environment. However, the limited reliability of these technologies makes it difficult to transfer BCIs from the controlled laboratory settings to real-life environments. The errors of interaction between brain and machine are unavoidable, but they can be exploited to boost the reliability of systems by the detection of error-related potentials (ErrPs), electroencephalographic waveforms that occur naturally in response to unattended errors. The automatic detection of ErrPs can be exploited not only to improve the robustness of the system, checking in real-time if the user's intention are correctly interpreted, but also as neurofeedback paradigm, to analyze error-monitoring processes for neuro-rehabilitation. These are the objectives of the B-RELIABLE research project, running at the Institute of Systems and Robotics - University of Coimbra (ISR-UC), where this work was carried out. Error detection has been mainly based on ErrPs in the temporal domain through classical methods of classification and machine learning. Nevertheless, recent studies associated the modulation of frequency components to error-monitoring, but these features are still unexplored for classification purposes. In this work two datasets (one publicly available and one developed by the B-RELIABLE team) based on ErrPs elicited by the observation of an external agent have been analyzed from a neuro-physiological point of view. Three convolutional neural networks have been selected and implemented to assess the effectivity of deep learning techniques for ErrPs detection. Lastly, the possibility of using frequency features as input has been tested through the wavelet and Fourier transforms. The obtained results showed that the deep learning techniques can be competitive with the classical methods even with small datasets and that the information extracted from the frequency domain, in particular through wavelets, can be actually exploited for error detection. Moreover, delta and theta bands have proved to have the greatest impact on the classification.

Le interfacce cervello-computer (BCIs) sono sistemi che utilizzano la rilevazione dell’attività cerebrale per stabilire una comunicazione tra cervello e computer, con l’obiettivo di interpretare le intenzioni dell’utente e di conseguenza permettergli di interagire con l’ambiente circostante. Tuttavia, la limitata affidabilità di queste tecnologie rende difficile trasferire le BCIs dagli ambienti controllati dei laboratori alla vita reale. Gli errori nella comunicazione tra cervello e macchina non possono infatti essere evitati. Possono, tuttavia, essere sfruttati per aumentare l’affidabilità del sistema attraverso il rilevamento di specifiche onde elettroencefalografiche dette potenziali d’errore (ErrPs), le quali avvengono naturalmente nel cervello in risposta ad errori inattesi. L’individuazione automatica di ErrPs può essere utilizzata sia per aumentare la robustezza del sistema, controllando in tempo reale se le intenzioni dell’utente sono state correttamente interpretate, sia come paradigma di neurofeedback, per analizzare i processi di monitoraggio degli errori a scopo neuro-riabilitativo. Questi sono i principali obiettivi del gruppo di ricerca B-RELIABLE dell’Institute of Systems and Robotics - University of Coimbra (ISR-UC), dove si è svolto questo lavoro di tesi. La rilevazione degli errori è stata principalmente basata sul riconoscimento delle forme d’onda degli ErrPs attraverso metodi classici di classificazione e machine learning nel dominio temporale. Recenti studi hanno però associato della variazione delle componenti nel dominio delle frequenze associate al monitoraggio degli errori da parte dell’utente. In questa tesi sono stati analizzati dal punto di vista neurofisiologico due datasets basati su ErrPs suscitati dall’osservazione di un agente esterno (uno pubblico e uno sviluppato presso l’ISR-UC). Successivamente, sono state selezionate e implementate tre reti neurali convoluzionali per verificare l’efficacia delle tecniche di deep learning per l’individuazione degli ErrPs. Infine, si è testata la possibilità di utilizzare il contenuto in frequenza come input attraverso le trasformate wavelet e di Fourier. I risultati ottenuti mostrano che le tecniche di deep learning possono essere competitive con i metodi classici anche con dataset di piccole dimensioni e che le informazioni estratte dal dominio in frequenza, in particolare attraverso le wavelets, possono essere effettivamente sfruttate per l’individuazione degli errori. Inoltre, le bande delta e theta hanno dimostrato di avere l’impatto maggiore sulla classificazione.