Mitigating learning biases: A study on uncertainty quantification and instantial variability in machine learning models

Machine learning (ML) has become a significant driver of advancement in healthcare, enabling advanced solutions for diagnostics, personalized treatments, and decision-making support. In the study of brain dynamics, EEG microstate analysis stands out as a valuable technique for exploring brain activity, offering insights into cognitive functions and neural processes. However, inherent data variability and model limitations introduce uncertainty, posing significant challenges to the reliability of ML applications in this domain. This thesis explores the impact of instantial variability on the accuracy and robustness of machine learning (ML) models in EEG microstate analysis. EEG microstates, brief patterns of brain activity, are crucial for understanding neural dynamics. Using a dataset of resting-state EEG recordings from 203 participants, key microstate features such as Global Explained Variance, Mean Durations, and Corrected Time Coverage were analyzed. To simulate variability, probabilistic augmentation techniques were applied on the dataset and uncertainty-aware methods were used to classify microstates. Four classifiers: K-Nearest Neighbors (KNN), Augmented Support Vector Classifier (ACS), Augmented Gradient Boosting Classifier (ACG), and Weighted Sampling Forest (WSF) were evaluated under baseline and perturbed conditions and compared with the performance of a traditional ML model, Linear Support Vector Machine (LSVM). The ACS model consistently showed the highest performance, demonstrating the effectiveness of augmentation and uncertainty quantification in enhancing robustness. To further evaluate the robustness of these classifiers, perturbations were introduced to simulate real-world variability. The findings emphasize the importance of variability-aware techniques in improving ML models for EEG analysis, paving the way for more reliable applications in clinical diagnostics and brain-computer interfaces. Future work should focus on expanding datasets, exploring deep learning approaches, and adapting methods to real-time applications.

Il machine learning (ML) è diventato un fattore significativo di progresso nell'ambito sanitario, abilitando soluzioni avanzate per la diagnostica, i trattamenti personalizzati e il supporto decisionale. Nello studio della dinamica cerebrale, l'analisi dei microstati EEG si distingue come una tecnica preziosa per esplorare l'attività cerebrale, offrendo approfondimenti sulle funzioni cognitive e sui processi neurali. Tuttavia, la variabilità intrinseca dei dati e le limitazioni dei modelli introducono incertezze, ponendo sfide significative per l'affidabilità delle applicazioni ML in questo settore. Questa tesi esplora l'impatto della variabilità istanziale sull'accuratezza e la robustezza dei modelli di machine learning (ML) nell'analisi dei microstati EEG. I microstati EEG, brevi schemi di attività cerebrale, sono fondamentali per comprendere la dinamica neurale. Utilizzando un dataset di registrazioni EEG a riposo provenienti da 203 partecipanti, sono state analizzate caratteristiche chiave dei microstati come la Global Explained Variance, le Mean Durations e la Corrected Time Coverage. Per simulare la variabilità, sono state applicate tecniche di aumentazione probabilistica al dataset, e metodi consapevoli dell'incertezza sono stati utilizzati per classificare i microstati. Quattro classificatori, tra cui K-Nearest Neighbors (KNN), Augmented Support Vector Classifier (ACS), Augmented Gradient Boosting Classifier (ACG) e Weighted Sampling Forest (WSF), sono stati valutati in condizioni di base e perturbate e confrontati con le prestazioni di un modello ML tradizionale, il Linear Support Vector Machine (LSVM). Il modello ACS ha dimostrato costantemente le migliori prestazioni, evidenziando l'efficacia dell'aumentazione e della quantificazione dell'incertezza nel migliorare la robustezza. Per valutare ulteriormente la robustezza di questi classificatori, sono state introdotte perturbazioni per simulare la variabilità reale. I risultati sottolineano l'importanza di tecniche consapevoli della variabilità nel migliorare i modelli ML per l'analisi EEG, aprendo la strada a applicazioni più affidabili nella diagnostica clinica e nelle interfacce cervello-computer. Futuri sviluppi dovrebbero concentrarsi sull'espansione dei dataset, sull'esplorazione di approcci di deep learning e sull'adattamento dei metodi per applicazioni in tempo reale.