Ottimizzazione degli iperparametri per la segmentazione automatica del Plesso Coroideo mediante UNet Transformers: applicazione alla Sclerosi Multipla

This thesis focuses on optimizing hyperparameters for the automatic segmentation of the choroid plexus from brain magnetic resonance imaging (MRI) using the UNet Transformers (UNETR) deep neural network. The choroid plexus is a vascular structure located in the brain, within the cerebral ventricles. In addition to cerebrospinal fluid production, it plays a primary role in regulating brain homeostasis by eliminating metabolic waste and protecting the brain from harmful substances. Furthermore, it is involved in immunological and inflammatory processes that can influence the development of neurodegenerative diseases such as multiple sclerosis. This study aims to investigate the potential of using artificial intelligence (AI) to perform choroid plexus segmentation, which could prove invaluable in monitoring disease progression and offer early indications of its course, potentially serving as a new imaging marker for multiple sclerosis. Specifically, this research will concentrate on optimizing the hyperparameters of a network called UNETR, used for automatic segmentation of biomedical images. The main objective is to improve the accuracy and reliability of the segmentation process by exploring different combinations of hyperparameters to optimize the performance of the network. To achieve this goal, automated optimization methods such as Optuna will be employed to search for the optimal hyperparameter configurations. The optimization of hyperparameters will enable the development of a highly performing UNETR network for precise and accurate segmentation of the choroid plexus. This will contribute to a better understanding of neurodegenerative pathologies and may pave the way for new biomarkers in neuroimaging for monitoring of brain diseases. Various sampling and pruning algorithms were employed in the study to optimize the hyperparameters for choroid plexus segmentation. In the study's final remarks, it is evident that three primary hyperparameters emerge as pivotal factors for optimization: the learning rate, weight decay, and the selection of the loss function. These parameters significantly affect network performance. In addition, the study highlights the effectiveness of Bayesian optimization with the Parzen Tree-structured Estimator, especially when associated with the median pruner as a pruning algorithm for hyperparameter sampling. This combination improves the efficiency of the optimization process, significantly reducing the training time. For example, the median TPE with median configuration takes about 2 days and 15 hours to complete, compared to the conventional grid search method, which consumes 15 days and 10 hours. This represents a significant reduction of the optimization time by 85%, underlining the potential for considerable time savings. Also, when computational memory capacity is not a limiting factor, the study recommended the use of a UNETR network architecture with a feature size of 32 combined with a patch size of 128. This document provides a comprehensive overview of the content covered in subsequent chapters: Chapter 2 introduces the importance of choroid plexus segmentation in neuroimaging and discusses the role of hyperparameter optimization (HPO). Chapter 3 explores Optuna, a state-of-the-art HPO framework, and its applications in biomedical image analysis. Chapter 4 discusses the materials, data sources, and methods used in the study. Chapter 5 presents the results of hyperparameter optimization, quantifying the performance of segmentation. Chapter 6 discusses the obtained results and their significance in the context of choroid plexus segmentation. Chapter 7 provides a summary of the study's findings on choroid plexus segmentation and its implications for neuroimaging. It also outlines potential future research directions.

Questa tesi si concentra sull'ottimizzazione degli iperparametri per la segmentazione automatica del plesso corioideo a partire da immagini di risonanza magnetica (MRI) del cervello, utilizzando la rete neurale UNet Transformers (UNETR). Il plesso corioideo è una struttura vascolare situata nel cervello, all'interno dei ventricoli cerebrali. Oltre alla produzione di liquido cerebrospinale, svolge un ruolo primario nella regolazione dell'omeostasi cerebrale, eliminando i rifiuti metabolici e proteggendo il cervello dalle sostanze nocive. Inoltre, è coinvolto nei processi immunologici e infiammatori che possono influenzare lo sviluppo di malattie neurodegenerative come la sclerosi multipla. Lo studio si propone di indagare il potenziale dell'uso dell'intelligenza artificiale (AI) per eseguire la segmentazione del plesso coroideo, che potrebbe rivelarsi preziosa per monitorare la progressione della malattia e offrire indicazioni precoci sul suo decorso, fungendo potenzialmente da nuovo marcatore di imaging per la sclerosi multipla. La ricerca si concentra sull'ottimizzazione degli iperparametri di UNETR, una rete utilizzata per la segmentazione di immagini biomediche, mirando a migliorare l'accuratezza e l'affidabilità del processo di segmentazione. Per raggiungere questo obiettivo, vengono utilizzati metodi di ottimizzazione automatizzati, come Optuna, per esplorare diverse combinazioni di iperparametri e ottimizzare le prestazioni della rete. Questa ottimizzazione consentirà di sviluppare una rete UNETR altamente performante per ottenere una segmentazione precisa del plesso corioideo, contribuendo così a una migliore comprensione delle patologie neurodegenerative. Inoltre, questa ricerca potrebbe aprire nuove prospettive per l'identificazione di biomarcatori nelle neuroimmagini per il monitoraggio delle malattie cerebrali. Lo studio utilizza vari algoritmi di campionamento e pruning per ottimizzare gli iperparametri nella segmentazione. Nelle osservazioni finali dello studio, è risultato evidente che tre iperparametri principali emergono come fattori cardine per l'ottimizzazione: il learning rate, il weight decay e la selezione della loss function. Questa combinazione migliora l'efficienza del processo di ottimizzazione, riducendo significativamente il tempo di addestramento. Ad esempio, la configurazione di TPE con il median pruning richiede circa 2 giorni e 15 ore per essere completato, rispetto al metodo convenzionale di grid search, che impiega 15 giorni e 10 ore. Ciò rappresenta una riduzione significativa del tempo di ottimizzazione dell'85%, sottolineando il potenziale di un notevole risparmio di tempo. Inoltre, quando la capacità di memoria computazionale non è un fattore limitante, lo studio raccomanda l'uso di un'architettura di rete UNETR con una feature size di 32 combinata con una patch size di 128. Questo documento fornisce una panoramica completa dei contenuti trattati nei capitoli successivi: Il Capitolo 2 introduce l'importanza della segmentazione del plesso coroideo nel neuroimaging e discute il ruolo dell'ottimizzazione degli iperparametri (HPO). Il capitolo 3 esplora Optuna, un framework HPO all'avanguardia, e le sue applicazioni nell'analisi delle immagini biomediche. Il capitolo 4 illustra i materiali, le fonti di dati e i metodi utilizzati nello studio. Il capitolo 5 presenta i risultati dell'ottimizzazione degli iperparametri, quantificando le prestazioni della segmentazione. Il capitolo 6 discute i risultati ottenuti e il loro significato nel contesto della segmentazione del plesso coroideo. Il capitolo 7 fornisce una sintesi dei risultati dello studio sulla segmentazione del plesso coroideo e le sue implicazioni per il neuroimaging. Inoltre, delinea le potenziali direzioni di ricerca future.