Optimization of cascaded multimodal transformers for differential dementia diagnosis and Alzheimer's disease stage stratification on multicentric longitudinal datasets

This master's thesis investigates the improvement of clinical dementia diagnosis using advanced machine learning techniques, specifically multimodal transformer models. The work covers the basics of dementia, the availability of dementia open datasets, the variety of data involved, the analysis of unimodal deep learning models, and the introduction of multimodal transformers. The strengths and limitations of current approaches were examined, leading to the exploration of a novel multimodal architecture designed to address critical aspects in the diagnostic domain. Significant emphasis was placed on describing and dissecting this model, incorporating mathematical methodologies to uncover the underlying transformations, thus enhancing its explanatory power. Finally, the thesis presents two practical applications: differential dementia diagnosis and Alzheimer's disease stage prediction. These offer a comparison between unimodal (i.e. MRI based) and multimodal models in subtype diagnosis and predict disease progression highlighting the advantages of using multiple data sources. In conclusion, the thesis highlights the potential of novel multimodal transformers architectures to enhance dementia diagnosis by considering multiple data sources with real world applications in mind.

La tesi di master indaga il miglioramento della diagnosi clinica di demenza utilizzando tecniche avanzate di apprendimento automatico, in particolare modelli di trasformatori multimodali. Il lavoro copre le basi della demenza, la disponibilità di set di dati aperti sulla demenza, la varietà di dati coinvolti, l’analisi di modelli di deep learning unimodali e l’introduzione di trasformatori multimodali. Sono stati esaminati i punti di forza e i limiti degli attuali approcci, portando all'esplorazione di una nuova architettura multimodale progettata per affrontare ad aspetti critici nel dominio della diagnostica. È stata posta un'enfasi significativa sulla descrizione e l'analisi di questo modello, incorporando metodologie matematiche per scoprire le trasformazioni sottostanti, raffinando così il suo potere esplicativo e le performance ottenute. Infine, la tesi presenta due applicazioni pratiche: la diagnosi differenziale della demenza e la stratificazione dello stadio della malattia di Alzheimer. Questi offrono un confronto tra modelli unimodali (in altri termini su risonanza magnetica) e multimodali nella diagnosi dei sottotipi e prevedono la progressione della malattia evidenziando i vantaggi dell'utilizzo di più fonti di dati. In conclusione, la tesi evidenzia il potenziale delle nuove architetture di trasformatori multimodali per migliorare la diagnosi di demenza considerando molteplici fonti di dati con in mente le potenziali applicazioni nel mondo reale.