Development of Encoder-only Neural Network for brain imaging analysis

The increasing availability of heterogeneous neuroimaging data represents an important opportunity for the development of artificial intelligence methods capable of supporting large-scale neurological research. However, the training of deep learning models for medical imaging is often limited by the scarcity of manually annotated datasets and by the substantial variability introduced by different acquisition protocols, scanners, imaging sequences, and patient populations. Self-Supervised Learning (SSL) offers a promising alternative by enabling representation learning directly from unlabelled data, reducing the dependence on manual annotations. This thesis presents the development and analysis of an anatomical-aware representation learning framework for heterogeneous three-dimensional brain Magnetic Resonance Imaging (MRI), developed within the context of the HEREDITARY project. The proposed architecture combines a three-dimensional convolutional feature extractor initialized from pretrained Synth- Seg weights with a Feature Pyramid Network (FPN), a TokenLearner module for converting spatial feature maps into a compact set of anatomical-aware tokens, and a C-JEPA-based encoder architecture for self-supervised representation learning. The framework was designed to learn structured representations of brain anatomy while preserving spatial information that could be exploited in subsequent downstream analyses. Experiments were conducted on a curated subset of the FOMO300K dataset, selected to provide variability across subjects and acquisition sources. SynthSeg+ was employed during preprocessing to obtain anatomical segmentations, cortical parcellations, and quality-control information. Three masking strategies were investigated, operating either on the input image or on the latent token representation, while an ablation study was performed to assess their interaction with the learning objective. The results show that the strictly self-supervised formulation, based on JEPA and VICReg objectives, was able to produce meaningful latent representations, but exhibited limited anatomical localization. The introduction of an auxiliary spatial loss combining Dice and Binary Cross- Entropy substantially improved the localization of the TokenLearner attention maps and increased the Dice scores obtained for most anatomical regions. However, the learned representation did not exhibit a strict one-to-one correspondence between individual tokens and anatomical regions, indicating that anatomical information remains distributed across multiple tokens. The study also highlights the impact of computational constraints on the development and evaluation of three-dimensional representation learning models. Limited GPU memory required reductions in spatial resolution, constrained batch sizes, and restricted the size of the experimental cohort, particularly affecting the representation of small anatomical structures. Overall, the results provide a proof of concept for integrating pretrained anatomical representations with self-supervised learning to obtain spatially structured representations from heterogeneous brain MRI. Further work should focus on larger cohorts, independent validation and test sets, higherresolution representations, and the extension of the framework towards multimodal biomedical data.

crescente disponibilità di dati di neuroimaging eterogenei rappresenta un'importante opportunità per lo sviluppo di metodi di intelligenza artificiale a supporto della ricerca neurologica su larga scala. Tuttavia, l'addestramento di modelli di deep learning per l'imaging medico è spesso limitato dalla scarsità di dataset annotati manualmente e dalla variabilità introdotta da differenti protocolli di acquisizione, scanner, sequenze di imaging e popolazioni di pazienti. Il Self-Supervised Learning (SSL) offre una promettente alternativa, consentendo di apprendere rappresentazioni direttamente da dati non annotati e riducendo la dipendenza dalle annotazioni manuali. Questa tesi presenta lo sviluppo e l'analisi di un framework per l'apprendimento di rappresentazioni anatomically-aware a partire da immagini tridimensionali eterogenee di Risonanza Magnetica (MRI) cerebrale, sviluppato nell'ambito del progetto HEREDITARY. L'architettura combina un estrattore di caratteristiche convoluzionale tridimensionale, inizializzato con pesi pretrained di SynthSeg, una Feature Pyramid Network (FPN), un modulo TokenLearner per convertire le mappe di caratteristiche spaziali in un insieme compatto di token anatomically-aware e un encoder basato su C-JEPA per il self-supervised learning. Gli esperimenti sono stati condotti su un sottoinsieme selezionato del dataset FOMO300K, caratterizzato da variabilità tra soggetti e fonti di acquisizione. SynthSeg+ è stato utilizzato durante il preprocessing per ottenere segmentazioni anatomiche, parcellazioni corticali e informazioni di controllo qualità. Sono state investigate tre strategie di masking, applicate all'immagine di input o alla rappresentazione latente, insieme a uno studio di ablazione per analizzarne l'interazione con l'obiettivo di apprendimento. I risultati mostrano che la formulazione strettamente self-supervised, basata sugli obiettivi JEPA e VICReg, produce rappresentazioni latenti significative, ma con una limitata localizzazione anatomica. L'introduzione di una loss spaziale ausiliaria basata su Dice e Binary Cross-Entropy migliora la localizzazione delle mappe di attenzione del TokenLearner e i valori di Dice per la maggior parte delle regioni anatomiche. Tuttavia, non emerge una corrispondenza strettamente uno-a-uno tra singoli token e regioni anatomiche, indicando che l'informazione anatomica rimane distribuita tra più token. Lo studio evidenzia inoltre l'impatto dei vincoli computazionali sullo sviluppo di modelli tridimensionali di representation learning. La memoria GPU limitata ha imposto riduzioni della risoluzione spaziale, delle dimensioni dei batch e della numerosità della coorte, con particolare impatto sulle strutture anatomiche di piccole dimensioni. Nel complesso, i risultati forniscono una proof of concept per l'integrazione di rappresentazioni anatomiche pretrained e self-supervised learning, con l'obiettivo di ottenere rappresentazioni spazialmente strutturate da immagini MRI cerebrali eterogenee. Sviluppi futuri dovrebbero includere coorti più ampie, set di validazione e test indipendenti, maggiore risoluzione e l'estensione del framework a dati biomedici multimodali.