Ensemble Unified architecture for Medical Image segmentation: ColoRectal Polyp Identification Case

Deep learning has significantly advanced the field of medical image segmentation, enabling precise and automated analysis of complex imaging data. However, individual models often exhibit limitations in generalization and robustness due to variations in data and inherent model biases. This thesis explores the potential of ensemble learning techniques to enhance the performance of deep learning segmentation models in medical image analysis. In particular in the segmentation case of Polyp Colonoscopy images, and, Ribs X-RAY images. By combining the strengths of multiple models, ensemble methods can mitigate individual model weaknesses and improve overall segmentation accuracy and reliability. This research investigates various strategies, in the so-called, unified architecture. Including model weighted voting, and the implementation of different trainable parameters, and losses in strategic points of the unified architecture model. This ensemble explores the combination of state-of-the-art segmentation architectures such as SAM and, SAMus. With state of the art architectures for polyp and medical segmentation, such as CAFENet, HSNet, and Polyp-PVT. The proposed ensemble models are evaluated on six public datasets. Five for the classic Polyp segmentation task. And one for the ribs case, to further extend the research and test of the proposed approaches. Results demonstrate that ensemble approaches outperform individual models, achieving superior segmentation performance across metrics such as mean Dice coefficient. Additionally, the ensemble models exhibit enhanced robustness to noisy data and variability in imaging conditions, which are critical factors in clinical applications. The findings of this thesis underscore the importance of leveraging ensemble techniques to harness the full potential of deep learning in medical image segmentation. The proposed ensemble framework offers a promising avenue for developing reliable and accurate diagnostic tools, ultimately contributing to improved patient outcomes and advancing the field of medical imaging. Keywords: Deep Learning, Ensemble Learning, Medical Image Segmentation, Polyp segmentation, Ribs Segmentation, SAM, SAMus, CAFENet, HSNet, POLYP-PVT.

I modelli individuali di deep learning spesso presentano limitazioni in termini di generalizzazione e robustezza a causa delle variazioni nei dati e dei bias intrinseci del modello. Questa tesi esplora il potenziale delle tecniche di ensemble learning per migliorare le prestazioni dei modelli di segmentazione deep learning nell’analisi delle immagini mediche. In particolare, nei casi di segmentazione delle immagini di colonscopia dei polipi e delle immagini a raggi X delle costole. Combinando i punti di forza di più modelli, i metodi ensemble possono mitigare le debolezze dei singoli modelli e migliorare l’accuratezza e l’affidabilità complessive della segmentazione. Questa ricerca indaga varie strategie, nella cosiddetta architettura unificata. Includendo il voto pesato del modello e l’implementazione di diversi parametri addestrabili e perdite in punti strategici del modello di architettura unificata. Questo ensemble esplora la combinazione di architetture di segmentazione all’avanguardia come SAM e SAMus, con architetture all’avanguardia per la segmentazione dei polipi e medica, come CAFENet, HSNet e Polyp-PVT. I modelli ensemble proposti sono valutati su sei dataset pubblici. Cinque per il classico compito di segmentazione dei polipi e uno per il caso delle costole, per estendere ulteriormente la ricerca e il test degli approcci proposti. I risultati dimostrano che gli approcci ensemble superano i modelli individuali, ottenendo prestazioni di segmentazione superiori su metriche come il coefficiente Dice medio. Inoltre, i modelli ensemble mostrano una maggiore robustezza ai dati rumorosi e alla variabilità delle condizioni di imaging, che sono fattori critici nelle applicazioni cliniche. I risultati di questa tesi sottolineano l’importanza di sfruttare le tecniche ensemble per cogliere tutto il potenziale del deep learning nella segmentazione delle immagini mediche. Il framework ensemble proposto offre una promettente via per sviluppare strumenti diagnostici affidabili e accurati, contribuendo in ultima analisi a migliorare i risultati dei pazienti e ad avanzare il campo dell’imaging medico. Parole chiave: Deep Learning, Ensemble Learning, Segmentazione delle Immagini Mediche, Segmentazione dei Polipi, Segmentazione delle Costole, SAM, SAMus, CAFENet, HSNet, Polyp-PVT.