The Tumor Microenvironment (TME) plays a crucial role in neoplastic progression and the modulation of the response to immunotherapy. Understanding the spatial organization of immune populations within the TME is fundamental; however, conventional histopathology and single-marker immunohistochemistry (IHC) are inadequate for complex phenotyping. Brightfield Multiplex Immunohistochemistry (mIHC) technology allows for the simultaneous analysis of multiple biomarkers while preserving tissue architecture, but it introduces significant computational challenges, including spectral overlaps and the need for extensive manual annotations to train Artificial Intelligence models. This study proposes an innovative Computational Pathology pipeline for the spatial analysis of the TME, based on a robust, fully supervised Deep Learning model (U-Net architecture). To overcome the bottleneck of manual data preparation, an automated deterministic decoding algorithm was developed to translate human visual annotations from the RGB input into mathematically pure, artifact-free spatial masks. The neural network successfully generalized beyond colorimetric variations, learning to perform native color deconvolution and precisely segment both large desmoplastic architectures and dense immunological clusters. The model was applied to compare two diametrically opposed tumor ecosystems: Colorectal Cancer (CRC), typically characterized by pronounced, morphologically dynamic immune infiltration, and Pancreatic Ductal Adenocarcinoma (PDAC), known for its severe desmoplasia and immune exclusion. The extraction of quantitative spatial metrics—specifically the Cellular Area Variance (Pleomorphism Proxy) and Inter-regional Size Variance—enabled the mathematical measurement of morphological rigidity and immune engagement. The results confirm that the integration of brightfield mIHC and spatial Deep Learning provides a highly sensitive and scalable tool for deciphering TME heterogeneity, overcoming the visual limitations of the human observer and offering new perspectives for the identification of predictive morphometric biomarkers in precision oncology.

Il Microambiente Tumorale (TME) svolge un ruolo cruciale nella progressione neoplastica e nella modulazione della risposta all'immunoterapia. Comprendere l'organizzazione spaziale delle popolazioni immunitarie all'interno del TME è fondamentale; tuttavia, l'istopatologia convenzionale e l'immunoistochimia a singolo marcatore (IHC) sono inadeguate per la fenotipizzazione complessa. La tecnologia Brightfield Multiplex Immunohistochemistry (mIHC) consente l'analisi simultanea di più biomarcatori preservando l'architettura tissutale, ma introduce notevoli sfide computazionali, tra cui la sovrapposizione spettrale e la necessità di ampie annotazioni manuali per addestrare i modelli di Intelligenza Artificiale. Questo studio propone una pipeline innovativa di Patologia Computazionale per l'analisi spaziale del TME, basata su un modello di Deep Learning robusto e completamente supervisionato (architettura U-Net). Per superare il collo di bottiglia della preparazione manuale dei dati, è stato sviluppato un algoritmo di decodifica deterministica automatizzato per tradurre le annotazioni visive umane dall'ingresso RGB in maschere spaziali matematicamente pure e prive di artefatti. La rete neurale si è generalizzata con successo oltre le variazioni colorimetriche, imparando a eseguire la deconvoluzione del colore nativo e a segmentare con precisione sia grandi architetture desmoplastiche sia cluster immunologici densi. Il modello è stato applicato per confrontare due ecosistemi tumorali diametralmente opposti: il Cancro Colorettale (CRC), tipicamente caratterizzato da una marcata infiltrazione immunitaria morfologicamente dinamica, e l'Adenocarcinoma Ductale Pancreatico (PDAC), noto per la sua grave desmoplasia e esclusione immunitaria. L'estrazione di metriche spaziali quantitative — in particolare la Varianza dell'Area Cellulare (Pleomorphism Proxy) e la Varianza di Dimensione Inter-regionale — ha permesso la misurazione matematica della rigidità morfologica e dell'impegno immunitario. I risultati confermano che l'integrazione del mIHC in campo chiaro e del Deep Learning spaziale fornisce uno strumento altamente sensibile e scalabile per decifrare l'eterogeneità TME, superando i limiti visivi dell'osservatore umano e offrendo nuove prospettive per l'identificazione di biomarcatori morfometrici predittivi nell'oncologia di precisione.

Implementation of a Unified U-Net Model for Color-based Segmentation of mIHC Data in CRC and PDAC

SAVINO, EMANUELE
2025/2026

Abstract

The Tumor Microenvironment (TME) plays a crucial role in neoplastic progression and the modulation of the response to immunotherapy. Understanding the spatial organization of immune populations within the TME is fundamental; however, conventional histopathology and single-marker immunohistochemistry (IHC) are inadequate for complex phenotyping. Brightfield Multiplex Immunohistochemistry (mIHC) technology allows for the simultaneous analysis of multiple biomarkers while preserving tissue architecture, but it introduces significant computational challenges, including spectral overlaps and the need for extensive manual annotations to train Artificial Intelligence models. This study proposes an innovative Computational Pathology pipeline for the spatial analysis of the TME, based on a robust, fully supervised Deep Learning model (U-Net architecture). To overcome the bottleneck of manual data preparation, an automated deterministic decoding algorithm was developed to translate human visual annotations from the RGB input into mathematically pure, artifact-free spatial masks. The neural network successfully generalized beyond colorimetric variations, learning to perform native color deconvolution and precisely segment both large desmoplastic architectures and dense immunological clusters. The model was applied to compare two diametrically opposed tumor ecosystems: Colorectal Cancer (CRC), typically characterized by pronounced, morphologically dynamic immune infiltration, and Pancreatic Ductal Adenocarcinoma (PDAC), known for its severe desmoplasia and immune exclusion. The extraction of quantitative spatial metrics—specifically the Cellular Area Variance (Pleomorphism Proxy) and Inter-regional Size Variance—enabled the mathematical measurement of morphological rigidity and immune engagement. The results confirm that the integration of brightfield mIHC and spatial Deep Learning provides a highly sensitive and scalable tool for deciphering TME heterogeneity, overcoming the visual limitations of the human observer and offering new perspectives for the identification of predictive morphometric biomarkers in precision oncology.
2025
Implementation of a Unified U-Net Model for Color-based Segmentation of mIHC Data in CRC and PDAC
Il Microambiente Tumorale (TME) svolge un ruolo cruciale nella progressione neoplastica e nella modulazione della risposta all'immunoterapia. Comprendere l'organizzazione spaziale delle popolazioni immunitarie all'interno del TME è fondamentale; tuttavia, l'istopatologia convenzionale e l'immunoistochimia a singolo marcatore (IHC) sono inadeguate per la fenotipizzazione complessa. La tecnologia Brightfield Multiplex Immunohistochemistry (mIHC) consente l'analisi simultanea di più biomarcatori preservando l'architettura tissutale, ma introduce notevoli sfide computazionali, tra cui la sovrapposizione spettrale e la necessità di ampie annotazioni manuali per addestrare i modelli di Intelligenza Artificiale. Questo studio propone una pipeline innovativa di Patologia Computazionale per l'analisi spaziale del TME, basata su un modello di Deep Learning robusto e completamente supervisionato (architettura U-Net). Per superare il collo di bottiglia della preparazione manuale dei dati, è stato sviluppato un algoritmo di decodifica deterministica automatizzato per tradurre le annotazioni visive umane dall'ingresso RGB in maschere spaziali matematicamente pure e prive di artefatti. La rete neurale si è generalizzata con successo oltre le variazioni colorimetriche, imparando a eseguire la deconvoluzione del colore nativo e a segmentare con precisione sia grandi architetture desmoplastiche sia cluster immunologici densi. Il modello è stato applicato per confrontare due ecosistemi tumorali diametralmente opposti: il Cancro Colorettale (CRC), tipicamente caratterizzato da una marcata infiltrazione immunitaria morfologicamente dinamica, e l'Adenocarcinoma Ductale Pancreatico (PDAC), noto per la sua grave desmoplasia e esclusione immunitaria. L'estrazione di metriche spaziali quantitative — in particolare la Varianza dell'Area Cellulare (Pleomorphism Proxy) e la Varianza di Dimensione Inter-regionale — ha permesso la misurazione matematica della rigidità morfologica e dell'impegno immunitario. I risultati confermano che l'integrazione del mIHC in campo chiaro e del Deep Learning spaziale fornisce uno strumento altamente sensibile e scalabile per decifrare l'eterogeneità TME, superando i limiti visivi dell'osservatore umano e offrendo nuove prospettive per l'identificazione di biomarcatori morfometrici predittivi nell'oncologia di precisione.
U-Net
Bioinformatics
CRC and PDAC
File in questo prodotto:
File Dimensione Formato  
Savino_Emanuele.pdf

accesso aperto

Dimensione 2.67 MB
Formato Adobe PDF
2.67 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/109390