Registrazione multimodale tra immagini H&E e SHG mediante feature self-supervised e fusione multimodale

Allineare un’immagine istologica H&E con un segnale di microscopia a generazione di seconda armonica (SHG) vuol dire mettere in corrispondenza due viste dello stesso tessuto con visioni differenti: la prima mostra nuclei e citoplasma, la seconda soltanto le fibre di collagene. Tra le intensità dei pixel non esiste alcuna relazione, e le sezioni H&E raggiungono dimensioni gigapixel: due condizioni che mettono fuori gioco i metodi classici basati su informazione mutua o correlazione. Questa tesi affronta il problema con feature auto-supervisionate estratte da un backbone DINOv2 congelato, che confronta le due modalità sulla base della struttura del tessuto anziché del contrasto. C’è però un vincolo operativo che ne cambia la natura: in produzione è quasi sempre disponibile la sola ROI SHG, non la SHG dell’intero vetrino. Una registrazione diretta è perciò impossibile, e una singola predizione automatica resta ambigua. Il metodo, allora, non restituisce una posizione ma una rosa di pochi candidati ordinati per affidabilità, che l’esperto rivede e conferma. La rosa nasce da un consenso: le quattro modalità non lineari — BSHG, FSHG, TPF e composito RGB — e due teste DINO complementari producono più liste di candidati, fuse tramite reciprocal rank fusion e una maschera di tessuto. La lettura a livelli piramidali e il ricampionamento a una risoluzione comune rendono il tutto praticabile anche su immagini molto grandi. Sui due campioni per cui esiste una ground truth da registrazione, la posizione corretta rientra sempre tra i primi cinque candidati. È uno studio di fattibilità, su una base ancora ridotta; ma mostra che una localizzazione cross-modale H&E–SHG, indipendente dal contrasto e scalabile, è possibile proprio dove i metodi tradizionali si fermano.