The anatomical complexity of head and neck cancers site, combined with the inherent heterogeneity of cancers, makes the development of effective and trustworthy methods for tumor segmentation and outcome prediction challenging. Tumors may be more effectively treated and patients' quality of life may improve with early and accurate tumor identification. Furthermore, researchers are keen to find biomarkers that can predict cancer recurrence to more precisely adapt patients' treatments, enabling a sort of precision medicine. The aim of this thesis is therefore to develop state-of-art models for tumor segmentation and outcome prediction. Several deep learning models were tested to perform tumor segmentation on Positron Emission Tomography (PET) and Computed Tomography (CT) images from data collected for the HEad and neCK TumOR segmentation and outcome prediction in PET/CT images (HECKTOR) challenge and from data collected by University Hospital of Padua. Statistical tests were then carried out on the results obtained by these models to understand which of them produced the best performances. The tests were conducted to determine the best bimodal model, which exploits both PET and CT data, and the best unimodal model, which utilizes only CT data. They also aimed to determine which center had generated the images that, when combined with the most effective bimodal model, delivered the best results. Furthermore, the study proposes the development of a machine learning model for the prediction of cancer recurrence. Individual Coefficient Approximation for Risk Estimation (ICARE) model is used to correctly provide a reliable ranking of the patient's risk scores based on the individual clinical characteristics and radiomic features. These latter are extracted from PET and CT images and contain information on tumor size, shape, color, and texture. The algorithm has been tested by providing different types of input, to understand which are the most informative features for the final prediction. Results showed that for tumor segmentation on HECKTOR data, the bimodal SegResNet architecture was the most stable and effective. Segresnet proved to be the most performing architecture even among the unimodal ones. In addition, the inter-center analysis showed that bimodal tumor segmentation on Centre Henri Becquerel data exhibited better results compared to MD Anderson Cancer Center and Zurich University Hospital data. However, unimodal SegResNet on Padova data did not show encouraging results, mainly due to substantial differences in image quality. Recurrence-free survival prediction studies highlighted that the model tested with features extracted from both PET and CT performed better than the models tested with features extracted only from PET, CT, or that contained only information related to the tumor shape. The inter-center analysis revealed that MD Anderson Cancer Center data allow for a better prediction compared to Zurich University Hospital and Centre Henri Becquerel data. Test on the Padova dataset exhibited excellent prediction either using all the information derived from CT images or only the tumor's shape information. Overall, the study shows that recent advances in tumor segmentation and outcome prediction are remarkable. Using high-quality data and sophisticated processing techniques it is possible to obtain very accurate results. However, the study demonstrates at the same time that the data quality itself affects the models' performances. Therefore, it is necessary a joint commitment by clinical practice and the research world in order to develop data gathering and processing methods that are as effective and accessible as possible.

La complessità anatomica della zona della testa e del collo e l'eterogeneità dei tumori rende molto complesso lo sviluppo di metodi efficaci per la segmentazione del tumore e la predizione degli outcomes. Se fosse possibile un'identificazione precoce di tali tumori, essi potrebbero essere trattati più efficacemente ed i pazienti ne trarrebbero beneficio. Inoltre, un'eventuale scoperta di biomarcatori in grado di prevedere la recidiva del cancro, renderebbe possibile una sorta di medicina di precisione, addattando in modo più preciso i trattamenti a ciascun paziente. Questo studio, dunque, propone lo sviluppo di modelli di segmentazione dei tumori e predizione di outcomes allo stato dell'arte. Utilizzando i dati raccolti per la sfida HECKTOR e i dati forniti dall'Ospedale di Padova, sono stati testati diversi modelli di deep learning al fine di ottenere una segmentazione automatica del tumore in immagini PET e CT. Sui risultati ottenuti da tali modelli sono poi stati effettuati test statistici per capire quali tra loro avesse prodotto le performances migliori. I test sono stati effettuati per comprendere quale fosse il miglior modello bimodale (input: PET e CT), e quale fosse il miglior modello unimodale (input: CT), nonché per comprendere quale centro avesse fornito le immagini che hanno prodotto i migliori risultati. Questo studio propone, inoltre, lo sviluppo di un modello di machine learning per la previsione delle recidive tumorali. Il modello ICARE è stato utilizzato al fine di ottenere una corretta ed affidabile classifica di grado di rischio per i pazienti, sfruttando le informazioni cliniche e le features radiomiche. L'algoritmo è stato testato fornendo diversi tipi di input, al fine di comprendere quali fossero le features più informative per la predizione finale. Per quanto riguarda la segmentazione del tumore sui dati di HECKTOR, i risultati hanno dimostrato che il modello bimodale SegResNet ha ottenuto i risultati migliori. Allo stesso tempo, anche il modello unimodale SegResNet ha dimostrato di essere il più performante tra gli altri modelli unimodali testati. Ulteriori analisi hanno dimostrato come sui dati forniti da Centre Henri Becquerel (CHB) la segmentazione del tumore con il miglior modello bimodale abbia ottenuto i risultati più soddisfacenti, rispetto ai risultati ottenuti con i dati forniti da MD Anderson Cancer Center (MDA) e Ospedale universitario di Zurigo (CHZ). Tuttavia, il modello unimodale SegResNet quando applicato ai dati forniti dall'Ospedale di Padova, non ha mostrato dei risultati incoraggianti, principalmente per il fatto che la qualità delle immagini differisce molto da quella di HECKTOR. L'analisi sulla predizione della recidiva del cancro ha evidenziato che il modello testato con features estratte sia dalla PET che dalla CT ha ottenuto risultati migliori rispetto ai modelli testati con features estratte solo da PET, TC o che contenevano solo informazioni relative alla forma del tumore. Inoltre, lo studio ha rivelato che i dati del MDA consentono una previsione migliore rispetto ai dati del CHZ e del CHB. Infine, il test sul dataset di Padova ha mostrato un'ottima predizione sia utilizzando tutte le informazioni derivate da immagini TC che utilizzando solo informazioni sulla forma del tumore. In conclusione, lo studio dimostra che i recenti progressi nella segmentazione del tumore e nella previsione degli outcomes sono notevoli. L'utilizzo di dati ad alta qualità e sofisticate tecniche di elaborazione rende possibile ottenere risultati molto accurati. Tuttavia, lo studio dimostra allo stesso tempo che la qualità dei dati stessi influisce sul rendimento dei modelli. Pertanto, è necessario un impegno congiunto da parte della pratica clinica e del mondo della ricerca al fine di sviluppare metodi di raccolta ed elaborazione dei dati che siano il più possibile efficaci e accessibili

Head and neck tumor segmentation and recurrence-free survival prediction

BAGANTE, ANDREA
2022/2023

Abstract

The anatomical complexity of head and neck cancers site, combined with the inherent heterogeneity of cancers, makes the development of effective and trustworthy methods for tumor segmentation and outcome prediction challenging. Tumors may be more effectively treated and patients' quality of life may improve with early and accurate tumor identification. Furthermore, researchers are keen to find biomarkers that can predict cancer recurrence to more precisely adapt patients' treatments, enabling a sort of precision medicine. The aim of this thesis is therefore to develop state-of-art models for tumor segmentation and outcome prediction. Several deep learning models were tested to perform tumor segmentation on Positron Emission Tomography (PET) and Computed Tomography (CT) images from data collected for the HEad and neCK TumOR segmentation and outcome prediction in PET/CT images (HECKTOR) challenge and from data collected by University Hospital of Padua. Statistical tests were then carried out on the results obtained by these models to understand which of them produced the best performances. The tests were conducted to determine the best bimodal model, which exploits both PET and CT data, and the best unimodal model, which utilizes only CT data. They also aimed to determine which center had generated the images that, when combined with the most effective bimodal model, delivered the best results. Furthermore, the study proposes the development of a machine learning model for the prediction of cancer recurrence. Individual Coefficient Approximation for Risk Estimation (ICARE) model is used to correctly provide a reliable ranking of the patient's risk scores based on the individual clinical characteristics and radiomic features. These latter are extracted from PET and CT images and contain information on tumor size, shape, color, and texture. The algorithm has been tested by providing different types of input, to understand which are the most informative features for the final prediction. Results showed that for tumor segmentation on HECKTOR data, the bimodal SegResNet architecture was the most stable and effective. Segresnet proved to be the most performing architecture even among the unimodal ones. In addition, the inter-center analysis showed that bimodal tumor segmentation on Centre Henri Becquerel data exhibited better results compared to MD Anderson Cancer Center and Zurich University Hospital data. However, unimodal SegResNet on Padova data did not show encouraging results, mainly due to substantial differences in image quality. Recurrence-free survival prediction studies highlighted that the model tested with features extracted from both PET and CT performed better than the models tested with features extracted only from PET, CT, or that contained only information related to the tumor shape. The inter-center analysis revealed that MD Anderson Cancer Center data allow for a better prediction compared to Zurich University Hospital and Centre Henri Becquerel data. Test on the Padova dataset exhibited excellent prediction either using all the information derived from CT images or only the tumor's shape information. Overall, the study shows that recent advances in tumor segmentation and outcome prediction are remarkable. Using high-quality data and sophisticated processing techniques it is possible to obtain very accurate results. However, the study demonstrates at the same time that the data quality itself affects the models' performances. Therefore, it is necessary a joint commitment by clinical practice and the research world in order to develop data gathering and processing methods that are as effective and accessible as possible.
2022
Head and neck tumor segmentation and recurrence-free survival prediction
La complessità anatomica della zona della testa e del collo e l'eterogeneità dei tumori rende molto complesso lo sviluppo di metodi efficaci per la segmentazione del tumore e la predizione degli outcomes. Se fosse possibile un'identificazione precoce di tali tumori, essi potrebbero essere trattati più efficacemente ed i pazienti ne trarrebbero beneficio. Inoltre, un'eventuale scoperta di biomarcatori in grado di prevedere la recidiva del cancro, renderebbe possibile una sorta di medicina di precisione, addattando in modo più preciso i trattamenti a ciascun paziente. Questo studio, dunque, propone lo sviluppo di modelli di segmentazione dei tumori e predizione di outcomes allo stato dell'arte. Utilizzando i dati raccolti per la sfida HECKTOR e i dati forniti dall'Ospedale di Padova, sono stati testati diversi modelli di deep learning al fine di ottenere una segmentazione automatica del tumore in immagini PET e CT. Sui risultati ottenuti da tali modelli sono poi stati effettuati test statistici per capire quali tra loro avesse prodotto le performances migliori. I test sono stati effettuati per comprendere quale fosse il miglior modello bimodale (input: PET e CT), e quale fosse il miglior modello unimodale (input: CT), nonché per comprendere quale centro avesse fornito le immagini che hanno prodotto i migliori risultati. Questo studio propone, inoltre, lo sviluppo di un modello di machine learning per la previsione delle recidive tumorali. Il modello ICARE è stato utilizzato al fine di ottenere una corretta ed affidabile classifica di grado di rischio per i pazienti, sfruttando le informazioni cliniche e le features radiomiche. L'algoritmo è stato testato fornendo diversi tipi di input, al fine di comprendere quali fossero le features più informative per la predizione finale. Per quanto riguarda la segmentazione del tumore sui dati di HECKTOR, i risultati hanno dimostrato che il modello bimodale SegResNet ha ottenuto i risultati migliori. Allo stesso tempo, anche il modello unimodale SegResNet ha dimostrato di essere il più performante tra gli altri modelli unimodali testati. Ulteriori analisi hanno dimostrato come sui dati forniti da Centre Henri Becquerel (CHB) la segmentazione del tumore con il miglior modello bimodale abbia ottenuto i risultati più soddisfacenti, rispetto ai risultati ottenuti con i dati forniti da MD Anderson Cancer Center (MDA) e Ospedale universitario di Zurigo (CHZ). Tuttavia, il modello unimodale SegResNet quando applicato ai dati forniti dall'Ospedale di Padova, non ha mostrato dei risultati incoraggianti, principalmente per il fatto che la qualità delle immagini differisce molto da quella di HECKTOR. L'analisi sulla predizione della recidiva del cancro ha evidenziato che il modello testato con features estratte sia dalla PET che dalla CT ha ottenuto risultati migliori rispetto ai modelli testati con features estratte solo da PET, TC o che contenevano solo informazioni relative alla forma del tumore. Inoltre, lo studio ha rivelato che i dati del MDA consentono una previsione migliore rispetto ai dati del CHZ e del CHB. Infine, il test sul dataset di Padova ha mostrato un'ottima predizione sia utilizzando tutte le informazioni derivate da immagini TC che utilizzando solo informazioni sulla forma del tumore. In conclusione, lo studio dimostra che i recenti progressi nella segmentazione del tumore e nella previsione degli outcomes sono notevoli. L'utilizzo di dati ad alta qualità e sofisticate tecniche di elaborazione rende possibile ottenere risultati molto accurati. Tuttavia, lo studio dimostra allo stesso tempo che la qualità dei dati stessi influisce sul rendimento dei modelli. Pertanto, è necessario un impegno congiunto da parte della pratica clinica e del mondo della ricerca al fine di sviluppare metodi di raccolta ed elaborazione dei dati che siano il più possibile efficaci e accessibili
Outcome prediction
Tumor segmentation
Deep learning
Machine learning
Python
File in questo prodotto:
File Dimensione Formato  
Bagante_Andrea.pdf

accesso aperto

Dimensione 20.64 MB
Formato Adobe PDF
20.64 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/45642