Sviluppo di un sistema di supporto alla decisione basato su LLM per il diabete di tipo 1

The recent global spread of Large Language Models (LLMs) has opened the way of their application in various fields, thanks to their ability to interpret natural language. In the context of diabetes, LLMs have mainly been used in the interpretation of AGP data, but their potential in supporting clinical decision-making processes is still few explored. Type 1 diabetes presents several challenges, particularly in pediatric patients, where daily glucose management largely falls on primary caregivers, who often struggle to make appropriate decisions without medical support. The aim of this thesis is to explore the potential ability of Large Language Models to manage blood glucose in type 1 diabetes patients, providing clinical valid recommendations. The work follows a practical approach, developing a Decision Support System (DSS) based on small size and local LLMs, and evaluating its performance in silico, inside the ReplayBG environment, a framework that uses the concept of a digital twin for the development of Type 1 diabetes management algorithms. Performance was evaluated on 480 glucose traces from 24 pediatric patients, simulating real-time use of the DSS for blood glucose correction, with different DSS architectures. The adoption of the DSS in the simulation led to a significant increase in time in range, a reduction in time below range, and decreased glycemic variability, indicating the models’ ability to make effective decisions. In addition to a successful performance, the system can provide clear explanations for the decisions it makes, improving explainability compared to traditional black-box models. Despite the promising results, limitations remain, such as the potential discrepancy between the provided explanations and the internal decision-making processes, as well as the presence of hallucinations, which could be mitigated through specific domain adaptation with fine-tuning.

La recente diffusione globale dei Large Language Models (LLM) ha aperto la strada alla loro applicazione in vari ambiti, grazie alla capacità di interpretare il linguaggio naturale. Nel contesto del diabete, gli LLMs sono stati utilizzati principalmente nell’interpretazione dei dati AGP, ma il loro potenziale nel supporto ai processi di decisione clinica è ancora poco esplorato. Il diabete di tipo 1 presenta numerose sfide, in particolare nei pazienti pediatrici, dove la gestione quotidiana della glicemia ricade in larga parte sui caregiver primari, i quali spesso incontrano difficoltà nel prendere decisioni adeguate senza un supporto medico. L’obiettivo di questa tesi è esplorare la potenziale capacità dei Large Language Models di gestire la glicemia nei pazienti con diabete di tipo 1, fornendo raccomandazioni clinicamente valide. Il lavoro adotta un approccio pratico, sviluppando un Decision Support System (DSS) basato su LLM di piccole dimensioni e locali, e valutandone le prestazioni in silico, all’interno dell’ambiente ReplayBG, un framework che utilizza il concetto di gemello digitale per lo sviluppo di algoritmi di gestione del diabete di tipo 1. Le prestazioni sono state valutate su 480 tracciati glicemici provenienti da 24 pazienti pediatrici, simulando l’uso in tempo reale del DSS per la correzione della glicemia, con diverse architetture di DSS. L’adozione del DSS nella simulazione ha portato a un significativo aumento del time in range, a una riduzione del time below range e a una diminuzione della variabilità glicemica, indicando la capacità dei modelli di prendere decisioni efficaci. Oltre a ottenere prestazioni positive, il sistema è in grado di fornire spiegazioni chiare delle decisioni adottate, migliorando l’explainability rispetto ai tradizionali modelli “black-box”. Nonostante i risultati promettenti, permangono delle limitazioni, come la possibile discrepanza tra le spiegazioni fornite e i processi decisionali interni, nonché la presenza di allucinazioni, che potrebbero essere mitigate attraverso un adattamento specifico al dominio del diabete mediante fine-tuning.