Valutazione della performance di un modello linguistico avanzato nella classificazione automatica di testo libero in schede di accesso al Pronto Soccorso Pediatrico

ABSTRACT INTRODUCTION. Emergency Department (ED) management systems often record clinical data in unstructured free-text format, limiting their routine use. Advanced language models such as GPT-4o enable the extraction and classification of data from free text without additional training, supporting clinical, administrative, and research applications. MATERIALS AND METHODS. In a single-center retrospective study of 687 ED visits by 85 pediatric patients with complex comorbidities (2006–2023) at the University Hospital of Padua, GPT-4o was used to extract and classify clinical data from ED records. Manually designed prompts guided the model in identifying variables such as reason for ED visit, triage code, outcome, and procedures. The model’s performance was compared to a clinician-validated gold standard. RESULTS. GPT-4o achieved very high accuracy for several variables, including triage code (99.13% [95% CI: 98.11%-99.68%]), ED outcome (98.98% [95% CI: 97.91%-99.59%]), and vaccination classification (99.85% [95% CI: 99.14%-100%]). Strong performance was also observed for diagnostic tests, oxygen therapy, and reason for ED visit. However, lower accuracy was found for circumstances of ED access (92.57% [95% CI: 90.21%-94.51%]) and fluid/drug administration (86.55% [95% CI: 83.68%-89.09%]). Key issues included confusion between similar procedures and difficulty distinguishing historical information from events actually occurring during the ED visit. CONCLUSIONS. GPT-4o proved effective for automated extraction and classification of unstructured clinical data. Targeted improvements, such as prompt optimization, may further enhance the integration of these advanced language models into clinical workflows, ultimately benefiting patients, healthcare professionals, and the healthcare system.

ABSTRACT INTRODUZIONE. I software di gestione dei Pronto Soccorso spesso registrano dati clinici in formato testuale non strutturato, limitando l’utilizzo sistematico delle informazioni. Modelli linguistici avanzati come GPT-4o consentono di estrarre e classificare dati da testo non strutturato senza addestramento aggiuntivo, facilitandone l’uso a fini clinici, amministrativi e di ricerca. MATERIALI E METODI. In uno studio monocentrico retrospettivo su 687 accessi di 85 pazienti pediatrici con comorbidità complesse (2006–2023) presso il Pronto Soccorso Pediatrico dell’Ospedale Universitario di Padova, GPT-4o è stato utilizzato per estrarre e classificare dati clinici a partire da schede di accesso. Prompt progettati manualmente hanno guidato il modello nell’identificazione di variabili come motivo dell’accesso, codice colore, esito e procedure. Le performance sono state confrontate con una classificazione manuale gold standard. RISULTATI. GPT-4o ha raggiunto accuratezze molto elevate per diverse variabili, tra cui il Codice colore (99,13% [IC 95%: 98,11%-99,68%]), l’Esito (98,98% [IC 95%: 97,91%-99,59%]) e la classificazione delle Vaccinazioni (99,85% [IC 95%: 99,14%-100%]). Buone performance sono state registrate anche nella classificazione di test diagnostici, ossigenoterapia e motivo dell’accesso. Tuttavia, per alcune variabili, come Accesso in PS (92,57% [IC 95%: 90,21%-94,51%]) e Somministrazione di fluidi/farmaci (86,55% [IC 95%: 83,68%-89,09%]), l’accuratezza è risultata inferiore. Le principali criticità riguardano la confusione tra procedure simili e la difficoltà nel distinguere informazioni storiche da quelle effettivamente avvenute durante l’accesso. CONCLUSIONI. GPT-4o si è dimostrato efficace per l’estrazione e la classificazione automatica di dati clinici non strutturati. Miglioramenti mirati, come l’ottimizzazione dei prompt, potrebbero migliorare ulteriormente l’integrazione di tali modelli nei flussi clinici, con potenziali benefici per pazienti, professionisti e l’intero sistema sanitario.