Obiettivo: L’intelligenza artificiale (IA) è sempre più utilizzata come strumento informale di supporto decisionale; tuttavia, la sua reale capacità di replicare il ragionamento chirurgico pediatrico rimane incerta. Questo studio pilota ha l’obiettivo di confrontare l’accuratezza di più sistemi di IA con quella di chirurghi pediatrici a differenti livelli di esperienza. Obiettivo secondario è quello di indagare la percezione, l’utilizzo e la visione con cui i giovani chirurghi pediatrici si pongono di fronte alle potenzialità ed alle criticità dell’utilizzo dell’Intelligenza Artificiale in medicina. Metodi: In questo studio trasversale, un quiz a scelta multipla di 40 item, basato su casi complessi di chirurgia pediatrica, è stato somministrato a tre gruppi: sette piattaforme di IA di largo impiego (A), specializzandi e specialisti “early-career” (B), chirurghi pediatrici senior (C). La performance è stata valutata come percentuale di risposte corrette e confrontata tra i gruppi. Sono state condotte analisi per sottogruppi, includendo la stratificazione del Gruppo B in base al livello di formazione (B2: primi 2 anni post-laurea) e l’analisi per tipologia di domanda. L’obiettivo secondario è stato indagato mediante una survey traslazionale preliminarmente al primo questionario. Risultati: Il Gruppo A ha mostrato la performance migliore, seguito da C e B (68,6 ± 12,7% vs 65,8 ± 11,3% vs 60,6 ± 10,8%), senza differenze statisticamente significative tra i gruppi. Differenze statisticamente significative sono emerse quando il Gruppo B è stato stratificato per livello di formazione, con B2 che ha evidenziato una performance significativamente inferiore (45,0 ± 10,2%; χ²(4)=10,31; p=0,036). Differenze analoghe tra i gruppi A, C e B2 sono state osservate per le domande basate su immagini (χ²(5)=15,18; p=0,010). L’accordo tra le risposte di A e C è stato confermato tramite l’analisi del kappa di Cohen. Conclusioni: I nostri risultati indicano che le piattaforme di IA forniscono risposte comparabili a quelle dei chirurghi senior e superano i discenti nelle fasi iniziali in compiti specifici, in particolare nelle domande basate su immagini. I sistemi di IA sembrano avvicinarsi a un benchmark funzionale per il ragionamento clinico di livello junior. I chirurghi pediatrici in formazione usano l’IA sia nella pratica clinica sia per lo studio; pur riconoscendone criticità (bias ed aspetti etici), riferiscono una sostanziale assenza di formazione formale e un apprendimento prevalentemente autodidattico e limitato. Ciò solleva questioni critiche sulla necessità di ridefinire come integrare questa tecnologia emergente nei percorsi di apprendimento clinico.
Intelligenze a confronto: Chirurghi pediatrici e Intelligenza Artificiale Generativa in una sfida sul ragionamento clinico. Studio pilota.
DE LEO, FRANCESCO
2023/2024
Abstract
Obiettivo: L’intelligenza artificiale (IA) è sempre più utilizzata come strumento informale di supporto decisionale; tuttavia, la sua reale capacità di replicare il ragionamento chirurgico pediatrico rimane incerta. Questo studio pilota ha l’obiettivo di confrontare l’accuratezza di più sistemi di IA con quella di chirurghi pediatrici a differenti livelli di esperienza. Obiettivo secondario è quello di indagare la percezione, l’utilizzo e la visione con cui i giovani chirurghi pediatrici si pongono di fronte alle potenzialità ed alle criticità dell’utilizzo dell’Intelligenza Artificiale in medicina. Metodi: In questo studio trasversale, un quiz a scelta multipla di 40 item, basato su casi complessi di chirurgia pediatrica, è stato somministrato a tre gruppi: sette piattaforme di IA di largo impiego (A), specializzandi e specialisti “early-career” (B), chirurghi pediatrici senior (C). La performance è stata valutata come percentuale di risposte corrette e confrontata tra i gruppi. Sono state condotte analisi per sottogruppi, includendo la stratificazione del Gruppo B in base al livello di formazione (B2: primi 2 anni post-laurea) e l’analisi per tipologia di domanda. L’obiettivo secondario è stato indagato mediante una survey traslazionale preliminarmente al primo questionario. Risultati: Il Gruppo A ha mostrato la performance migliore, seguito da C e B (68,6 ± 12,7% vs 65,8 ± 11,3% vs 60,6 ± 10,8%), senza differenze statisticamente significative tra i gruppi. Differenze statisticamente significative sono emerse quando il Gruppo B è stato stratificato per livello di formazione, con B2 che ha evidenziato una performance significativamente inferiore (45,0 ± 10,2%; χ²(4)=10,31; p=0,036). Differenze analoghe tra i gruppi A, C e B2 sono state osservate per le domande basate su immagini (χ²(5)=15,18; p=0,010). L’accordo tra le risposte di A e C è stato confermato tramite l’analisi del kappa di Cohen. Conclusioni: I nostri risultati indicano che le piattaforme di IA forniscono risposte comparabili a quelle dei chirurghi senior e superano i discenti nelle fasi iniziali in compiti specifici, in particolare nelle domande basate su immagini. I sistemi di IA sembrano avvicinarsi a un benchmark funzionale per il ragionamento clinico di livello junior. I chirurghi pediatrici in formazione usano l’IA sia nella pratica clinica sia per lo studio; pur riconoscendone criticità (bias ed aspetti etici), riferiscono una sostanziale assenza di formazione formale e un apprendimento prevalentemente autodidattico e limitato. Ciò solleva questioni critiche sulla necessità di ridefinire come integrare questa tecnologia emergente nei percorsi di apprendimento clinico.| File | Dimensione | Formato | |
|---|---|---|---|
|
DeLeo_Francesco.pdf
Accesso riservato
Dimensione
1.6 MB
Formato
Adobe PDF
|
1.6 MB | Adobe PDF |
The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License
https://hdl.handle.net/20.500.12608/103558