Confronto tra annotatori umani e LLMs nello scoring di ricordi autobiografici genuini e mentiti per la valutazione della credibilità.

Lo studio mira a confrontare le performance dei valutatori umani e LLMs nell'analisi di memorie autentiche e fabbricate attraverso l'analisi di set di dati di ricordi autobiografici. Il primo (Monaro et al., 2020) include narrazioni su vacanze passate trascritte da interviste video. I valutatori umani e il modello automatico sono stati istruiti ad estrapolare dettagli insieme al framework del Reality Monitoring e Verifiability Approach. Questa analisi è stata quindi replicata su un sottoinsieme del dataset Hippocorpus (Sap et al., 2022), che include dichiarazioni in inglese su memorie genuine e ingannevoli di esperienze passate significative. I risultati mostrano un'ottima concordanza tra LLMs e umani nell'applicazione del Reality Monitoring, mentre appare una forte discrepanza per quanto riguarda l'uso del Verifiability Approach.