Schemi argomentativi e domande critiche nei Large Language Models come strumento di individuazione delle fallacie

In questa tesi, che si inserisce nel campo della teoria dell'argomentazione e dell'analisi computazionale, è stato indagato il grado di efficacia dei Large Language Models (LLM) nel riconoscimento delle fallacie informali. Si studierà se tale capacità possa essere migliorata implementando in maniera sistematica una metodologia basata sugli schemi argomentativi e le relative domande critiche elaborati da Douglas Walton. Partendo dal quadro teorico intorno al ragionamento presuntivo e alle recenti ricerche sulle capacità emergenti di comprensione degli LLM, sono stati selezionati otto schemi argomentativi a cui poi sono state associate le domande critiche corrispondenti al fine di massimizzare l'accuratezza nell'individuazione delle principali fallacie connesse a ciascuno schema. Per ogni schema è stato quindi elaborato un algoritmo in forma di diagramma di flusso che mappa le risposte alle domande critiche con le possibili fallacie specifiche corrispondenti. Il framework così strutturato è stato implementato come modello per il prompting che successivamente è stato testato su diversi modelli linguistici al fine di valutare se la struttura fornita come surrogato del ragionamento umano possa migliorare l'accuratezza degli stessi modelli nel riconoscimento delle fallacie rispetto a un metodo zero-shot non strutturato e fornire un maggior livello di interpretabilità nell'analisi delle risposte date dagli LLM. I risultati ottenuti dimostrano che l'approccio zero-shot rimane più efficace a livello di performance, ma più opaco. L'utilizzo di un approccio che espliciti le fasi del ragionamento nell'analisi di un'argomentazione permette invece di ricavare importanti riflessioni in merito ai processi compiuti dai modelli e livellare le differenze tra di essi.