This thesis analyzes the capabilities of large language models (LLMs) executed locally and at small scale, with a focus on logical-mathematical reasoning and direct answer generation. The research involved the design and automation of quantitative and qualitative tests to evaluate the models' performance, limitations, and correctness. In the second part of the work, the LLMs were tested in Retrieval-Augmented Generation (RAG) scenarios, comparing different variants and techniques (automatic question generation, document chunking).

La presente tesi analizza le capacità dei modelli di linguaggio di grandi dimensioni (LLM) eseguiti in locale e di piccola scala, con particolare attenzione al ragionamento logico-matematico e alla generazione di risposte dirette. L’attività di ricerca ha previsto la progettazione e l’automatizzazione di test quantitativi e qualitativi, finalizzati a valutare prestazioni, limiti e correttezza dei modelli. Nella seconda parte del lavoro, gli LLM sono stati sperimentati in scenari di Retrieval-Augmented Generation (RAG), confrontando diverse varianti e tecniche (generazione automatica delle domande, chunking dei documenti).

Studio sperimentale su LLM di piccole dimensioni : Prestazioni, Ragionamento logico matematico, Risposte dirette e Tecniche di Retrieval-Augmented Generation

DJOSSA, EDGAR-CARLOS KOMI
2024/2025

Abstract

This thesis analyzes the capabilities of large language models (LLMs) executed locally and at small scale, with a focus on logical-mathematical reasoning and direct answer generation. The research involved the design and automation of quantitative and qualitative tests to evaluate the models' performance, limitations, and correctness. In the second part of the work, the LLMs were tested in Retrieval-Augmented Generation (RAG) scenarios, comparing different variants and techniques (automatic question generation, document chunking).
2024
Experimental study on small-scale LLMs: Performance, Mathematical Logical Reasoning, Direct Responses and Retrieval-Augmented Generation Techniques
La presente tesi analizza le capacità dei modelli di linguaggio di grandi dimensioni (LLM) eseguiti in locale e di piccola scala, con particolare attenzione al ragionamento logico-matematico e alla generazione di risposte dirette. L’attività di ricerca ha previsto la progettazione e l’automatizzazione di test quantitativi e qualitativi, finalizzati a valutare prestazioni, limiti e correttezza dei modelli. Nella seconda parte del lavoro, gli LLM sono stati sperimentati in scenari di Retrieval-Augmented Generation (RAG), confrontando diverse varianti e tecniche (generazione automatica delle domande, chunking dei documenti).
llm
valutazione
RAG
File in questo prodotto:
File Dimensione Formato  
Djossa_Edgar_Carlos_Komi.pdf

accesso aperto

Dimensione 7.82 MB
Formato Adobe PDF
7.82 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/102052