Comprehensive Analysis of LLMs in Practice: PDF Parsing, Advanced Prompt Engineering, and Retrieval-Augmented Generation

This thesis presents a comprehensive examination of the practical applications of Large Language Models (LLMs), with a focus on four pivotal components: PDF parsing, Advanced Retrieval-Augmented Generation (RAG), Prompt Engineering and practical implementation of RAG models. The study begins with an analysis of the strengths and weaknesses of existing parsers when it comes to handling PDF documents, emphasizing the fundamental difficulties involved in accurately extracting information from this intricate format. Building on these foundational topics, this thesis delves into the integration of various techniques designed to enhance the efficacy of RAG systems. By exploring innovative methods for the generation process, it seeks to take advantage of the performance of LLMs, thereby improving the overall user experience and the utility of such systems in practical applications. Furthermore, the thesis focuses on the optimization of prompt formulation. Particular attention is given to the implementation and testing of popular strategies that aim to refine the generation of more accurate and coherent responses from LLMs, thereby improving interaction outcomes between users and models. The final section of the thesis addresses the practical implementation of RAG models, with a focus on our specific model followed by a detailed, step-by-step iteration of the workflow from user input to chatbot output, highlighting various intermediate outputs. By investigating these essential topics regarding RAG systems, this research focuses on reinforcing the understanding of the potential enhancements of chatbots across different real-world contexts.

Questa tesi presenta un'analisi approfondita delle applicazioni pratiche dei Large Language Models (LLMs), con un focus su quattro componenti fondamentali: il parsing dei PDF, il Retrieval-Augmented Generation (RAG) avanzato, l'ingegneria dei prompt e l'implementazione pratica dei modelli RAG. Lo studio inizia con un'analisi dei punti di forza e delle debolezze dei parser esistenti quando si tratta di gestire documenti PDF, sottolineando le difficoltà fondamentali nell'estrazione accurata delle informazioni da questo formato complesso. Partendo da questi argomenti fondamentali, questa tesi esplora l'integrazione di varie tecniche progettate per migliorare l'efficacia dei sistemi RAG. Esaminando metodi innovativi per il processo di generazione, si cerca di sfruttare le prestazioni degli LLM, migliorando così l'esperienza complessiva dell'utente e l'utilità di tali sistemi nelle applicazioni pratiche. Inoltre, la tesi si concentra sull'ottimizzazione della formulazione dei prompt. Particolare attenzione è dedicata all'implementazione e al testing di strategie popolari che mirano a perfezionare la generazione di risposte più accurate e coerenti dagli LLM, migliorando così i risultati dell'interazione tra utenti e modelli. La sezione finale della tesi affronta l'implementazione pratica dei modelli RAG, con un focus sul nostro modello specifico, seguita da un'iterazione dettagliata, passo dopo passo, del flusso di lavoro dall'input dell'utente all'output del chatbot, evidenziando i vari output intermedi. Indagando questi argomenti essenziali riguardo ai sistemi RAG, questa ricerca si concentra sul rafforzare la comprensione dei potenziali miglioramenti dei chatbot in diversi contesti del mondo reale.