Ottimizzazione di un Agente Conversazionale tramite Fine-Tuning Supervisionato ed Valutazione del GraphRAG: un caso di studio sull’Agent Assistant di Vodafone

This thesis presents an integrated strategy for enhancing Vodafone’s Agent Assistant, the LLM-driven system that supports call-center operators during customer service interactions. The work focuses on two complementary developments that strengthen the Assistant along both procedural and knowledge-driven components. The first contribution is the design and evaluation of a supervised fine-tuned version of OpenAI’s GPT-4.1 model, designed to replace the pre-existing agent-based architecture with the aim of reducing response latency and minimizing logical errors within troubleshooting flows. On connectivity-related use cases, the proposed model achieves 92.54% accuracy and reduces average execution time by 75%, demonstrating significant improvements in both robustness and efficiency. The second contribution concerns the evaluation of the Agent Assistant’s Graph-RAG component, which handles general informational queries by retrieving structured knowledge from a Neo4j-based enterprise graph. The system is assessed using RAGAS metrics to measure retriever relevance and generator grounding, with particular emphasis on factual correctness, faithfulness, and noise robustness. Results show consistently strong retrieval performance and high-quality, well-grounded answers across a diverse set of queries. Overall, these contributions outline a unified strategy for improving both procedural reliability and knowledge-driven responsiveness in conversational agent systems. Nevertheless, the integration of additional use cases may pose challenges, potentially reducing overall performance. This aspect highlights the need for further investigation and optimization in future work.

Questa tesi presenta una strategia integrata per il miglioramento dell’Agent Assistant di Vodafone, il sistema basato su LLM che supporta gli operatori di call center durante le interazioni con i clienti. Il lavoro si concentra su due sviluppi complementari che potenziano l’Assistant sia dal punto di vista procedurale sia da quello della gestione della conoscenza. Il primo contributo consiste nella progettazione e valutazione di una versione supervisionata e fine-tuninata del modello GPT-4.1 di OpenAI, concepita per sostituire la precedente architettura agent-based con l’obiettivo di ridurre la latenza di risposta e minimizzare gli errori logici all’interno dei flussi di troubleshooting. Nei casi d’uso relativi alla connettività, il modello proposto raggiunge un’accuratezza del 92,54% e riduce il tempo medio di esecuzione del 75%, dimostrando significativi miglioramenti in termini di robustezza ed efficienza. Il secondo contributo riguarda la valutazione del componente Graph-RAG dell’Agent Assistant, responsabile della gestione delle query informative generali attraverso il recupero di conoscenza strutturata da un grafo aziendale basato su Neo4j. Il sistema viene analizzato utilizzando le metriche RAGAS per misurare la rilevanza del recupero e il grounding del generatore, con particolare attenzione a correttezza fattuale, fedeltà e robustezza al rumore. I risultati mostrano prestazioni di retrieval costantemente elevate e risposte di alta qualità, ben supportate dal contesto recuperato. Complessivamente, questi contributi delineano una strategia unificata per migliorare sia l’affidabilità procedurale sia la capacità di risposta basata sulla conoscenza nei sistemi conversazionali. Tuttavia, l’integrazione di ulteriori casi d’uso potrebbe introdurre nuove sfide e potenzialmente ridurre le prestazioni complessive, evidenziando la necessità di ulteriori indagini e ottimizzazioni in lavori futuri.