Beyond Standard RAG: An Experimental Analysis of Advanced Agentic Techniques in Enterprise Environments

Large language models have reached a level of fluency and reasoning ability that makes them attractive for enterprise applications such as technical support and automated ticketing, but their knowledge remains fixed at training time and limited to what was present in their training corpus. Retrieval-Augmented Generation addresses this limitation by grounding a model's answer in documents retrieved at query time, and has become the standard approach for deploying language models on proprietary, frequently changing knowledge bases. This thesis investigates whether an advanced RAG pipeline is sufficient when applied to technical documentation that is densely structured and used in safety-critical contexts, such as industrial maintenance, or whether a more autonomous, agent-based retrieval process is required. The study is conducted within the context of Hip-Mitsu's enterprise ticketing scenario and Chatwolf, Statwolf's proprietary chatbot framework. A baseline system is first developed by implementing an advanced RAG pipeline within Chatwolf, combining dense and sparse retrieval, a dual-stream storage layer that enables joint querying of textual and visually derived metadata, and a deterministic conversational layer designed to prevent the model from answering outside its domain of competence. An alternative agent-based architecture is then designed and implemented using the PageIndex framework and the Agno orchestration library. In this approach, an Investigator agent explores the structural organization of a document beyond simple semantic similarity between text chunks, while a separate Writer agent is responsible for generating the final response. A third, exploratory direction is also examined, in which an Obsidian based knowledge graph is maintained and traversed directly by a language model instead of being indexed through embeddings. The two main architectures are evaluated on a refined subset of 55 questions from the Hip-Mitsu technician certification test. The agent-based system achieves 33 correct answers, compared to 30 for the advanced Chatwolf baseline. In particular, 21.8\% of the questions were correctly answered only by the agent-based system, indicating a significant improvement in coverage rather than random variation. This improvement, however, is associated with variable computational costs: while the baseline consumes a stable 7,000 to 11,000 tokens per query, the agent-based system ranges from approximately 140,000 tokens for answerable queries up to 800,000 tokens in cases where the requested information is absent and extended search is performed. These results indicate that an agent-based retrieval process can improve accuracy when working with hierarchically organized technical documentation. However, this gain is tied to a cost profile that is less predictable than that of a deterministic pipeline. The Wiki-LLM approach, while not yet mature enough for a controlled comparison, is identified as the most promising direction for future research.

I modelli linguistici di grandi dimensioni hanno raggiunto un livello di fluidità e capacità logica tale da renderli soluzioni ideali per applicazioni aziendali, come il supporto tecnico e il ticketing automatizzato. Tuttavia, le loro conoscenze restano cristallizzate alla fase di addestramento e limitate al corpus originario. L'architettura Retrieval-Augmented Generation (RAG) supera questo limite basando le risposte del modello su documenti recuperati dinamicamente durante l'interrogazione, affermandosi ormai come lo standard per l'integrazione di LLM con basi di conoscenza proprietarie e in continua evoluzione. Questa tesi indaga se una pipeline RAG avanzata sia adeguata per gestire documentazione tecnica ad alta densità strutturale in contesti critici per la sicurezza, come la manutenzione industriale, o se sia invece necessario un sistema di recupero delle informazioni più autonomo e basato su agenti. Lo studio si colloca all'interno dello scenario di ticketing aziendale di Hip-Mitsu e impiega Chatwolf, il framework proprietario per chatbot sviluppato da Statwolf. In una prima fase, è stato sviluppato un modello di riferimento (baseline) implementando all'interno di Chatwolf una pipeline RAG avanzata. Questa combina tecniche di ricerca densa e sparsa con uno strato di archiviazione a doppio flusso, permettendo l'interrogazione congiunta di metadati sia testuali che di origine visiva. A ciò si aggiunge un modulo conversazionale deterministico, concepito per impedire al modello di generare risposte al di fuori del proprio dominio di competenza. Successivamente, è stata progettata e realizzata un'architettura alternativa basata su agenti, sfruttando il framework PageIndex e la libreria di orchestrazione Agno. In questo paradigma, un agente Investigatore esplora l'organizzazione strutturale del documento spingendosi oltre la mera similarità semantica tra i blocchi di testo, mentre a un agente Scrittore indipendente è affidato il compito di generare la risposta finale. Lo studio esamina inoltre un terzo approccio esplorativo: l'utilizzo di un knowledge graph basato su Obsidian, navigato direttamente da un modello linguistico anziché essere indicizzato tramite embedding. Le due architetture principali sono state testate su un sottoinsieme selezionato di 55 domande tratte dall'esame di certificazione per tecnici di Hip-Mitsu. Il sistema basato su agenti ha registrato 33 risposte corrette, superando le 30 ottenute dalla baseline di Chatwolf. Un dato di rilievo è che il 21,8% dei quesiti è stato risolto in modo corretto esclusivamente dall'architettura ad agenti, evidenziando un reale ampliamento della copertura piuttosto che una semplice fluttuazione statistica. Tale miglioramento comporta però costi computazionali fortemente variabili: a fronte di un consumo stabile della baseline (tra i 7.000 e gli 11.000 token per query), il sistema ad agenti oscilla tra i 140.000 token per le interrogazioni risolvibili e picchi di 800.000 token nei casi in cui l'informazione è assente ed è necessaria una ricerca estesa. Questi risultati dimostrano come un approccio ad agenti possa incrementare l'accuratezza nell'elaborazione di documentazione tecnica ad organizzazione gerarchica, ma a fronte di consumi molto meno prevedibili rispetto a quelli di una pipeline deterministica. Infine, l'approccio Wiki-LLM, seppur non ancora maturo per un confronto rigoroso, emerge come la direzione di ricerca futura più promettente.