Development and Evaluation of a RAG-Based Chatbot for Expert Assistance in the Audio Domain

The recent advancements in Large Language Models (LLMs) have accelerated the integration of Artificial Intelligence into industrial design workflows. Contralto, a company specializing in the design and processing of professional audio systems, aims to evolve its internal design assistant into an AI-driven support tool. This thesis presents the design and development of a Retrieval-Augmented Generation (RAG) chatbot to assist audio system engineers in acoustic system design, a complex process traditionally dependent on human expertise. The chatbot leverages LLMs integrated with a knowledge base built from internal company documentation, providing context-aware suggestions for specific design tasks. The implementation was developed using Python frameworks such as FastAPI, LangChain, and Streamlit, while the evaluation pipeline was automated through RAGAS and Arize-Phoenix, enabling quantitative testing of retrieval and generation performance. The proposed system establishes a reproducible structure for the automated evaluation of RAG-based assistants, supporting continuous improvement of AI responses through metric-driven refinement. Results from single-turn evaluations demonstrate the feasibility of applying RAG architectures to domain-specific engineering support. Future work will be oriented to the agentic linguistic system that processes questions supporting a numeric answer, integrating a math agent for better choice in the audio design workflows.

I recenti progressi nei Large Language Models (LLM) hanno accelerato l’integrazione dell’Intelligenza Artificiale nei flussi di lavoro legati al design industriale. Contralto, un’azienda specializzata nella progettazione e nella lavorazione di sistemi audio professionali, mira a evolvere il proprio assistente di progettazione interno in uno strumento di supporto basato su tecniche di Intelligenza Artificiale. La presente tesi descrive la progettazione e lo sviluppo di un chatbot basato su Retrieval-Augmented Generation (RAG), concepito per assistere gli ingegneri del suono nella progettazione di sistemi acustici — un processo complesso tradizionalmente fondato sull’esperienza umana. Il chatbot sfrutta modelli linguistici di grandi dimensioni integrati con una base di conoscenza derivata dalla documentazione interna dell’azienda, fornendo suggerimenti contestuali per specifiche attività di progettazione. L’implementazione è stata realizzata utilizzando framework Python quali FastAPI, LangChain e Streamlit, mentre la pipeline di valutazione è stata automatizzata tramite RAGAS e Arize-Phoenix, consentendo un’analisi quantitativa delle prestazioni di recupero e generazione. Il sistema proposto definisce una struttura riproducibile per la valutazione automatizzata di assistenti basati su architetture RAG, supportando il miglioramento continuo delle risposte dell’AI attraverso un affinamento guidato da metriche. I risultati delle valutazioni a singolo turno dimostrano la fattibilità dell’applicazione delle architetture RAG al supporto ingegneristico in domini specifici. Gli sviluppi futuri saranno orientati verso la realizzazione di un sistema linguistico agentico in grado di elaborare domande che richiedono risposte numeriche, integrando un agente matematico per una selezione più accurata delle soluzioni nei flussi di progettazione audio.