Valutazione di pgvector come database unificato per architetture RAG

Context and Problem: In Retrieval-Augmented Generation (RAG) architectures, now the standard approach for querying enterprise knowledge bases via LLMs, the retrieval stage typically requires polyglot persistence, separating relational, textual, and vector data across different systems. This causes fragmentation, infrastructural complexity, and synchronization overhead. Objective: This thesis explores an alternative architectural paradigm for the retrieval module: using PostgreSQL with the pgvector extension as a unified database for RAG pipelines. The goal is to evaluate the feasibility and efficiency of centralizing relational, lexical (full-text), and semantic (vector search) workloads within a single ecosystem. Methodology: Developed during a company internship, the project involves creating an integrated data model for complex documents (metadata, text, attachments). A hybrid search architecture based on the Reciprocal Rank Fusion (RRF) algorithm is implemented, exposing the optimal combination of lexical and vector results through dedicated APIs. Evaluation and Results: The unified infrastructure is first evaluated on test data and then compared against a reference pipeline based on Elasticsearch. Tests on enterprise-scale volumes measure indexing speed, latency, storage, and systems complexity. The results will determine in which scenarios consolidating on pgvector offers a performant alternative, reducing architectural complexity while maintaining high information retrieval accuracy.

Contesto e Problema: Nell'architettura Retrieval-Augmented Generation (RAG), oggi standard per interrogare basi di conoscenza aziendali tramite LLM, la fase di retrieval richiede tipicamente una persistenza poliglotta, separando dati relazionali, testuali e vettoriali su sistemi diversi. Ciò causa frammentazione, complessità infrastrutturale e overhead di sincronizzazione. Obiettivo del Lavoro: Questa tesi esplora un paradigma architetturale alternativo per il modulo di retrieval: l'impiego di PostgreSQL con l'estensione pgvector come database unificato per pipeline RAG. L'obiettivo è valutare la fattibilità e l'efficienza dell'accentramento dei carichi di lavoro relazionali, lessicali (full-text) e semantici (vector search) in un unico ecosistema. Metodologia: Sviluppato durante un tirocinio aziendale, il progetto prevede la creazione di un modello dati integrato per documenti complessi (metadati, testi, allegati). Viene implementata un'architettura di hybrid search basata sull'algoritmo di Reciprocal Rank Fusion (RRF), esponendo tramite API dedicate la combinazione ottimale dei risultati lessicali e vettoriali. Valutazione e Risultati: L'infrastruttura unificata viene prima valutata su dati di test e poi confrontata con una pipeline di riferimento basata su Elasticsearch. I test su volumi enterprise misurano velocità di indicizzazione, latenza, storage e complessità sistemistica. I risultati determineranno in quali scenari il consolidamento su pgvector offra un'alternativa performante, riducendo la complessità architetturale e mantenendo alta l'accuratezza dell'information retrieval.