Ottimizzazione di Large Language Model: Retrieval Augmented Generation e tecniche avanzate di Prompting

The following document describes the project I did during my internship at the company Zero12 Srl. The scope of the internship was to create an Artificial Intelligence-powered assistant, connected to the Atlassian Jira tool, that would analyze in real time the open support tickets and suggest, based on the knowledge of the context, the application code, and the previously resolved support tickets, possible resolutions to the described problem, easing the support process. The project was done together with another undergraduate student from the University of Padua. The tutor was careful to give us two well-thought-out work plans, in order to differentiate the tasks done by the two of us. My part was mainly focused on implementing the functionality for generating possible resolutions using AI models that ran locally on the machine, in order to provide an alternative to the ones available on AWS Bedrock, and to introduce the concepts of feedback, continuous learning, and transparency. Finally, I also compared the performance of cloud-based and local models in order to identify additional limitations of the latter. Through the use of advanced techniques, this project aimed to contribute to the development and optimization of Large Language Models, making them more efficient and adaptable to the real needs of language generation applications.

Il presente documento descrive il lavoro svolto durante il periodo di stage presso l'azienda Zero12 Srl. Obiettivo dello stage era la creazione un sistema di intelligenza artificiale, connesso a tool di mercato con la suite Atlassian Jira, per analizzare in tempo reale i ticket di supporto attivi e, basandosi sulla conoscenza del contesto, il codice applicativo del progetto e i ticket pregressi, suggerire all’operatore delle possibili soluzioni alla risoluzione del problema. Il progetto è stato svolto assieme ad un altro compagno di corso. Il tutor aziendale è stato attento a proporci piani di lavoro adeguati, pensati in modo da differenziare il nostro lavoro. La parte assegnatami si è incentrata principalmente sul fornire la funzionalità di generazione della proposta di risoluzione utilizzando modelli AI eseguiti localmente, come alternativa ai modelli forniti da AWS Bedrock e introdurre i concetti di feedback, learning continuo e trasparenza. Infine ho svolto un confronto tra i modelli cloud e locali al fine di individuare ulteriori limiti presenti in questi ultimi. Attraverso l'uso di tecniche avanzate, questo progetto mira a contribuire allo sviluppo e all'ottimizzazione dei Large Language Model, rendendoli più efficaci ed adattabili alle esigenze reali delle applicazioni di generazione del linguaggio.