Assistenti LLM per l’Interazione con i Sistemi Autonomi

Il presente lavoro di tesi descrive la progettazione e l’implementazione di un sistema per l’addestramento e la gestione di modelli linguistici di larga scala (LLM), capaci di adattarsi automaticamente alle risorse hardware disponibili e operare su dispositivi a basso consumo, come la NVIDIA Jetson Nano. Il progetto prende avvio da NanoGPT Marinello, un modello sviluppato nell’ambito del progetto BlueBoat, una collaborazione tra l’Università di Padova e la NTNU – Norwegian University of Science and Technology. L’obiettivo finale è di adattare tale modello a un dispositivo con capacità computazionali molto limitate, nello specifico l’Okdo Nano Development Kit. Durante lo sviluppo, ho approfondito il linguaggio di programmazione Python e le sfide legate all’addestramento di modelli linguistici in ambienti a risorse ridotte, affrontando problematiche di gestione della memoria, tokenizzazione efficiente e qualità del dataset. Ho imparato a bilanciare le esigenze computazionali con la qualità linguistica, adottando tecniche di ottimizzazione come la precisione mista, l’accumulo dei gradienti e l’early stopping. Il progetto mi ha inoltre permesso di sperimentare concretamente i principi dell’Edge AI, attraverso un’architettura ibrida che combina la potenza di calcolo di un server remoto con la leggerezza di un dispositivo embedded.