The internship at Zucchetti S.p.A. stems from a simple yet crucial question for companies: how much can you really trust a Large Language Model? The journey began with the study of two key phenomena, "Machine Bullshit" and "Potemkin Understanding," which demonstrate how language models can appear competent even when they don't actually understand what they're saying. This limitation becomes particularly risky below 4 billion parameters, where a wrong but convincing answer can undermine trust in the entire system. This led to a research question: can training compensate for the lack of scale? Testing showed how reasoning-optimized models, such as DeepSeek-r1, can compete with much larger architectures, offering small businesses an effective tradeoff between performance, cost, and privacy. The internship concluded with an exploration of the Opik platform, demonstrating how systematic observability allows us to move beyond the simple "it seems to work" assumption to continuous and measurable monitoring of LLM reliability.
Il tirocinio svolto presso Zucchetti S.p.A. nasce da una domanda semplice ma cruciale per le aziende: quanto ci si può davvero fidare di un Large Language Model? Il percorso ha preso avvio dallo studio di due fenomeni chiave, il "Machine Bullshit" e il "Potemkin Understanding", che mostrano come i modelli linguistici possano apparire competenti pur non comprendendo realmente ciò che affermano; un limite che diventa particolarmente rischioso al di sotto dei 4 miliardi di parametri, dove una risposta sbagliata ma convincente può minare la fiducia nell'intero sistema. Da qui è emersa una domanda di ricerca: l'addestramento può compensare la mancanza di dimensione? I test condotti hanno mostrato come modelli ottimizzati sul ragionamento, come DeepSeek-r1, riescano a competere con architetture ben più grandi, offrendo alle piccole realtà aziendali un compromesso efficace tra prestazioni, costi e privacy. Il tirocinio si è infine concluso con l'esplorazione della piattaforma Opik, dimostrando come l'osservabilità sistematica permetta di passare dal semplice "sembra funzionare" a un monitoraggio continuo e misurabile dell'affidabilità degli LLM.
Dall'Apparente Logica alla Misura Reale: Efficienza CoT e Osservabilità nell'Integrazione aziendale di LLM
BACCHIEGA, ADELE
2025/2026
Abstract
The internship at Zucchetti S.p.A. stems from a simple yet crucial question for companies: how much can you really trust a Large Language Model? The journey began with the study of two key phenomena, "Machine Bullshit" and "Potemkin Understanding," which demonstrate how language models can appear competent even when they don't actually understand what they're saying. This limitation becomes particularly risky below 4 billion parameters, where a wrong but convincing answer can undermine trust in the entire system. This led to a research question: can training compensate for the lack of scale? Testing showed how reasoning-optimized models, such as DeepSeek-r1, can compete with much larger architectures, offering small businesses an effective tradeoff between performance, cost, and privacy. The internship concluded with an exploration of the Opik platform, demonstrating how systematic observability allows us to move beyond the simple "it seems to work" assumption to continuous and measurable monitoring of LLM reliability.| File | Dimensione | Formato | |
|---|---|---|---|
|
Bacchiega_Adele.pdf
accesso aperto
Dimensione
1.54 MB
Formato
Adobe PDF
|
1.54 MB | Adobe PDF | Visualizza/Apri |
The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License
https://hdl.handle.net/20.500.12608/114173