The internship at Zucchetti S.p.A. stems from a simple yet crucial question for companies: how much can you really trust a Large Language Model? The journey began with the study of two key phenomena, "Machine Bullshit" and "Potemkin Understanding," which demonstrate how language models can appear competent even when they don't actually understand what they're saying. This limitation becomes particularly risky below 4 billion parameters, where a wrong but convincing answer can undermine trust in the entire system. This led to a research question: can training compensate for the lack of scale? Testing showed how reasoning-optimized models, such as DeepSeek-r1, can compete with much larger architectures, offering small businesses an effective tradeoff between performance, cost, and privacy. The internship concluded with an exploration of the Opik platform, demonstrating how systematic observability allows us to move beyond the simple "it seems to work" assumption to continuous and measurable monitoring of LLM reliability.

Il tirocinio svolto presso Zucchetti S.p.A. nasce da una domanda semplice ma cruciale per le aziende: quanto ci si può davvero fidare di un Large Language Model? Il percorso ha preso avvio dallo studio di due fenomeni chiave, il "Machine Bullshit" e il "Potemkin Understanding", che mostrano come i modelli linguistici possano apparire competenti pur non comprendendo realmente ciò che affermano; un limite che diventa particolarmente rischioso al di sotto dei 4 miliardi di parametri, dove una risposta sbagliata ma convincente può minare la fiducia nell'intero sistema. Da qui è emersa una domanda di ricerca: l'addestramento può compensare la mancanza di dimensione? I test condotti hanno mostrato come modelli ottimizzati sul ragionamento, come DeepSeek-r1, riescano a competere con architetture ben più grandi, offrendo alle piccole realtà aziendali un compromesso efficace tra prestazioni, costi e privacy. Il tirocinio si è infine concluso con l'esplorazione della piattaforma Opik, dimostrando come l'osservabilità sistematica permetta di passare dal semplice "sembra funzionare" a un monitoraggio continuo e misurabile dell'affidabilità degli LLM.

Dall'Apparente Logica alla Misura Reale: Efficienza CoT e Osservabilità nell'Integrazione aziendale di LLM

BACCHIEGA, ADELE
2025/2026

Abstract

The internship at Zucchetti S.p.A. stems from a simple yet crucial question for companies: how much can you really trust a Large Language Model? The journey began with the study of two key phenomena, "Machine Bullshit" and "Potemkin Understanding," which demonstrate how language models can appear competent even when they don't actually understand what they're saying. This limitation becomes particularly risky below 4 billion parameters, where a wrong but convincing answer can undermine trust in the entire system. This led to a research question: can training compensate for the lack of scale? Testing showed how reasoning-optimized models, such as DeepSeek-r1, can compete with much larger architectures, offering small businesses an effective tradeoff between performance, cost, and privacy. The internship concluded with an exploration of the Opik platform, demonstrating how systematic observability allows us to move beyond the simple "it seems to work" assumption to continuous and measurable monitoring of LLM reliability.
2025
From Apparent Logic to Real Measure: CoT Efficiency and Observability in LLM Enterprise Integration
Il tirocinio svolto presso Zucchetti S.p.A. nasce da una domanda semplice ma cruciale per le aziende: quanto ci si può davvero fidare di un Large Language Model? Il percorso ha preso avvio dallo studio di due fenomeni chiave, il "Machine Bullshit" e il "Potemkin Understanding", che mostrano come i modelli linguistici possano apparire competenti pur non comprendendo realmente ciò che affermano; un limite che diventa particolarmente rischioso al di sotto dei 4 miliardi di parametri, dove una risposta sbagliata ma convincente può minare la fiducia nell'intero sistema. Da qui è emersa una domanda di ricerca: l'addestramento può compensare la mancanza di dimensione? I test condotti hanno mostrato come modelli ottimizzati sul ragionamento, come DeepSeek-r1, riescano a competere con architetture ben più grandi, offrendo alle piccole realtà aziendali un compromesso efficace tra prestazioni, costi e privacy. Il tirocinio si è infine concluso con l'esplorazione della piattaforma Opik, dimostrando come l'osservabilità sistematica permetta di passare dal semplice "sembra funzionare" a un monitoraggio continuo e misurabile dell'affidabilità degli LLM.
LLM Evaluation
Chain-of-Thought
Observability
File in questo prodotto:
File Dimensione Formato  
Bacchiega_Adele.pdf

accesso aperto

Dimensione 1.54 MB
Formato Adobe PDF
1.54 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/114173