Multimodal quality inspection in the bread production cycle

This thesis presents an embedded multimodal computer-vision framework for qual- ity monitoring in a real industrial bread-production process, designed to operate in an edge environment without network connectivity. The objective is to introduce minimally invasive technological tools into a real, weakly structured industrial envi- ronment, enabling both automated quality inspection and statistical analysis of the production process. The system was developed and validated in the SMACT Com- petence Center, as part of a collaborative project led by FlexSight Srl in the context of the Vis.IO project, developed for IRINOX S.p.A. under the IRISS framework (Ref. COR 22612178, CUP H19J24001010004 - funded by NextGenerationEU, M4C2I2.3). The framework was deployed at two acquisition sites characterized by different sensing modalities and inspection objectives. At Site 1, an NVIDIA Jetson Nano DK coupled with an Azure Kinect acquires RGB-D data at the output of the dough-processing stage. At Site 2, a Raspberry Pi 5 equipped with a Raspberry Pi Camera Module 3 Wide acquires RGB images of baked bread during the final handling stage. In both sites, product localization is performed through a DEIMv2-based object- detection pipeline trained from automatically labelled data. The downstream anal- ysis then differs according to the production stage. At Site 1, the detected dough balls are segmented and converted into local 3D point clouds in order to estimate product volume through different geometric reconstruction strategies. At Site 2, the detected bread loaves are cropped and analyzed with an anomaly-detection model to assess the quality of the final baked product. The experimental results confirm the effectiveness of the proposed framework in both scenarios. For dough-ball inspection, the rotated convex-hull method yields the most accurate volume estimates, showing the closest agreement with the expected reference interval among the evaluated methods. For baked bread inspection, the anomaly-detection branch achieved a near-perfect image-level AUROC of 0.999958 under the adopted evaluation protocol, while also yielding very low anomaly scores on normal samples and meaningful responses on anomalous examples. The corre- sponding anomaly maps localize the most relevant irregular regions. Overall, the thesis shows that computer vision, deep learning, and 3D sensing can be effectively integrated into minimally invasive embedded systems to support data- driven quality monitoring in real industrial food-production environments.

Questa tesi presenta un framework embedded di computer vision multimodale per il monitoraggio della qualità in un reale processo industriale di produzione del pane, progettato per operare in un ambiente edge privo di connettività di rete. L’obiettivo è introdurre strumenti tecnologici minimamente invasivi in un contesto industriale reale e debolmente strutturato, rendendo possibile sia l’ispezione automatizzata della qualità sia l’analisi statistica del processo produttivo. Il sistema è stato sviluppato e validato presso il Competence Center SMACT, nell’ambito di un progetto collaborativo guidato da FlexSight Srl nel contesto del progetto Vis.IO, sviluppato per IRINOX S.p.A. all’interno del framework IRISS (Rif. COR 22612178, CUP H19J24001010004 - finanziato da NextGenerationEU, M4C2I2.3). Il framework è stato distribuito su due siti di acquisizione caratterizzati da differenti modalità di sensing e differenti obiettivi di ispezione. Nel Sito 1, un NVIDIA Jetson Nano DK accoppiato con una Azure Kinect acquisisce dati RGB-D all’uscita della fase di lavorazione dell’impasto. Nel Sito 2, un Raspberry Pi 5 dotato di Raspberry Pi Camera Module 3 Wide acquisisce immagini RGB del pane cotto. In entrambi i siti, la localizzazione del prodotto viene eseguita tramite una pipeline di object detection basata su DEIMv2, addestrata su dati etichettati automaticamente. L’analisi successiva differisce poi in funzione della fase di produzione. Nel Sito 1, le palline di impasto rilevate vengono segmentate e convertite in point cloud 3D locali, al fine di stimare il volume del prodotto mediante differenti strategie di ricostruzione geometrica. Nel Sito 2, le pagnotte rilevate vengono ritagliate e analizzate mediante un modello di anomaly detection per valutare la qualità del prodotto finale cotto. I risultati sperimentali confermano l’efficacia del framework proposto in entrambi gli scenari. Per l’ispezione delle palline di impasto, il metodo del convex hull ruotato, fornisce le stime di volume più accurate, mostrando la maggiore concordanza con l’intervallo di riferimento atteso tra i metodi valutati. Per l’ispezione del pane cotto, il ramo di anomaly detection ha raggiunto un AUROC a livello immagine pressoché perfetto, pari a 0.999958, secondo il protocollo di valutazione adottato, producendo inoltre punteggi di anomalia molto bassi sui campioni normali e risposte significative sugli esempi anomali. Le corrispondenti anomaly map localizzano le regioni irregolari più rilevanti. Nel complesso, la tesi mostra che computer vision, deep learning e sensing 3D possono essere integrati efficacemente in sistemi embedded minimamente invasivi per supportare un monitoraggio della qualità basato sui dati in reali ambienti industriali di produzione alimentare.