Quality control in industry is an essential phase of the production process, ensuring that products are released in their optimal state. At EssilorLuxottica, a critical challenge is the automatic verification of printed alphanumeric codes and logos on eyewear labels, where errors can lead to misbranded products and operational inefficiencies. This thesis presents the design and implementation of a modular, deep-learning-based verification system that decides, from a single photograph, whether the printed text and logos on a label match an expected ground truth, under a latency budget suitable for a production environment. To address the scarcity of labeled industrial data, a synthetic dataset generation pipeline was developed, producing label images with controlled backgrounds, stylized fonts, and logo placement, paired with accurate word- and character level annotations and four independently injected defect types. A comparative evaluation of several OCR architectures, PaddleOCR’s PP-OCRv6, DocTR’s transformer-based recognizers, and the LightOnOCR vision-language model was performed, and identified PP-OCRv6 as the best accuracy/speed trade-off. Therefore, PP-OCRv6 was adopted as the text detection and recognition backbone. Since OCR alone struggles with visually ambiguous characters and cannot reject illegible ones, a custom character verifier module was designed to jointly detect, classify, and estimate the quality of each character in a word crop, evaluated across three architectural variants; a symbol detection and quality-verification pair of modules handles brand logos and conformity marks with the same logic of detection and subsequent verification. The outputs of every module are finally combined and compared across three strategies: a rejection cascade, a rule-based voting scheme, and a logistic-regression stacking model. The complete system reaches a mean accuracy of 84.5% on a 750-image synthetic evaluation set, a statistically significant improvement over the 60.3% accuracy of the OCR-only baseline, while the three combination strategies were found to be statistically equivalent once every calibrated signal was consistently applied across them. The character verifier reduces confusion between visually similar character pairs by 89.8% relative to a lightweight baseline backbone, and the complete pipeline runs well within the required latency budget. A validation on real photographs highlighted a remaining generalization gap for the symbols detection module, identified as the main direction for future work before production deployment.

Il controllo qualità in ambito industriale è una fase essenziale del processo produttivo, e garantisce che i prodotti vengano rilasciati nel loro stato ottimale. In EssilorLuxottica, una sfida critica è la verifica automatica dei codici alfanumerici e dei loghi stampati sulle etichette degli occhiali, dove eventuali errori possono portare a prodotti etichettati in modo errato e a inefficienze operative. Questa tesi presenta la progettazione e l’implementazione di un sistema di verifica modulare basato su deep learning, che decide, a partire da una singola fotografia, se il testo e i loghi stampati su un’etichetta corrispondono a un valore di riferimento atteso, rispettando un budget di latenza adatto a un ambiente di produzione. Per affrontare la scarsità di dati industriali etichettati, è stata sviluppata una pipeline di generazione di dataset sintetici, in grado di produrre immagini di etichette con sfondi, font stilizzati e posizionamento dei loghi controllati, accompagnate da annotazioni accurate a livello di parola e di carattere e da quattro tipologie di difetto iniettate in modo indipendente. Un confronto tra diverse architetture OCR, PP-OCRv6 di PaddleOCR, i modelli di riconoscimento basati su transformer di DocTR, e il modello vision-language LightOnOCR è stato effettuato, ed è stato identificato PP-OCRv6 come il miglior compromesso tra accuratezza e velocità. Per questo, PP-OCRv6 è stato adottato come backbone per il rilevamento e il riconoscimento del testo. Poiché l’OCR da solo fatica con caratteri visivamente ambigui e non è in grado di rifiutare quelli illeggibili, è stato progettato un modulo custom di verifica dei caratteri, capace di rilevare classificare e stimare congiuntamente la qualità di ogni carattere all’interno di un ritaglio di parola, valutato su tre varianti architetturali; una coppia di moduli per il rilevamento e la verifica di qualità dei simboli gestisce loghi di marca e marchi di conformità con la stessa logica di rilevamento seguito da verifica. Gli output di ogni modulo vengono infine combinati e confrontati secondo tre strategie: una cascata di rifiuto, uno schema di voto basato su regole, e un modello di stacking con regressione logistica. Il sistema completo raggiunge un’accuratezza media dell’84.5% su un set di valutazione sintetico di 750 immagini, un miglioramento statisticamente significativo rispetto all’accuratezza del 60.3% della baseline basata solo su OCR, mentre le tre strategie di combinazione sono risultate statisticamente equivalenti una volta applicato in modo coerente ogni segnale calibrato. Il verificatore di caratter riduce la confusione tra coppie di caratteri visivamente simili dell’89.8% rispetto a un backbone leggero di base, e la pipeline completa rientra ampiamente nel budget di latenza richiesto. Una validazione su fotografie reali ha evidenziato un gap di generalizzazione residuo per il modulo di rilevamento dei simboli, identificato come la principale direzione di lavoro futuro prima di un possibile impiego in produzione.

TimbrOCR: A Lightweight and Fast Deep Learning System For Printed Text Verification

STEFANI, PATRIZIA
2025/2026

Abstract

Quality control in industry is an essential phase of the production process, ensuring that products are released in their optimal state. At EssilorLuxottica, a critical challenge is the automatic verification of printed alphanumeric codes and logos on eyewear labels, where errors can lead to misbranded products and operational inefficiencies. This thesis presents the design and implementation of a modular, deep-learning-based verification system that decides, from a single photograph, whether the printed text and logos on a label match an expected ground truth, under a latency budget suitable for a production environment. To address the scarcity of labeled industrial data, a synthetic dataset generation pipeline was developed, producing label images with controlled backgrounds, stylized fonts, and logo placement, paired with accurate word- and character level annotations and four independently injected defect types. A comparative evaluation of several OCR architectures, PaddleOCR’s PP-OCRv6, DocTR’s transformer-based recognizers, and the LightOnOCR vision-language model was performed, and identified PP-OCRv6 as the best accuracy/speed trade-off. Therefore, PP-OCRv6 was adopted as the text detection and recognition backbone. Since OCR alone struggles with visually ambiguous characters and cannot reject illegible ones, a custom character verifier module was designed to jointly detect, classify, and estimate the quality of each character in a word crop, evaluated across three architectural variants; a symbol detection and quality-verification pair of modules handles brand logos and conformity marks with the same logic of detection and subsequent verification. The outputs of every module are finally combined and compared across three strategies: a rejection cascade, a rule-based voting scheme, and a logistic-regression stacking model. The complete system reaches a mean accuracy of 84.5% on a 750-image synthetic evaluation set, a statistically significant improvement over the 60.3% accuracy of the OCR-only baseline, while the three combination strategies were found to be statistically equivalent once every calibrated signal was consistently applied across them. The character verifier reduces confusion between visually similar character pairs by 89.8% relative to a lightweight baseline backbone, and the complete pipeline runs well within the required latency budget. A validation on real photographs highlighted a remaining generalization gap for the symbols detection module, identified as the main direction for future work before production deployment.
2025
TimbrOCR: A Lightweight and Fast Deep Learning System For Printed Text Verification
Il controllo qualità in ambito industriale è una fase essenziale del processo produttivo, e garantisce che i prodotti vengano rilasciati nel loro stato ottimale. In EssilorLuxottica, una sfida critica è la verifica automatica dei codici alfanumerici e dei loghi stampati sulle etichette degli occhiali, dove eventuali errori possono portare a prodotti etichettati in modo errato e a inefficienze operative. Questa tesi presenta la progettazione e l’implementazione di un sistema di verifica modulare basato su deep learning, che decide, a partire da una singola fotografia, se il testo e i loghi stampati su un’etichetta corrispondono a un valore di riferimento atteso, rispettando un budget di latenza adatto a un ambiente di produzione. Per affrontare la scarsità di dati industriali etichettati, è stata sviluppata una pipeline di generazione di dataset sintetici, in grado di produrre immagini di etichette con sfondi, font stilizzati e posizionamento dei loghi controllati, accompagnate da annotazioni accurate a livello di parola e di carattere e da quattro tipologie di difetto iniettate in modo indipendente. Un confronto tra diverse architetture OCR, PP-OCRv6 di PaddleOCR, i modelli di riconoscimento basati su transformer di DocTR, e il modello vision-language LightOnOCR è stato effettuato, ed è stato identificato PP-OCRv6 come il miglior compromesso tra accuratezza e velocità. Per questo, PP-OCRv6 è stato adottato come backbone per il rilevamento e il riconoscimento del testo. Poiché l’OCR da solo fatica con caratteri visivamente ambigui e non è in grado di rifiutare quelli illeggibili, è stato progettato un modulo custom di verifica dei caratteri, capace di rilevare classificare e stimare congiuntamente la qualità di ogni carattere all’interno di un ritaglio di parola, valutato su tre varianti architetturali; una coppia di moduli per il rilevamento e la verifica di qualità dei simboli gestisce loghi di marca e marchi di conformità con la stessa logica di rilevamento seguito da verifica. Gli output di ogni modulo vengono infine combinati e confrontati secondo tre strategie: una cascata di rifiuto, uno schema di voto basato su regole, e un modello di stacking con regressione logistica. Il sistema completo raggiunge un’accuratezza media dell’84.5% su un set di valutazione sintetico di 750 immagini, un miglioramento statisticamente significativo rispetto all’accuratezza del 60.3% della baseline basata solo su OCR, mentre le tre strategie di combinazione sono risultate statisticamente equivalenti una volta applicato in modo coerente ogni segnale calibrato. Il verificatore di caratter riduce la confusione tra coppie di caratteri visivamente simili dell’89.8% rispetto a un backbone leggero di base, e la pipeline completa rientra ampiamente nel budget di latenza richiesto. Una validazione su fotografie reali ha evidenziato un gap di generalizzazione residuo per il modulo di rilevamento dei simboli, identificato come la principale direzione di lavoro futuro prima di un possibile impiego in produzione.
OCR
Text Recognition
Text Verification
Deep Learning
Computer Vision
File in questo prodotto:
File Dimensione Formato  
Stefani_Patrizia.pdf

Accesso riservato

Dimensione 9.59 MB
Formato Adobe PDF
9.59 MB Adobe PDF

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/118557