Rilevamento di oggetti automatizzato a scopo di rimozione in ambiente di smistamento dei rifiuti

The automation of waste sorting is a fundamental challenge for increasing precision and efficiency, especially in environments where high material density makes accurate manual selection difficult and prevents any slowdown in sorting operations. This problem has significant repercussions on industrial vision systems based on classical models, rendering them unusable. Due to these limitations, current research is shifting towards the use of Visual Language Models to automate the labeling process, producing more precise datasets to effectively train classification models. This thesis presents the deployment, optimization, and analysis of a series of Vision Language Models on custom datasets for the spatial detection of objects through images acquired in industrial waste sorting contexts, with the aim of extrapolating data useful for their classification. Starting from a custom dataset, composed of pairs of previously processed images captured respectively before and after a potential manual process of removing a block of unsuitable waste, prompting was carried out on several Visual Language Models (GEMMA4 E2B, QWEN3 VL 4B Instruct, QWEN3.5 4B). A textual description of the task—namely, detecting the objects no longer present in the second image of each pair—was also added to the prompt, along with the output format the models were expected to return, in this case the bounding box coordinates delimiting the waste in question. For each VLM, state-of-the-art metrics such as precision and recall were extracted, followed by a comparison based on the preprocessing applied to the images and the prompt used. The best results among the investigated models were achieved with QWEN3.5 4B, with a peak precision of over 38% and a recall of 45%. The system demonstrated the feasibility of using VLMs for comparative object detection tasks, delivering sufficiently reliable results in complex production contexts and the possibility of further integration for the use of robotic gripping tools.

L’automatizzazione dello smaltimento differenziato dei rifiuti si pone come sfida fondamentale per aumentarne la precisione e l’efficacia, soprattutto in ambienti dove l’alta densità di materiale rende difficile un’accurata selezione manuale e non permette rallentamenti nelle azioni di smistamento. Questo problema ha notevoli ricadute sui sistemi di visione industriale basati su modelli classici, rendendoli inutilizzabili. Per queste limitazioni la ricerca attuale si sta spostando sull’impiego di Visual Language Model per automatizzare il processo di labeling producendo dataset più precisi per allenare efficacemente modelli di classificazione. Questa tesi presenta il deployment, l’ottimizzazione e l’analisi di una serie di Vision Language Model su dataset custom per il rilevamento spaziale di oggetti attraverso immagini acquisite in contesti industriali di sorting dei rifiuti, allo scopo di estrapolare dati utili alla loro classificazione. Partendo da un dataset custom, composto da coppie di immagini precedentemente elaborate e catturate rispettivamente prima e dopo un eventuale processo manuale di rimozione di un blocco di rifiuti di tipo non adatto, è stato effettuato il prompting di diversi Visual Language Model (GEMMA4 E2B, QWEN3 VL 4B Instruct, QWEN3.5 4B). Al prompt è stata aggiunta anche una descrizione testuale del task, ovvero rilevare gli oggetti non più presenti nella seconda immagine di ogni coppia, assieme al formato dell’output che i modelli avrebbero dovuto restituire, in questo caso le coordinate delle bounding box che delimitassero i rifiuti in questione. Per ogni VLM sono state estratte metriche allo stato dell’arte come precisione e recall, a cui è seguita una comparazione in base al preprocessing fatto sulle immagini ed al prompt impiegato. I risultati migliori tra i modelli investigati sono stati raggiunti con QWEN3.5 4B con un picco di precisione di oltre 38% e di recall del 45%. Il sistema ha dimostrato la possibilità dell’impiego di VLM per compiti di object detection comparativi esprimendo risultati sufficientemente affidabili in contesti di produzione complessi e la possibilità di ulteriori integrazioni per utilizzo di strumenti robotizzati per la presa.