Identificazione di Melissa officinalis mediante immagini RGB: prestazioni di classificazione e generalizzazione tra domini

Medicinal and aromatic plants are important raw materials in several sectors, including the food industry, and their correct identification is important to ensure the quality and authenticity of plant material. This task can become more challenging when different species show similar morphological characteristics. In this context, recognition based on RGB images may represent an attractive approach because it allows visual characteristics of the material to be exploited using relatively simple, rapid, and non-destructive systems that could potentially be integrated into inspection and sorting operations. Computer vision systems may therefore support the automatic identification of plant species even when images are acquired under different conditions. The aim of this thesis was to evaluate the possibility of distinguishing Melissa officinalis from other plant species using standard RGB images. A development dataset of 1,655 images from Pl@ntNet and iNaturalist was created, together with an external test set of 100 images from the IndoHerb dataset to assess the ability to generalize to an independent image source. Different approaches based on MobileNetV3Small and BioCLIP were compared. Overall, approaches based on BioCLIP features provided the most promising results. BioCLIP combined with Logistic Regression achieved an accuracy of 94.01% on the internal validation set and 85.00% on the external IndoHerb test, showing a good balance between the recognition of Melissa and the correct exclusion of other species. The main difficulties involved visually similar species, particularly Mentha and Nepeta cataria. The results also highlighted the importance of image source and variability: increasing the number of images from a single source did not automatically lead to better generalization. The approach investigated in this work may therefore provide an interesting basis for systems supporting the identification and selection of plant raw materials, although further validation under real operating conditions is still required.

Le piante officinali rappresentano una materia prima di interesse per diversi settori, tra cui quello alimentare, e la loro corretta identificazione è importante per garantire qualità e autenticità del materiale vegetale. Questo aspetto può diventare più complesso quando specie differenti presentano caratteristiche morfologiche simili. In tale contesto, il riconoscimento basato su immagini RGB può rappresentare un approccio interessante perché consente di sfruttare caratteristiche visive del materiale mediante sistemi relativamente semplici, rapidi e non distruttivi, potenzialmente integrabili nelle fasi di controllo e selezione. I sistemi di computer vision possono quindi offrire un supporto all’identificazione automatica delle specie vegetali anche in presenza di immagini acquisite in condizioni differenti. La presente tesi ha avuto l’obiettivo di valutare la possibilità di distinguere Melissa officinalis da altre specie vegetali utilizzando normali immagini RGB. È stato costruito un dataset di sviluppo di 1655 immagini provenienti da Pl@ntNet e iNaturalist, affiancato da un test esterno su 100 immagini del dataset IndoHerb per valutare la capacità di generalizzazione su una sorgente indipendente. Sono stati confrontati diversi approcci basati su MobileNetV3Small e BioCLIP. Nel complesso, gli approcci basati sulle feature di BioCLIP hanno fornito i risultati più promettenti. BioCLIP con Logistic Regression ha raggiunto un’accuracy del 94,01% sulla validation interna e dell’85,00% sul test esterno IndoHerb, mostrando un buon equilibrio tra riconoscimento di Melissa ed esclusione delle altre specie. Le principali difficoltà hanno riguardato specie visivamente simili, in particolare Mentha e Nepeta cataria. I risultati hanno inoltre evidenziato l’importanza della provenienza e della variabilità delle immagini: aumentare il numero di immagini provenienti da una sola sorgente non ha portato automaticamente a una migliore generalizzazione. L’approccio studiato può quindi rappresentare una base interessante per sistemi di supporto all’identificazione e alla selezione della materia prima vegetale, da verificare ulteriormente in condizioni operative reali.