In contemporary society, tattoos, which are widespread as a form of expression, also assume relevance in the field of biometrics, as they represent distinctive signs for the recognition of individuals. The creation of a vast dataset of tattoos, with a variety of designs and body positions, could accelerate the development of artificial intelligence systems for individual identification. Current neural networks, although effective in other contexts, fail to recognise tattoos due to their three-dimensionality on the human body. It is therefore essential to train such networks on new datasets to improve the accuracy and reliability of tattoo recognition. However, the availability of a database consisting of real images is limited, often due to privacy and ethical issues. This study aims to address this challenge through the development of a synthetic dataset of images containing tattooed subjects, covering a wide range of variants with the aim of increasing the diversity and complexity of the dataset. The proposed system involves the automatic projection of images onto 3D synthetic models of human bodies, acquiring data from various angles and in different contexts, including changes in lighting and background. The system was tested in a hypothetical forensic context to identify gang members. This limits the variety of tattoos considered, as, despite the diversity, members of the same mafia tend to have similar tattoos. Validation of the effectiveness of the dataset was conducted using a neural network for tattoo recognition. Several architectures were tested, identifying the one that demonstrated superior performance. The analysis involved both synthetic and real images, thus ensuring a complete understanding of performance. In the case of the InceptionV3 network, the accuracy in the recognition of real images reached values of 87.17%. Consequently, it was adopted as a basic model to implement a Fast R-CNN network, also enabling the precise localisation of tattoos in images. The evaluation of the overlap between manually identified tattoos and those identified by the network generated mean values in the reference ranges for the IoU (0.5805) and DICE (0.6916) indices. These results show that the use of a synthetic dataset may represent an innovative approach for training neural networks.

Nella società contemporanea, i tatuaggi, diffusi come forma di espressione, assumono rilevanza anche nell’ambito della biometria, in quanto rappresentano dei segni distintivi per il riconoscimento degli individui. La creazione di un vasto dataset di tatuaggi, con varietà di disegni e posizioni corporee, potrebbe accelerare lo sviluppo di sistemi di intelligenza artificiale per l'identificazione individuale. Le attuali reti neurali, sebbene efficaci in altri contesti, falliscono nel riconoscere tatuaggi a causa della loro tridimensionalità sul corpo umano. È essenziale, pertanto, addestrare tali reti su nuovi dataset per migliorare la precisione e l'affidabilità del riconoscimento dei tatuaggi. Tuttavia, la disponibilità di una banca dati costituita da immagini reali è limitata, spesso a causa di questioni legate alla privacy e all'etica. Questo studio si propone di affrontare questa sfida attraverso lo sviluppo di un dataset sintetico di immagini contenenti soggetti tatuati, coprendo una vasta gamma di varianti con l'obiettivo di aumentare la diversità e la complessità del dataset stesso. Per realizzare il dataset sintetico è stato sviluppato un tool nell'ambiente di realtà virtuale Unity. Il sistema proposto prevede la proiezione automatica di immagini su modelli sintetici 3D di corpi umani, acquisendo dati da varie angolazioni e in contesti diversi, inclusi cambiamenti di illuminazione e sfondo. Il sistema è stato testato in un ipotetico contesto forense per identificare membri di una gang. Questo limita la varietà dei tatuaggi considerati, poiché, nonostante la diversità, i membri della stessa mafia tendono ad avere tatuaggi simili tra loro. La validazione dell'efficacia del dataset è stata condotta mediante l'impiego di una rete neurale per il riconoscimento dei tatuaggi. Diverse architetture sono state testate, identificando quella che ha dimostrato prestazioni superiori. L’analisi ha coinvolto sia immagini sintetiche che reali, garantendo così una completa comprensione delle prestazioni. Nel caso della rete InceptionV3, l’accuratezza nel riconoscimento di immagini reali ha raggiunto valori dell’87.17%. Di conseguenza, è stata adottata come modello di base per implementare una rete Fast R-CNN, consentendo anche la localizzazione precisa dei tatuaggi nelle immagini. La valutazione della sovrapposizione tra tatuaggi identificati manualmente e quelli individuati dalla rete ha generato valori medi nei range di riferimento per gli indici IoU (0.5805) e DICE (0.6916). Questi risultati evidenziano che l'impiego di un dataset sintetico può rappresentare un approccio innovativo per l'addestramento delle reti neurali.

Generazione di un dataset sintetico di immagini di soggetti tatuati per applicazioni di intelligenza artificiale in ambito forense

DE ZOTTI, IRENE
2022/2023

Abstract

In contemporary society, tattoos, which are widespread as a form of expression, also assume relevance in the field of biometrics, as they represent distinctive signs for the recognition of individuals. The creation of a vast dataset of tattoos, with a variety of designs and body positions, could accelerate the development of artificial intelligence systems for individual identification. Current neural networks, although effective in other contexts, fail to recognise tattoos due to their three-dimensionality on the human body. It is therefore essential to train such networks on new datasets to improve the accuracy and reliability of tattoo recognition. However, the availability of a database consisting of real images is limited, often due to privacy and ethical issues. This study aims to address this challenge through the development of a synthetic dataset of images containing tattooed subjects, covering a wide range of variants with the aim of increasing the diversity and complexity of the dataset. The proposed system involves the automatic projection of images onto 3D synthetic models of human bodies, acquiring data from various angles and in different contexts, including changes in lighting and background. The system was tested in a hypothetical forensic context to identify gang members. This limits the variety of tattoos considered, as, despite the diversity, members of the same mafia tend to have similar tattoos. Validation of the effectiveness of the dataset was conducted using a neural network for tattoo recognition. Several architectures were tested, identifying the one that demonstrated superior performance. The analysis involved both synthetic and real images, thus ensuring a complete understanding of performance. In the case of the InceptionV3 network, the accuracy in the recognition of real images reached values of 87.17%. Consequently, it was adopted as a basic model to implement a Fast R-CNN network, also enabling the precise localisation of tattoos in images. The evaluation of the overlap between manually identified tattoos and those identified by the network generated mean values in the reference ranges for the IoU (0.5805) and DICE (0.6916) indices. These results show that the use of a synthetic dataset may represent an innovative approach for training neural networks.
2022
Generation of a synthetic dataset of images of tattooed subjects for forensic artificial intelligence applications
Nella società contemporanea, i tatuaggi, diffusi come forma di espressione, assumono rilevanza anche nell’ambito della biometria, in quanto rappresentano dei segni distintivi per il riconoscimento degli individui. La creazione di un vasto dataset di tatuaggi, con varietà di disegni e posizioni corporee, potrebbe accelerare lo sviluppo di sistemi di intelligenza artificiale per l'identificazione individuale. Le attuali reti neurali, sebbene efficaci in altri contesti, falliscono nel riconoscere tatuaggi a causa della loro tridimensionalità sul corpo umano. È essenziale, pertanto, addestrare tali reti su nuovi dataset per migliorare la precisione e l'affidabilità del riconoscimento dei tatuaggi. Tuttavia, la disponibilità di una banca dati costituita da immagini reali è limitata, spesso a causa di questioni legate alla privacy e all'etica. Questo studio si propone di affrontare questa sfida attraverso lo sviluppo di un dataset sintetico di immagini contenenti soggetti tatuati, coprendo una vasta gamma di varianti con l'obiettivo di aumentare la diversità e la complessità del dataset stesso. Per realizzare il dataset sintetico è stato sviluppato un tool nell'ambiente di realtà virtuale Unity. Il sistema proposto prevede la proiezione automatica di immagini su modelli sintetici 3D di corpi umani, acquisendo dati da varie angolazioni e in contesti diversi, inclusi cambiamenti di illuminazione e sfondo. Il sistema è stato testato in un ipotetico contesto forense per identificare membri di una gang. Questo limita la varietà dei tatuaggi considerati, poiché, nonostante la diversità, i membri della stessa mafia tendono ad avere tatuaggi simili tra loro. La validazione dell'efficacia del dataset è stata condotta mediante l'impiego di una rete neurale per il riconoscimento dei tatuaggi. Diverse architetture sono state testate, identificando quella che ha dimostrato prestazioni superiori. L’analisi ha coinvolto sia immagini sintetiche che reali, garantendo così una completa comprensione delle prestazioni. Nel caso della rete InceptionV3, l’accuratezza nel riconoscimento di immagini reali ha raggiunto valori dell’87.17%. Di conseguenza, è stata adottata come modello di base per implementare una rete Fast R-CNN, consentendo anche la localizzazione precisa dei tatuaggi nelle immagini. La valutazione della sovrapposizione tra tatuaggi identificati manualmente e quelli individuati dalla rete ha generato valori medi nei range di riferimento per gli indici IoU (0.5805) e DICE (0.6916). Questi risultati evidenziano che l'impiego di un dataset sintetico può rappresentare un approccio innovativo per l'addestramento delle reti neurali.
dataset
virtual reality
3D modeling
CAD
tattoo
File in questo prodotto:
File Dimensione Formato  
DeZotti_Irene.pdf

accesso aperto

Dimensione 4.87 MB
Formato Adobe PDF
4.87 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/60580