Deep Learning per il Riconoscimento Tattile su E-Skin a Mutua Capacità

The sense of touch has to be considered an important way in which humans and robots interact with the physical world. Large-area capacitive electronic skins (e-skins) can cover a surface with many sensitive taxels, although the signals they produce are high-dimensional, noisy and hard to interpret with classical algorithms. In fact, turning the raw output of a tactile skin into useful information remains an open challenge. The objective of this thesis is to define and evaluate a deep-learning pipeline for hand-gesture recognition using a flexible capacitive e-skin developed at the Department of Information Engineering of the University of Padova. The inputs are samples made up of short sequences of frames. Each frame is a 21x12 matrix of capacitance readings, representing each taxel of the e-skin. This input has to be classified into a set of hand gestures, ranging from one to five extended fingers to whole-hand contact, including additional gestures such as a closed fist and “C”- and “L”-shaped touches. To this end, a labelled dataset of human touches was acquired for each gesture and enlarged through data-augmentation techniques, in this case rotations of the matrix, in order to increase the number and variety of samples. Two Convolutional Neural Network (CNN) architectures were implemented and compared. The first is a one-dimensional model, operating on the temporal evolution of the taxel readings, whereas the second is a two-dimensional model, operating on the spatial pressure images. These networks were combined along different normalisation strategies ranging from the removal of the offset (baseline) to more effective and used approaches (for example Z-score). Finally, they were evaluated through classification accuracy, confusion matrix analysis and a principal component analysis (PCA) of the learned feature space. The experiments demonstrate that convolutional models can reliably distinguish the gestures directly from raw capacitive data, reaching an incredible accuracy of 98.00 +/- 0.67% on the 9-class problem, achieved by the CNN-1D with Max-Mean normalisation, in a single subject setting and without augmentation. The same pipeline was also evaluated on data acquired from two subjects, where the accuracy decreases, indicating that recognition across different people remains an open direction for future work. Overall, this work demonstrates that using a flexible, self-built e-skin and lightweight deep neural networks as a classifier has the capacity to recognise hand gestures, which if mounted on a robot could facilitate a richer human-robot interaction.

Il senso del tatto è una modalità importante con cui esseri umani e robot interagiscono con il mondo fisico. Le pelli elettroniche (e-skin) capacitive di grande area possono ricoprire una superficie con numerosi taxel sensibili, ma i segnali che producono sono ad alta dimensionalità, rumorosi e difficili da interpretare con algoritmi classici. Infatti, trasformare l'output grezzo di un’e-skin in informazione utile resta ancora una sfida aperta. L'obiettivo di questa tesi è definire e valutare una pipeline di deep learning per il riconoscimento di gesti della mano utilizzando una e-skin capacitiva flessibile sviluppata presso il Dipartimento di Ingegneria dell'Informazione dell'Università di Padova. Gli input sono campioni costituiti da brevi sequenze di frame; ogni frame è una matrice 21x12 di letture di capacità, una per ciascun taxel della e-skin. Questo input deve essere classificato in un insieme di gesti, che variano da uno a cinque dita estese fino al contatto con l'intera mano, includendo gesti aggiuntivi come il pugno chiuso e i tocchi a forma di "C" e di "L". A tal fine è stato acquisito, per ogni gesto, un dataset etichettato di tocchi umani, poi ampliato tramite tecniche di data augmentation (in questo caso rotazioni della matrice) per aumentare il numero e la varietà dei campioni. Sono state implementate e confrontate due architetture di rete neurale convoluzionale (CNN): la prima è un modello monodimensionale, che opera sull'evoluzione temporale delle letture dei taxel; la seconda è un modello bidimensionale, che opera sull'immagine spaziale. Le reti sono state combinate con diverse strategie di normalizzazione, dalla semplice rimozione dell'offset (baseline) ad approcci più efficaci e diffusi (ad esempio lo Z-score). Infine sono state valutate tramite accuratezza di classificazione, analisi tramite confusion matrix e un'analisi delle componenti principali (PCA) dello spazio delle feature apprese. Gli esperimenti mostrano che i modelli convoluzionali riescono a distinguere in modo affidabile i gesti considerati direttamente dai dati capacitivi grezzi, raggiungendo un'accuratezza del 98.00 +/- 0.67% sul problema a 9 classi, ottenuta dalla CNN-1D con normalizzazione Max-Mean, nel caso di un singolo soggetto e senza augmentation. La stessa pipeline è stata valutata anche su dati acquisiti da due soggetti, dove l'accuratezza diminuisce, indicando che il riconoscimento tra persone diverse resta una direzione aperta per lavori futuri. Nel complesso, questo lavoro dimostra che una e-skin flessibile e autocostruita, insieme a reti neurali profonde leggere usate come classificatore, è in grado di riconoscere i gesti della mano; se montata su un robot, potrebbe favorire un'interazione uomo-robot più naturale.