Italian sign language fingerspelling recognition

This work presents a system for the recognition of the manual alphabet of Italian Sign Language (LIS) based on the geometric analysis of hand landmarks. Rather than classifying the image directly, the system extracts the coordinates of 21 hand landmarks through MediaPipe and transforms them into 83 normalized geometric features, invariant to translation, scale, in- plane rotation and hand laterality. Three datasets were acquired by three different subjects using the same webcam under dif- ferent acquisition conditions, with 60 samples collected for each of the 22 static letters; a publicly available LIS fingerspelling corpus was also included, for a total of 10 177 samples. Support Vector Machine, K-Nearest Neighbors and a neural network were trained and evaluated under a signer-independent protocol. The neural network achieved the best accuracy, equal to 55.43%, against 52.05% for KNN and 48.83% for SVM, with the lowest inference time (0.008ms per sample). A Leave-One-Signer-Out evaluation returned an average accuracy of 75.90% with a standard deviation of 16.32%, the variability being driven by the gap between generalizing to an unseen subject under the same acquisition conditions (83.79% on average) and generalizing to an externally acquired corpus (52.24%). The results highlight the importance of signer-independent evaluation protocols: a random split of individual frames produced an accuracy of 98.86% on the same data and with the same model, a value that reflects memorization rather than generalization. The system also includes a real-time recognition component based on webcam input and temporal filtering.

Questo lavoro presenta un sistema per il riconoscimento dell'alfabeto manuale della Lingua dei Segni Italiana (LIS) basato sull'analisi geometrica dei punti di riferimento della mano. Invece di classificare direttamente l'immagine, il sistema estrae le coordinate di 21 punti di riferimento della mano tramite MediaPipe e le trasforma in 83 caratteristiche geometriche normalizzate, invarianti a traslazione, scala, rotazione sul piano e lateralità della mano. Tre dataset sono stati acquisiti da tre soggetti diversi utilizzando la stessa webcam in diverse condizioni di acquisizione, con 60 campioni raccolti per ciascuna delle 22 lettere statiche; è stato incluso anche un corpus di dattilologia LIS disponibile pubblicamente, per un totale di 10.177 campioni. Sono stati addestrati e valutati Support Vector Machine, K-Nearest Neighbors e una rete neurale secondo un protocollo indipendente dal segnante. La rete neurale ha raggiunto la migliore accuratezza, pari al 55,43%, contro il 52,05% per KNN e il 48,83% per SVM, con il tempo di inferenza più basso (0,008 ms per campione). Una valutazione Leave-One-Signer-Out ha restituito un'accuratezza media del 75,90% con una deviazione standard del 16,32%, la cui variabilità è determinata dalla differenza tra la generalizzazione a un soggetto non visto nelle stesse condizioni di acquisizione (83,79% in media) e la generalizzazione a un corpus acquisito esternamente (52,24%). I risultati evidenziano l'importanza di protocolli di valutazione indipendenti dal firmatario: una suddivisione casuale dei singoli fotogrammi ha prodotto un'accuratezza del 98,86% sugli stessi dati e con lo stesso modello, un valore che riflette la memorizzazione piuttosto che la generalizzazione. Il sistema include anche un componente di riconoscimento in tempo reale basato sull'input della webcam e sul filtraggio temporale.