Marker-less Pose Estimation for hand tracking: detection and classification of tremors

Marker-less Pose Estimation is a method based on deep learning for the extraction of human motion that allows the subject of the tracking to be physically free from any device. MPE is already adopted in the medical field for researches on human movement disorders, and can be of great impact in the study of tremor, the involuntary, rhythmic, oscillatory movement of a body part. Tremor can be disabling at home and in workplace, it impedes from doing daily activities and it is a reason of embarrassment and psychological stress. The standard methods for detection and evaluation of tremors, based on the use of rating scales, do not prevent the analysis from being affected by subjective opinion. Computerized methods have been developed to overcome this problem but they have several drawbacks, as the cost and the equipment being cumbersome during the extraction of tremor data. This thesis aims to demonstrate how Marker-less Human Pose Estimation can be adopted for hands motion tracking and the extraction of features concerning tremors used to implement a detection and classification algorithm of tremors. Anipose is the Marker-less Pose Estimator used to conduct the experiments of this research, it gets as input video-samples recorded by means of three synchronized webcams. The main experiment consists in performing first detection of tremor, then classification of different tremors, by processing the data extracted with Anipose. For this purpose PCA and K-means were adopted. The initial results demonstrated a detection accuracy not greater than 0.6 and a classification accuracy not greater than 0.8. For a more complete analysis, the detection and classification were carried out on smaller datasets containing fewer types of tremors. The detection performed better, with accuracy close to 0.9 on both datasets. A strong similarity between two types of tremors (intention and simple kinetic), was noted and analysed. In conclusion, the results provided useful information for the improvement of MPE for tremor extraction. The research offers a starting point for developing a method through MPE for assessing the degree of seriousness of tremor, similar to the assessment that takes place with the rating scales.

Con il termine Marker-less Pose Estimation si indica un metodo basato sul deep learning per l'estrazione del movimento umano che consente al soggetto del tracking di essere fisicamente libero da qualsiasi dispositivo. La MPE è già adottato in campo medico per le ricerche sui disturbi del movimento umano, e può essere di grande impatto nello studio del tremore, ovvero il movimento involontario, ritmico e oscillatorio di una parte del corpo. Il tremore può essere invalidante in casa e sul posto di lavoro, impedisce di svolgere le attività quotidiane ed è motivo di imbarazzo e stress psicologico. I metodi standard per il rilevamento e la valutazione dei tremori, basati sull'uso di scale di valutazione, non impediscono che l'analisi sia influenzata dal giudizio soggettivo. Sono stati sviluppati metodi computerizzati per superare questo problema ma presentano diversi svantaggi, come il costo elevato e l'attrezzatura ingombrante durante l'estrazione dei dati di tremore. Questa tesi si propone di dimostrare come la Marker-less Pose Estimation possa essere adottata per tracciare il movimento delle mani ed estrarre le caratteristiche dei tremori utilizzate per implementare un algoritmo di detection e classificazione dei tremori. Anipose è il Marker-less Pose Estimator utilizzato per condurre gli esperimenti di questa ricerca, riceve in input video registrati mediante tre webcam sincronizzate. L'esperimento principale consiste nell'eseguire prima il rilevamento del tremore, quindi la classificazione di diversi tremori, elaborando i dati estratti con Anipose. A tale scopo sono stati utilizzati PCA e K-means. I risultati iniziali hanno dimostrato un'accuratezza di rilevamento non superiore a 0,6 e un'accuratezza di classificazione non superiore a 0,8. Per un'analisi più completa, il rilevamento e la classificazione sono stati effettuati su set di dati più piccoli contenenti meno tipi di tremori. La detection ha avuto risultati migliori, con un'accuratezza vicina allo 0,9 su entrambi i set di dati. È stata notata e analizzata una forte somiglianza tra due tipi di tremori (intenzionali e simple kinetic). In conclusione, i risultati hanno fornito informazioni utili al miglioramento della MPE per l'estrazione del tremore delle mani. La ricerca offre inoltre uno spunto per sviluppare un metodo tramite MPE per la valutazione della gravità del tremore, simile a quella basata sulle scale di valutazione.