The aim of this thesis is to evaluate the effectiveness of an experimental therapy in treating hypomimia in patients with Parkinson's disease, through the observation of frontal videos of facial expressions of select subjects. To achieve this goal, video acquisitions were conducted on a sample of subjects before and after the experimental treatment. During each facial acquisition, participants were asked to express a series of emotions, such as anger, sadness, fear, disgust, happiness, and surprise. For each emotion in each acquisition, a representative frame depicting the peak of the expression was identified. By processing the frontal videos using the OpenFace software, the coordinates of facial landmarks and the intensities of Action Units (AUs) were extracted for each identified frame. From the coordinates of facial landmarks, the Face Mobility Index (FMI) was calculated using an experimental protocol (Pegolo et al.). The FMI was then employed to assess improvements in hypomimia from pre- to post-therapy in the subjects. Furthermore, the intensities of AUs were evaluated to obtain additional information on the effect of the experimental therapy on the facial expressions of Parkinson's patients. This method of experimental analysis using a facial mobility index (FMI) provides an innovative way to assess the degree of hypomimia in Parkinson's patients.

La presente tesi si propone di valutare l'efficacia di una terapia sperimentale nel trattamento dell'ipomimia in pazienti affetti da Parkinson, mediante l'osservazione di video frontali delle espressioni facciali di alcuni soggetti. Per raggiungere questo obiettivo, sono state condotte acquisizioni video su un campione di soggetti prima e dopo il trattamento sperimentale. Durante ciascuna acquisizione facciale, ai partecipanti è stato richiesto di esprimere una serie di 6 emozioni, quali rabbia, tristezza, paura, disgusto, felicità e sorpresa. Per ogni emozione di ciascuna acquisizione è stato individuato un frame rappresentante l’apice dell’espressione. Elaborando i video frontali mediante il software OpenFace, per ogni frame individuato sono state estratte le coordinate dei landmark facciali e le intensità delle Action Unit (AUs). A partire dalle coordinate dei landmark facciali è stato calcolato il Face Mobility Index (FMI) utilizzando un protocollo sperimentale (Pegolo et al.). Il FMI è stato quindi impiegato per valutare i miglioramenti nell'ipomimia dei soggetti dal pre- al post-terapia. Inoltre, sono state valutate le intensità delle AUs per ottenere ulteriori informazioni sull'effetto della terapia sperimentale sulle espressioni facciali dei pazienti affetti da Parkinson. Questo metodo di analisi sperimentale mediante un indice di mobilità facciale (FMI) fornisce una modalità innovativa per valutare il grado di ipomimia in pazienti con Parkinson.

Riconoscimento delle emozioni guidato dall'AI per la valutazione dell'ipomimia nella malattia di Parkinson

GEROIN, PAOLO
2023/2024

Abstract

The aim of this thesis is to evaluate the effectiveness of an experimental therapy in treating hypomimia in patients with Parkinson's disease, through the observation of frontal videos of facial expressions of select subjects. To achieve this goal, video acquisitions were conducted on a sample of subjects before and after the experimental treatment. During each facial acquisition, participants were asked to express a series of emotions, such as anger, sadness, fear, disgust, happiness, and surprise. For each emotion in each acquisition, a representative frame depicting the peak of the expression was identified. By processing the frontal videos using the OpenFace software, the coordinates of facial landmarks and the intensities of Action Units (AUs) were extracted for each identified frame. From the coordinates of facial landmarks, the Face Mobility Index (FMI) was calculated using an experimental protocol (Pegolo et al.). The FMI was then employed to assess improvements in hypomimia from pre- to post-therapy in the subjects. Furthermore, the intensities of AUs were evaluated to obtain additional information on the effect of the experimental therapy on the facial expressions of Parkinson's patients. This method of experimental analysis using a facial mobility index (FMI) provides an innovative way to assess the degree of hypomimia in Parkinson's patients.
2023
AI driven face emotion recognition for hypomimia assessment in Parkinson's disease
La presente tesi si propone di valutare l'efficacia di una terapia sperimentale nel trattamento dell'ipomimia in pazienti affetti da Parkinson, mediante l'osservazione di video frontali delle espressioni facciali di alcuni soggetti. Per raggiungere questo obiettivo, sono state condotte acquisizioni video su un campione di soggetti prima e dopo il trattamento sperimentale. Durante ciascuna acquisizione facciale, ai partecipanti è stato richiesto di esprimere una serie di 6 emozioni, quali rabbia, tristezza, paura, disgusto, felicità e sorpresa. Per ogni emozione di ciascuna acquisizione è stato individuato un frame rappresentante l’apice dell’espressione. Elaborando i video frontali mediante il software OpenFace, per ogni frame individuato sono state estratte le coordinate dei landmark facciali e le intensità delle Action Unit (AUs). A partire dalle coordinate dei landmark facciali è stato calcolato il Face Mobility Index (FMI) utilizzando un protocollo sperimentale (Pegolo et al.). Il FMI è stato quindi impiegato per valutare i miglioramenti nell'ipomimia dei soggetti dal pre- al post-terapia. Inoltre, sono state valutate le intensità delle AUs per ottenere ulteriori informazioni sull'effetto della terapia sperimentale sulle espressioni facciali dei pazienti affetti da Parkinson. Questo metodo di analisi sperimentale mediante un indice di mobilità facciale (FMI) fornisce una modalità innovativa per valutare il grado di ipomimia in pazienti con Parkinson.
Parkinson
OpenFace
Emotion
Hypomimia
AI
File in questo prodotto:
File Dimensione Formato  
Geroin_Paolo.pdf

accesso aperto

Dimensione 3.84 MB
Formato Adobe PDF
3.84 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/73126