Gait Analysis is a fundamental tool in clinical and rehabilitation settings. Traditional acquisition systems used in Gait Analysis rely on marker-based stereophotogrammetry, force platforms, and electromyography. This systems are highly accurate technologies but they require dedicated laboratory environments and specialized personnel, limiting their use in ecological settings such as clinics, gyms, and homes. Markerless systems offer an alternative to traditional acquisition techniques, although they are not without limitations (greater variability and increased noise in the input data). In order to move toward an ecological Gait Analysis, computational methods are therefore needed. They need to correctly estimat the characteristic biomechanical quantities of movement analysis, and also being robust to input noise. The aim of this thesis is the development and comparison of Deep Learning models to estimate, starting from the 3D trajectories of skin-mounted, four biomechanical quantities: ground reaction forces (GRF), joint kinematics (Inverse Kinematics = IK), joint moments (Inverse Dynamics = ID), and muscle activation (Static Optimization = SO). The reference quantities were obtained using OpenSim musculoskeletal modeling techniques. The database comprises 282 trials from healthy subjects (controls) and 227 from subjects with Parkinson's disease. Each trial is normalized to 100 time samples and is described by marker trajectories as input (100 × 57) and by GRF (100 × 3), IK (100 × 12), ID (100 × 12), and SO (100 × 46) as output. Three different neural networks were implemented: a Spatio-Temporal Graph Convolutional Network (ST-GCN), which explicitly models the graph structure of the skeleton and temporal dependencies, and two Temporal Convolutional Networks (TCN), one inspired by the literature (Cornish et al. 2024) and one developed from scratch. The networks were trained and validated separately on the two populations, using a subject-wise split and Monte Carlo validation. Performance was evaluated using error metrics (RMS) and agreement metrics (CMC), followed by a statistical comparison. Finally, a sensitivity analysis to Gaussian noise on the markers was conducted, together with a pure-noise response test. No architecture proved to be systematically superior to the others. In healthy subjects, the ST-GCN provides better results for joint kinematics (IK) and for hip and knee moments, whereas in subjects with Parkinson's disease this advantage decreases significantly and, at the knee, the TCNs perform better. For ground reaction forces (GRF), the three networks are substantially equivalent (CMC of the vertical component 0.98–0.99). For muscle activation (SO), differences emerge at the level of individual muscles, with the TCN-paper-like network performing better in controls. Performance remains stable for marker noise up to 5 mm. The results revealed that the choice of which neural network to use strongly depends on the task and the population of interest. The feasibility of the approach undertaken has been demonstrated, providing a basis for future development toward ecological systems for gait analysis.

L'analisi del cammino (Gait Analysis) è uno strumento fondamentale in ambito clinico e riabilitativo. I sistemi di acquisizione tradizionali utilizzati nella Gait Analysis sfruttano la stereofotogrammetria marker-based, le pedane di forza e l’elettromiografia, tecnologie molto accurate che però richiedono ambienti di laboratorio dedicati e personale specializzato, limitandone l'uso in contesti ecologici, come ambulatori, palestre e abitazioni. I sistemi markerless offrono un’alternativa alle tradizionali tecniche di acquisizione, anche se non privi di limitazioni, come l’ampia variabilità e il maggiore rumore dei dati in ingresso. Al fine di passare a un’analisi del cammino “ecologica”, sono quindi necessari metodi computazionali capaci, non solo di stimare correttamente le grandezze biomeccaniche caratteristiche dell’analisi di movimento, ma anche di risultare robusti al rumore in ingresso. Il presente lavoro di tesi ha come scopo lo sviluppo e il confronto di modelli di Deep Learning per stimare, a partire dalle traiettorie 3D di marker applicati sulla cute secondo protocolli per la Gait Analysis, quattro grandezze biomeccaniche: forze di reazione al suolo (GRF), cinematica articolare (Inverse Kinematics = IK), momenti articolari (Inverse Dynamics = ID) e attivazione muscolare (Static Optimization = SO). Le grandezze di riferimento sono state ottenute tramite le tecniche di modellazione muscoloscheletrica di OpenSim. Il database comprende 282 trial di soggetti sani e 227 di soggetti con malattia di Parkinson; ogni trial è normalizzato a 100 campioni temporali ed è descritto in ingresso dalle traiettorie dei marker (100 × 57) e in uscita da GRF (100 × 3), IK (100 × 12), ID (100 × 12) e SO (100 × 46). Per quanto riguarda gli approcci di Deep Learning esplorati, sono state implementate tre diverse reti neurali: una Spatio-Temporal Graph Convolutional Network (ST-GCN), che modella esplicitamente la struttura a grafo dello scheletro e le dipendenze temporali, e due Temporal Convolutional Network (TCN), una ispirata alla letteratura (Cornish et al.) e una sviluppata ex novo. Le reti sono state addestrate e validate separatamente sulle due popolazioni, con suddivisione subject-wise e validazione Monte Carlo. Le prestazioni sono state valutate con metriche di errore (RMS) e di concordanza (CMC), seguite da un confronto statistico. È stata infine condotta un'analisi di sensitività al rumore gaussiano sui marker, insieme a un test di risposta a puro rumore. Nessuna architettura risulta sistematicamente superiore rispetto alle altre. Nei soggetti sani la ST-GCN fornisce risultati migliori per IK e per i momenti di anca e ginocchio, mentre nei soggetti con Parkinson il vantaggio si riduce e, al ginocchio, le TCN risultano performare meglio. Per le GRF le tre reti sono sostanzialmente equivalenti (CMC della componente verticale 0.98–0.99). Per la SO le differenze emergono a livello di singolo muscolo, con la TCN-paper-like più favorevole nei controlli. Le prestazioni restano stabili per rumore applicato ai marker fino a 5 mm. I risultati hanno rivelato che la scelta della rete neurale da utilizzare dipende fortemente dal task e dalla popolazione di interesse. È stata dimostrata la fattibilità dell'approccio intrapreso, che fornisce una base per un futuro sviluppo verso sistemi ecologici per l’analisi del cammino.

Verso un'analisi ecologica del movimento basata su telecamera per la neuroriabilitazione: un approccio di deep learning

VIANELLO, LUCILLA
2025/2026

Abstract

Gait Analysis is a fundamental tool in clinical and rehabilitation settings. Traditional acquisition systems used in Gait Analysis rely on marker-based stereophotogrammetry, force platforms, and electromyography. This systems are highly accurate technologies but they require dedicated laboratory environments and specialized personnel, limiting their use in ecological settings such as clinics, gyms, and homes. Markerless systems offer an alternative to traditional acquisition techniques, although they are not without limitations (greater variability and increased noise in the input data). In order to move toward an ecological Gait Analysis, computational methods are therefore needed. They need to correctly estimat the characteristic biomechanical quantities of movement analysis, and also being robust to input noise. The aim of this thesis is the development and comparison of Deep Learning models to estimate, starting from the 3D trajectories of skin-mounted, four biomechanical quantities: ground reaction forces (GRF), joint kinematics (Inverse Kinematics = IK), joint moments (Inverse Dynamics = ID), and muscle activation (Static Optimization = SO). The reference quantities were obtained using OpenSim musculoskeletal modeling techniques. The database comprises 282 trials from healthy subjects (controls) and 227 from subjects with Parkinson's disease. Each trial is normalized to 100 time samples and is described by marker trajectories as input (100 × 57) and by GRF (100 × 3), IK (100 × 12), ID (100 × 12), and SO (100 × 46) as output. Three different neural networks were implemented: a Spatio-Temporal Graph Convolutional Network (ST-GCN), which explicitly models the graph structure of the skeleton and temporal dependencies, and two Temporal Convolutional Networks (TCN), one inspired by the literature (Cornish et al. 2024) and one developed from scratch. The networks were trained and validated separately on the two populations, using a subject-wise split and Monte Carlo validation. Performance was evaluated using error metrics (RMS) and agreement metrics (CMC), followed by a statistical comparison. Finally, a sensitivity analysis to Gaussian noise on the markers was conducted, together with a pure-noise response test. No architecture proved to be systematically superior to the others. In healthy subjects, the ST-GCN provides better results for joint kinematics (IK) and for hip and knee moments, whereas in subjects with Parkinson's disease this advantage decreases significantly and, at the knee, the TCNs perform better. For ground reaction forces (GRF), the three networks are substantially equivalent (CMC of the vertical component 0.98–0.99). For muscle activation (SO), differences emerge at the level of individual muscles, with the TCN-paper-like network performing better in controls. Performance remains stable for marker noise up to 5 mm. The results revealed that the choice of which neural network to use strongly depends on the task and the population of interest. The feasibility of the approach undertaken has been demonstrated, providing a basis for future development toward ecological systems for gait analysis.
2025
Toward Ecological Camera-Based Movement Analysis for Neurorehabilitation: A Deep Learning Approach
L'analisi del cammino (Gait Analysis) è uno strumento fondamentale in ambito clinico e riabilitativo. I sistemi di acquisizione tradizionali utilizzati nella Gait Analysis sfruttano la stereofotogrammetria marker-based, le pedane di forza e l’elettromiografia, tecnologie molto accurate che però richiedono ambienti di laboratorio dedicati e personale specializzato, limitandone l'uso in contesti ecologici, come ambulatori, palestre e abitazioni. I sistemi markerless offrono un’alternativa alle tradizionali tecniche di acquisizione, anche se non privi di limitazioni, come l’ampia variabilità e il maggiore rumore dei dati in ingresso. Al fine di passare a un’analisi del cammino “ecologica”, sono quindi necessari metodi computazionali capaci, non solo di stimare correttamente le grandezze biomeccaniche caratteristiche dell’analisi di movimento, ma anche di risultare robusti al rumore in ingresso. Il presente lavoro di tesi ha come scopo lo sviluppo e il confronto di modelli di Deep Learning per stimare, a partire dalle traiettorie 3D di marker applicati sulla cute secondo protocolli per la Gait Analysis, quattro grandezze biomeccaniche: forze di reazione al suolo (GRF), cinematica articolare (Inverse Kinematics = IK), momenti articolari (Inverse Dynamics = ID) e attivazione muscolare (Static Optimization = SO). Le grandezze di riferimento sono state ottenute tramite le tecniche di modellazione muscoloscheletrica di OpenSim. Il database comprende 282 trial di soggetti sani e 227 di soggetti con malattia di Parkinson; ogni trial è normalizzato a 100 campioni temporali ed è descritto in ingresso dalle traiettorie dei marker (100 × 57) e in uscita da GRF (100 × 3), IK (100 × 12), ID (100 × 12) e SO (100 × 46). Per quanto riguarda gli approcci di Deep Learning esplorati, sono state implementate tre diverse reti neurali: una Spatio-Temporal Graph Convolutional Network (ST-GCN), che modella esplicitamente la struttura a grafo dello scheletro e le dipendenze temporali, e due Temporal Convolutional Network (TCN), una ispirata alla letteratura (Cornish et al.) e una sviluppata ex novo. Le reti sono state addestrate e validate separatamente sulle due popolazioni, con suddivisione subject-wise e validazione Monte Carlo. Le prestazioni sono state valutate con metriche di errore (RMS) e di concordanza (CMC), seguite da un confronto statistico. È stata infine condotta un'analisi di sensitività al rumore gaussiano sui marker, insieme a un test di risposta a puro rumore. Nessuna architettura risulta sistematicamente superiore rispetto alle altre. Nei soggetti sani la ST-GCN fornisce risultati migliori per IK e per i momenti di anca e ginocchio, mentre nei soggetti con Parkinson il vantaggio si riduce e, al ginocchio, le TCN risultano performare meglio. Per le GRF le tre reti sono sostanzialmente equivalenti (CMC della componente verticale 0.98–0.99). Per la SO le differenze emergono a livello di singolo muscolo, con la TCN-paper-like più favorevole nei controlli. Le prestazioni restano stabili per rumore applicato ai marker fino a 5 mm. I risultati hanno rivelato che la scelta della rete neurale da utilizzare dipende fortemente dal task e dalla popolazione di interesse. È stata dimostrata la fattibilità dell'approccio intrapreso, che fornisce una base per un futuro sviluppo verso sistemi ecologici per l’analisi del cammino.
Markerless
Deep Learning
Movement Analysis
Neurorehabilitation
STGCN
File in questo prodotto:
File Dimensione Formato  
Vianello_Lucilla.pdf

embargo fino al 04/10/2029

Dimensione 11.81 MB
Formato Adobe PDF
11.81 MB Adobe PDF

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/116120