Development of a Machine learning driven predictive model for foot strike detection: from video sequences to Ground reaction forces prediction in ecological environments.

The primary goal of this research is to develop computational methods for on-the-field biomechanical analysis, moving beyond the logistical and equipment constraints of traditional motion capture laboratories. The core methodology of the thesis involves designing, training, and validating an advanced classifier for the temporal segmentation of anatomical landmark trajectories. Specifically, it focuses on identifying ground contact events (Foot Strike and Toe Off) using anatomical landmark trajectories extracted by means of markerless motion capture techniques. Accurately isolating the stance and flight phases is a critical step for any subsequent kinetic analysis in real-world environments. The main methodological challenge lies in bridging the domain gap between marker-based optoelectronic systems, which provide high-frequency, clean signals, and outdoor video recordings captured with commercial cameras. To address this challenge and build a robust validation framework, an extensive on-the-field data acquisition campaign was conducted during an internship program in collaboration with BBSoF S.r.l. The experimental dataset involved 60 semi-professional rugby players performing highly dynamic, sport-specific tasks (including drop landings and cutting maneuvers) across different sports academies. Kinematic data were acquired using a synchronized multi-camera markerless setup, while sensorised baropodometric insoles were employed to obtain a reliable kinetic ground truth in the absence of force plates. The raw data were then processed by integrating BBSoF’s proprietary TrackOnField software and the Pose2Sim framework to accurately reconstruct 3D kinematics in ecological conditions. Leveraging this ecological dataset (Target Domain), we adopted a Supervised Machine Learning approach, implementing a Random Forest architecture to learn the non-linear relationships between joint kinematics and ground contact states. Our experimental strategy involved initial training on high-fidelity lab data (Source Domain), followed by a Domain Adaptation process. This step was essential to make the model resilient to the spatial noise typically associated with Pose Estimation. The developed algorithm proved highly capable of processing noisy signals to extract reliable temporal patterns, acting as an independent, foundational module for automating gait event detection. Alongside the event detector, a second phase of the research focused on the continuous estimation of 3D Ground Reaction Forces (GRF). In this context, we analyzed a spatiotemporal regression architecture (ST-GCN) previously developed by our research group. The specific contribution of this thesis involves an extensive evaluation phase and the formulation of a hybrid training strategy, termed Mixed Domain. By combining optoelectronic data and markerless recordings in the same training set, we tested the network's robustness across a wide range of motor tasks, including walking, squats, jumps, and changes of direction. This combined approach forced architecture to encode the intrinsic physical constraints of movement, confirming the feasibility of a complete and scalable pipeline for predictive outdoor biomechanics.

L'obiettivo principale di questa ricerca è sviluppare metodi computazionali per l'analisi biomeccanica sul campo (on-the-field), superando i vincoli logistici e di strumentazione dei tradizionali laboratori di motion capture. La metodologia centrale della tesi prevede la progettazione, l'addestramento e la validazione di un classificatore avanzato per la segmentazione temporale delle traiettorie dei repere anatomici (anatomical landmarks). Nello specifico, lo studio si concentra sull'identificazione degli eventi di contatto al suolo (Foot Strike e Toe Off) utilizzando traiettorie cinematiche estratte tramite tecniche di motion capture markerless. Isolare accuratamente le fasi di appoggio (stance) e di volo (flight) rappresenta un passaggio critico per qualsiasi successiva analisi cinetica in ambienti reali. La principale sfida metodologica risiede nel colmare il disallineamento di dominio (domain gap) tra i sistemi optoelettronici basati su marker, che forniscono segnali puliti e ad alta frequenza, e le registrazioni video outdoor acquisite con telecamere commerciali. Per affrontare questa sfida e costruire un solido framework di validazione, è stata condotta un'estesa campagna di acquisizione dati sul campo durante un programma di tirocinio in collaborazione con BBSoF S.r.l. Il dataset sperimentale ha coinvolto 60 giocatori di rugby semi-professionisti impegnati nell'esecuzione di task altamente dinamici e sport-specifici (inclusi atterraggi da salto e cambi di direzione) presso diverse accademie sportive. I dati cinematici sono stati acquisiti utilizzando un setup markerless multi-camera sincronizzato, mentre sono state impiegate solette baropodometriche sensorizzate per ottenere un ground truth cinetico affidabile in assenza di pedane di forza. I dati grezzi sono stati successivamente processati integrando il software proprietario TrackOnField di BBSoF e il framework Pose2Sim per ricostruire accuratamente la cinematica 3D in condizioni ecologiche. Sfruttando questo dataset ecologico (Target Domain), è stato adottato un approccio di Machine Learning Supervisionato, implementando un'architettura Random Forest per apprendere le relazioni non lineari tra la cinematica articolare e gli stati di contatto al suolo. La strategia sperimentale ha previsto un addestramento iniziale su dati di laboratorio ad alta fedeltà (Source Domain), seguito da un processo di Adattamento di Dominio (Domain Adaptation). Questo passaggio si è rivelato essenziale per rendere il modello resiliente al rumore spaziale tipicamente associato alla Pose Estimation. L'algoritmo sviluppato si è dimostrato altamente capace di processare segnali rumorosi per estrarre pattern temporali affidabili, fungendo da modulo fondazionale e indipendente per l'automazione del rilevamento degli eventi del passo (gait event detection). Parallelamente al rilevatore di eventi, una seconda fase della ricerca si è concentrata sulla stima continua delle Forze di Reazione al Suolo (GRF) 3D. In questo contesto, è stata analizzata un'architettura di regressione spazio-temporale (ST-GCN) precedentemente sviluppata dal nostro gruppo di ricerca. Il contributo specifico di questa tesi riguarda un'estesa fase di valutazione e la formulazione di una strategia di addestramento ibrida, denominata Mixed Domain. Combinando dati optoelettronici e registrazioni markerless nel medesimo set di addestramento, è stata testata la robustezza della rete su un'ampia gamma di compiti motori, tra cui cammino, squat, salti e cambi di direzione. Questo approccio combinato ha costretto l'architettura a codificare i vincoli fisici intrinseci del movimento, confermando la fattibilità di una pipeline completa e scalabile per la biomeccanica predittiva in ambiente outdoor.