Embedded Real-Time Computer Vision for Human-Computer Interaction: Integrating Multi-Object Tracking, Active 3D Reconstruction, and Hand Pose Estimation

This thesis explores the development of an embedded, real-time Computer Vision architecture designed to enable natural Human-Computer Interaction (HCI) within an industrial environment. Conducted in collaboration with Unox S.p.A., the research aims to develop a prototype capable of performing Multi-Object Tracking (MOT), extracting physical measurements of objects through active 3D Reconstruction, and executing markerless Hand Pose Estimation (HPE). Due to a Non-Disclosure Agreement (NDA) with the company, the thesis omits some technical details. The primary challenge was to deploy all these tasks simultaneously alongside a pre-existing Object Detection network that nearly saturated the embedded GPU. Furthermore, the development had to adhere to deterministic metrological requirements and employ software libraries free from strict copyleft restrictions. To address these constraints, highly optimized and modular methodologies were implemented. The MOT pipeline adopts a Tracking-by-Detection paradigm, projecting detections into a global World Coordinate System. By utilizing Kalman filtering coupled with a custom greedy association algorithm, the system efficiently resolves spatial conflicts without relying on heavy secondary neural networks. For 3D Reconstruction, a scalable multi-camera stereoscopic network coupled with a Gray Code structured light projector was developed. This active approach effectively bypasses the matching limitations of textureless industrial objects, utilizing linear triangulation to ensure highly accurate volumetric estimations. Finally, the HPE module enables robust gesture recognition by leveraging MediaPipe's discriminative models, accelerated on the embedded GPU. This module is further augmented with a custom stereoscopic matching algorithm and a dynamic monocular fallback mechanism to maintain uninterrupted HCI. Quantitative evaluations confirm that the modular software successfully achieved the project's original objectives. The custom MOT algorithm proved to be accurate and robust for the target industrial scenario, maintaining real-time performance when executed in isolation. Similarly, the 3D Reconstruction ensures sub-centimeter precision, while the HPE module delivers precise stereoscopic tracking, achieving low computational latency when executed independently. However, stress-testing the simultaneous execution of all modules revealed that combining the tasks physically saturates the embedded hardware, pushing the end-to-end latency beyond the 100 ms threshold required for fluid HCI. Although this saturation affects real-time execution, the software architecture maintains its robustness and accuracy, operating effectively despite the physical limits of the embedded platform. To overcome these concurrent execution bottlenecks and guarantee uncompromised real-time performance, future work should focus on exploring alternative algorithmic trade-offs or selecting higher-tier hardware platforms.

Questa tesi presenta lo sviluppo di un'architettura di Computer Vision embedded e real-time, progettata per consentire una Human-Computer Interaction (HCI) naturale all'interno di un ambiente industriale. Condotta in collaborazione con Unox S.p.A., la ricerca mira a sviluppare un prototipo capace di eseguire il Multi-Object Tracking (MOT), estrarre misurazioni fisiche degli oggetti tramite la 3D Reconstruction attiva e implementare la Hand Pose Estimation (HPE) markerless. A causa di un accordo di Non Divulgazione (NDA) stipulato con l'azienda, l'elaborato omette alcuni dettagli tecnici. La sfida principale consisteva nell'integrare tutti questi task simultaneamente, a fianco di una rete preesistente di Object Detection che saturava quasi completamente la GPU embedded. Inoltre, lo sviluppo ha dovuto aderire a requisiti metrologici deterministici e impiegare librerie software prive di restrizioni copyleft rigide. Per far fronte a questi vincoli, sono state implementate metodologie altamente ottimizzate e modulari. La pipeline per il MOT adotta un paradigma Tracking-by-Detection, proiettando i rilevamenti in un sistema di coordinate globale (World Coordinate System). Utilizzando il filtraggio di Kalman abbinato a un algoritmo di associazione greedy custom, il sistema risolve in modo efficiente i conflitti spaziali senza fare affidamento su pesanti reti neurali secondarie. Per la 3D Reconstruction, è stata sviluppata una rete stereoscopica multi-camera scalabile abbinata a un proiettore che fa uso del Gray Code come tecnica di luce strutturata. Questo approccio attivo aggira efficacemente i limiti di corrispondenza degli oggetti industriali senza texture, utilizzando la triangolazione lineare per garantire stime volumetriche altamente accurate. Infine, il modulo HPE consente un solido riconoscimento dei gesti sfruttando i modelli discriminativi di MediaPipe, accelerati sulla GPU embedded. Questo modulo viene poi integrato da un algoritmo custom di matching stereoscopico e da un meccanismo dinamico di fallback monoculare per mantenere la HCI ininterrotta. Le valutazioni quantitative confermano che il software modulare ha raggiunto con successo gli obiettivi originali del progetto. L'algoritmo MOT custom ha dimostrato di essere accurato e robusto per lo scenario industriale di riferimento, mantenendo prestazioni in tempo reale quando eseguito in isolamento. Allo stesso modo, la 3D Reconstruction garantisce una precisione sub-centimetrica, mentre il modulo HPE offre un tracciamento stereoscopico preciso, ottenendo una bassa latenza computazionale quando eseguito in modo indipendente. Tuttavia, lo stress-test dell'esecuzione simultanea di tutti i moduli ha rivelato che la combinazione dei task satura fisicamente l'hardware embedded, spingendo la latenza end-to-end oltre la soglia di 100 ms necessaria per una HCI fluida. Sebbene questa saturazione influisca sull'esecuzione in tempo reale, l'architettura software mantiene la sua robustezza e accuratezza, operando efficacemente nonostante i limiti fisici della piattaforma embedded. Per superare questi colli di bottiglia dell'esecuzione concorrente e garantire prestazioni in tempo reale senza compromessi, i lavori futuri dovrebbero concentrarsi sull'esplorazione di trade-off algoritmici alternativi o sulla selezione di piattaforme hardware superiori.