Interfacce di realtà aumentata per la Human–Robot Collaboration: sviluppo di un framework di streaming sensoriale basato su ROS2 e validazione tramite algoritmi di SLAM

In recent years, Human-Robot Collaboration (HRC) has taken on a central role in Industry 4.0 and collaborative robotics, demanding communication channels that are increasingly bidirectional, intuitive, and efficient. In this context, Augmented Reality (AR) presents itself as a fundamental enabling technology, capable of both displaying information to the operator and gathering spatial data about the surrounding environment. This thesis presents the development of a sensor streaming framework that connects the Magic Leap 2 AR headset with the ROS 2 (Robot Operating System) ecosystem. Using the Unity development environment and the ROSTCP-Connector package, an on-board application for the headset was developed, capable of acquiring real-time data from the integrated sensors (pose tracking, cameras, and environmental sensors) and publishing it to dedicated ROS 2 topics. In order to test the accuracy, latency, and robustness of the generated data stream, the framework was validated using SLAM (Simultaneous Localization and Mapping) algorithms known in the literature. The experimental results demonstrate that the proposed architecture ensures stable data transmission, laying the groundwork for safe real-time interaction and shared spatial awareness, and opening up new perspectives for the control and supervision of robotic systems in complex HRC scenarios.

Negli ultimi anni, la Collaborazione Umano-Robot (Human-Robot Collaboration - HRC) ha assunto un ruolo centrale nell’industria 4.0 e nella robotica collaborativa, richiedendo canali di comunicazione sempre più bidirezionali, intuitivi ed efficienti. In questo contesto, la Realtà Aumentata (Augmented Reality, AR) si propone come una tecnologia abilitante fondamentale, capace sia di mostrare informazioni all’operatore sia di raccogliere dati spaziali sull’ambiente circostante. Questo lavoro di tesi presenta lo sviluppo di un framework di streaming sensoriale che mette in comunicazione il visore AR Magic Leap 2 con l’ecosistema ROS 2 (Robot Operating System). Sfruttando l’ambiente di sviluppo Unity e il pacchetto ROS-TCP-Connector, è stata realizzata un’applicazione a bordo del visore in grado di acquisire in tempo reale i dati provenienti dai sensori integrati (pose tracking, telecamere e sensori d’ambiente) e di pubblicarli su appositi topic ROS 2. Al fine di testare l’accuratezza, la latenza e la robustezza del flusso dati generato, il framework è stato validato attraverso l’utilizzo di algoritmi di SLAM (Simultaneous Localization and Mapping) noti in letteratura. I risultati sperimentali dimostrano che l’architettura proposta garantisce una trasmissione dati stabile ponendo le basi per un’interazione sicura in tempo reale e una consapevolezza spaziale condivisa e aprendo nuove prospettive per il controllo e la supervisione dei sistemi robotici in scenari di HRC complessi.