This thesis describes the development and validation of a bidirectional communication system between the Magic Leap augmented reality headset and the ROS 2 (Robot Operating System) ecosystem, aimed at optimizing Human-Robot Collaboration (HRC). The primary objective is to overcome the limitations of traditional static interfaces by enabling dynamic, real-time data exchange. Through the headset, the system captures and transmits video streams, images, and sensory data directly to the ROS 2 nodes responsible for robot control. Simultaneously, the reverse data flow allows crucial information regarding the robot's status and planned trajectories to be projected into the operator's field of view. The implemented software architecture ensures low-latency, high-reliability communication, as demonstrated by the results of the experimental validation.

Il presente lavoro di tesi descrive lo sviluppo e la validazione di un sistema di comunicazione bidirezionale tra il visore di realtà aumentata Magic Leap e l'ecosistema ROS 2 (Robot Operating System), mirato a ottimizzare la Human-Robot Collaboration (HRC). L'obiettivo principale è superare i limiti delle tradizionali interfacce statiche, abilitando uno scambio dati dinamico e in tempo reale. Attraverso il visore, il sistema è in grado di acquisire e inviare flussi video, immagini e dati sensoriali direttamente ai nodi ROS 2 preposti al controllo robotico. Al contempo, il flusso informativo inverso permette di proiettare nello spazio visivo dell'operatore informazioni cruciali sullo stato del robot e sulle traiettorie pianificate. L'architettura software realizzata garantisce una comunicazione a bassa latenza e ad alta affidabilità. L'architettura software realizzata garantisce una comunicazione a bassa latenza e ad alta affidabilità, come evidenziato dai risultati della validazione sperimentale.

Interfacce di realtà aumentata per la Human-Robot Collaboration: sviluppo e validazione di un sistema bidirezionale basato su ROS 2

COMPAGNO, FEDERICO
2025/2026

Abstract

This thesis describes the development and validation of a bidirectional communication system between the Magic Leap augmented reality headset and the ROS 2 (Robot Operating System) ecosystem, aimed at optimizing Human-Robot Collaboration (HRC). The primary objective is to overcome the limitations of traditional static interfaces by enabling dynamic, real-time data exchange. Through the headset, the system captures and transmits video streams, images, and sensory data directly to the ROS 2 nodes responsible for robot control. Simultaneously, the reverse data flow allows crucial information regarding the robot's status and planned trajectories to be projected into the operator's field of view. The implemented software architecture ensures low-latency, high-reliability communication, as demonstrated by the results of the experimental validation.
2025
Augmented reality interfaces for Human-Robot Collaboration: development and validation of a bidirectional system based on ROS 2
Il presente lavoro di tesi descrive lo sviluppo e la validazione di un sistema di comunicazione bidirezionale tra il visore di realtà aumentata Magic Leap e l'ecosistema ROS 2 (Robot Operating System), mirato a ottimizzare la Human-Robot Collaboration (HRC). L'obiettivo principale è superare i limiti delle tradizionali interfacce statiche, abilitando uno scambio dati dinamico e in tempo reale. Attraverso il visore, il sistema è in grado di acquisire e inviare flussi video, immagini e dati sensoriali direttamente ai nodi ROS 2 preposti al controllo robotico. Al contempo, il flusso informativo inverso permette di proiettare nello spazio visivo dell'operatore informazioni cruciali sullo stato del robot e sulle traiettorie pianificate. L'architettura software realizzata garantisce una comunicazione a bassa latenza e ad alta affidabilità. L'architettura software realizzata garantisce una comunicazione a bassa latenza e ad alta affidabilità, come evidenziato dai risultati della validazione sperimentale.
Computer Vision
Realtà aumentata
ROS 2
Umano - macchina
Unity
File in questo prodotto:
File Dimensione Formato  
Compagno_Federico.pdf

accesso aperto

Dimensione 2.38 MB
Formato Adobe PDF
2.38 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/114197