Sistema di Mixed Reality per la teleoperazione di robot industriali

This work describes the development of a Mixed Reality application for visualizing and controlling a 6-axis industrial manipulator robot using an advanced mixed reality headset (Meta Quest 3). The system integrates MATLAB (version R2025b), which handles application logic and kinematics, with Unity (version 6000.0.40f1), which manages rendering and headset interaction. Built upon a pre-existing project, the system implements a complete Mixed Reality pick-and-place cycle featuring trajectory visualization, collision detection based on Swept Sphere Volume versus box analysis (the latter being geometrically less complex), real-time visual feedback via obstacle color-coding, manual control in "pendant mode," and integration with the Omron ACE system (version 3.7.3.250) to simultaneously replicate movements on the actual robot. The TCP/IP protocol was extended with dedicated commands and made robust by resolving synchronization issues encountered during real-world system development, enabling continuous operation without the need for restarts between successive runs. Development followed an iterative approach, verifying each function directly on the complete physical system before proceeding to the next stage. The result is an extensible platform that serves as a solid foundation for supervising and programming robotic cells in real industrial environments.

Il presente lavoro descrive lo sviluppo di un’applicazione di Mixed Reality per la visualizzazione e il controllo di un robot manipolatore industriale a 6 assi attraverso un visore di realtà mista avanzata, modello Meta Quest 3. Il sistema integra MATLAB (versione R2025b), che gestisce la logica applicativa e la cinematica, con Unity (versione 6000.0.40f1), responsabile del rendering e dell’interazione con il visore. Il sistema, sviluppato a partire da un progetto preesistente, implementa un ciclo completo di pick and place in Mixed Reality con visualizzazione della traiettoria, collision detection basata sull’analisi tra Swept Sphere Volume e box (quest’ultime geometricamente meno complesse), feedback visivo in tempo reale tramite colorazione degli ostacoli, controllo manuale in pendant mode e integrazione con il sistema Omron ACE (versione 3.7.3.250) per la replica simultanea dei movimenti sul robot reale. Il protocollo TCP/IP è stato esteso con nuovi comandi dedicati e reso robusto anche attraverso la risoluzione di problematiche di sincronizzazione emerse durante lo sviluppo su sistema reale, rendendo il sistema utilizzabile in modo continuativo senza necessità di riavvio tra esecuzioni successive. Lo sviluppo ha seguito un approccio iterativo, verificando ogni funzionalità direttamente sul sistema fisico completo prima di procedere con lo step successivo. Il risultato è una piattaforma estendibile che costituisce una base concreta per applicazioni di supervisione e programmazione di celle robotizzate in contesti industriali reali.