SLAM RGB-D Multi-Agente per Esoscheletri Robotici

Wearable robotic exoskeletons require real time 3D environmental perception for safe movement and shared autonomy. While using a single camera for mapping is common, using multiple independent cameras on a wearable platform, such as one on the head and one on the exoskeleton, allows for more complete 3D reconstructions. However, this approach introduces technical challenges, particularly in continuously aligning the cameras, handling moving objects in the environment, and merging the visual data together in real time. This thesis presents a software system designed to address these multi camera challenges. The proposed solution processes depth sensor data, automatically removes dynamic objects from the camera feeds to prevent mapping errors, and performs independent visual tracking for each camera. A core focus of the work is a hybrid calibration method that continuously calculates the physical relationship between the cameras on the fly by combining traditional and machine learning based image matching techniques. Finally, the system merges the depth data from all cameras into a single, comprehensive 3D map. The research demonstrates that this combined approach to camera alignment and data fusion provides a reliable foundation for real time mapping on wearable robotic platforms.

Gli esoscheletri robotici indossabili richiedono una percezione ambientale 3D in tempo reale per un movimento sicuro e un'autonomia condivisa. Mentre l'uso di una singola telecamera per la mappatura è comune, l'utilizzo di più telecamere indipendenti su una piattaforma indossabile, come una sulla testa e una sull'esoscheletro, consente ricostruzioni 3D più complete. Tuttavia, questo approccio introduce sfide tecniche, in particolare nell'allineamento continuo delle telecamere, nella gestione degli oggetti in movimento nell'ambiente e nell'unione dei dati visivi in tempo reale. Questa tesi presenta un sistema software progettato per affrontare queste sfide multi telecamera. La soluzione proposta elabora i dati dei sensori di profondità, rimuove automaticamente gli oggetti dinamici dai flussi delle telecamere per prevenire errori di mappatura ed esegue un tracciamento visivo indipendente per ciascuna telecamera. Un punto focale del lavoro è un metodo di calibrazione ibrido che calcola continuamente e dinamicamente la relazione fisica tra le telecamere, combinando tecniche di corrispondenza delle immagini tradizionali e basate sull'apprendimento automatico. Infine, il sistema unisce i dati di profondità di tutte le telecamere in un'unica e completa mappa 3D. La ricerca dimostra che questo approccio combinato all'allineamento delle telecamere e alla fusione dei dati fornisce una base affidabile per la mappatura in tempo reale su piattaforme robotiche indossabili.