Reinforcement Learning for Robotic Manipulation Using NVIDIA Isaac Lab

Reinforcement Learning è un paradigma di machine learning in cui un agente apprende politiche di controllo attraverso l’interazione diretta con l’ambiente, con l’obiettivo di completare una task predefinita e migliorare nel tempo il proprio processo decisionale. Nelle applicazioni robotiche, il reinforcement learning è sempre più adottato per consentire ai sistemi autonomi di apprendere politiche di controllo efficaci che permettono loro di acquisire comportamenti complessi senza regole esplicitamente programmate. Addestrare e testare politiche di controllo basate sull’apprendimento direttamente su robot reali risulta spesso difficile e complesso. Per questo motivo, i simulatori sono ampiamente utilizzati in robotica, poiché permettono di eseguire esperimenti in modo sicuro, controllato e riproducibile. Questa tesi si concentra sullo sviluppo e sulla valutazione di politiche di reinforcement learning per la manipolazione robotica sulla base di ambienti di simulazione. Tutti gli esperimenti sono condotti utilizzando NVIDIA Isaac Lab, che fornisce ambienti in grado di permettere l’addestramento e la valutazione delle politiche interamente in simulazione, prima del loro trasferimento su robot reali. Il lavoro mira a presentare lo sviluppo di pipeline di reinforcement learning per diverse task in Isaac Lab. La tesi supporta molteplici strutture di apprendimento, con particolare attenzione all’approccio gerarchico. I workflow proposti sono stati estesi per supportare sia scenari a singolo agente sia a multi-agente, con l’obiettivo principale di addestrare politiche compatibili con il trasferimento dalla simulazione al mondo reale (sim-to-real transfer).

Reinforcement learning is a machine learning paradigm in which an agent learns control policies through direct interaction with an environment, with the goal of accomplishing a task and improving its decision-making over time. In robotics applications, reinforcement learning is increasingly adopted to enable autonomous systems to learn effective control policies that allow them to acquire complex behaviors without explicitly programmed rules. Training and testing learning based control policies directly on real robots is often diffcult and challenging. For this reason, simulators are widely used in robotics research, thanks to the fact that they allow experiments to be performed safely, and in a controlled and reproducible way. This thesis focuses on the development and evaluation of reinforcement learning policies for robotic manipulation using simulated environments. All experiments are conducted using NVIDIA Isaac Lab, which provides vectorized environments that enable policies to be trained and evaluated entirely in simulation before being deployed on real robots. This work presents a reinforcement learning pipeline for different tasks within Isaac Lab. It supports multiple learning structures with a particular focus on the hierarchical. The proposed workflows are extended to support both single-agent and multi-agent scenarios, with the main objective of training policies suitable for sim-to-real transfer.