Deep Reinforcement Learning for Autonomous Vehicle Control at Intersection

This thesis presents a control strategy for autonomous intersection navigation in the context of the Duckietown platform, an educational and research environment designed for studying autonomous driving with low-cost, small-scale robots. The proposed system is developed and evaluated within the Gym-Duckietown simulation environment, with the objective of enabling transferability to the real-world Duckietown setup. The control architecture combines a geometric path-tracking algorithm, based on the Pure Pursuit method, with an agent trained with Deep Reinforcement Learning (Deep-RL) that dynamically adjusts the robot's velocity to ensure safe and efficient traversal through intersections. Specifically, the RL component relies on the Twin Delayed Deep Deterministic Policy Gradient algorithm (TD3) . While the Pure Pursuit controller is responsible for steering the robot along a predefined path, the RL component learns a policy to modulate speed based on the surrounding environment. A key contribution of this work is the extension of the simulation framework to support a multi-robot setting, allowing for the development and testing of interaction-aware behaviors in more realistic traffic scenarios. The system is trained to handle realistic intersection scenarios involving dynamic obstacles, specifically other robots that may take random turns at the crossroad. Experimental results demonstrate that the agent is capable of navigating intersections safely while avoiding collisions with moving obstacles, highlighting the effectiveness of combining traditional control methods with learning-based decision-making in autonomous robotic systems.

Questa tesi presenta una strategia di controllo di veicoli a guida autonoma per la gestione dell’attraversamento degli incroci nel contesto della piattaforma Duckietown, un ambiente educativo e di ricerca sviluppato per lo studio della guida autonoma con robot in scala ridotta e a basso costo. Il sistema proposto è sviluppato e valutato all’interno dell’ambiente di simulazione Gym-Duckietown, con l’obiettivo di consentire la trasferibilità alla configurazione reale di Duckietown. L’architettura di controllo combina un algoritmo geometrico di inseguimento del percorso, basato sul metodo Pure Pursuit, con un agente addestrato tramite Deep Reinforcement Learning (Deep-RL), che regola dinamicamente la velocità del robot per garantire un attraversamento sicuro ed efficiente degli incroci. In particolare, la componente RL si basa sull’algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3). Mentre il controllore Pure Pursuit è responsabile del mantenimento della traiettoria prestabilita, la componente RL apprende una policy per modulare la velocità in base all’ambiente circostante. Un contributo chiave di questo lavoro è l’estensione del framework di simulazione per supportare uno scenario multi-robot, consentendo lo sviluppo e il collaudo di comportamenti “interaction-aware” in contesti di traffico più realistici. Il sistema è addestrato per gestire scenari realistici di incrocio con ostacoli dinamici, in particolare altri robot che possono svoltare casualmente all’incrocio. I risultati sperimentali dimostrano che l’agente è in grado di navigare gli incroci in sicurezza evitando collisioni con ostacoli in movimento, evidenziando l’efficacia della combinazione tra metodi di controllo tradizionali e processi decisionali basati sull’apprendimento nei sistemi robotici autonomi.