Leveraging Ground Penetrating Radar with Deep Reinforcement Learning for Subsurface-Informed Navigation in Autonomous Agricultural Robotics

Reinforcement Learning (RL), driven by advances in Deep Learning, has recently achieved remarkable success in solving complex decision-making problems across a wide range of domains, such as robotics, autonomous driving, and large-scale language modeling. These systems can now perform high-level reasoning, perception-action coordination, and long-horizon planning directly from raw sensory data. From robotic arms mastering dexterous manipulation, to autonomous vehicles navigating complex environments, to conversational agents that understand and generate human-like language, modern RL systems are now solving challenges once thought out of reach. Among emerging domains, precision agriculture presents a promising opportunity for intelligent robotic systems. Despite its potential, this field has seen limited exploration of Deep RL. However, as challenges related to water scarcity, food security, and sustainability intensify, the need for intelligent, adaptive systems in agriculture becomes increasingly critical. Robotic systems equipped with advanced sensing and learning capabilities holds the promise of revolutionizing the way soil and crop conditions are monitored and managed. This thesis addresses this gap by proposing novel reinforcement learning frameworks for autonomous navigation in agricultural environments, driven also by subsurface field conditions. Specifically, Ground Penetrating Radar (GPR) is used as the primary sensing modality to enable both soil monitoring and environment-aware decision-making. The project begins with the acquisition and processing of real GPR data, which are compressed into structured latent representations using custom convolutional autoencoders. These compact encodings serves as observation inputs for the RL agents which operate in simulation environments built on the Gymnasium framework. Both discrete and continuous space-action spaces are explored under varying environmental complexities. Within these custom environments, agents are trained for goal-directed navigation while adapting to varying subsurface conditions. Experimental results demonstrate that the agents learn effective policies that leverage subsurface information for informed navigation. This work provides a novel integration of deep RL and geophysical sensing for agricultural robotics, offering scalable solutions for autonomous soil monitoring and subsurface-aware navigation in agriculture and contributing a foundation for next-generation agricultural systems.

Reinforcement Learning (RL), spinto dai progressi nel campo del Deep Learning, ha recentemente ottenuto importanti risultati nella risoluzione di problemi complessi di decision-making in domini come robotica, guida autonoma e modelli linguistici di grandi dimensioni. Oggi questi sistemi sono capaci di eseguire diverse funzioni avanzate, come ragionamento complesso, coordinazione percezione-azione e pianificazione a lungo termine a partire da dati sensoriali grezzi, affrontando sfide prima considerate irraggiungibili. Tra i vari settori, l'agricoltura di precisione offre un'opportunità promettente per i sistemi robotici intelligenti, ma l'uso del Deep RL in questo ambito è ancora limitato. Con l'aumento delle sfide legate a scarsità d'acqua, sicurezza alimentare e sostenbilità, cresce la necessità di soluzioni adattive. Robot dotati di sensori avanzati e capacità di apprendimento possono rivoluzionare il monitoraggio e la gestione del suolo e delle colture. Questa tesi affronta tale lacuna, proponendo nuovi framework di Reinforcement Learning per la navigazione autonoma in ambienti agricoli, integrando le condizioni del sottosuolo nel processo decisionale. In particolare, il Ground Penetrating Radar (GPR) è utilizzato come sensore primario per il monitoraggio del suolo, i cui dati acquisiti sono stati compressi in rappresentazioni latenti tramite convolutional autoencoders. Queste rappresentazioni compatte costituiscono poi l'input per gli agenti RL, addestrati in ambienti di simulazione basati sui framework di Gymnasium, con scenari a complessità crescente, sia discreti sia continui. La pipeline di addestramento utilizza algoritmi allo stato dell'arte come Proximal Policy Optimization e Soft Actor-Critic, permettendo agli agenti di apprendere policy efficaci per la navigazione adattiva alle variabili condizioni sotterranee. I risultati sperimentali mostrano che gli agenti apprendono policy efficaci sfruttando le informazioni del sottosuolo per una navigazione più consapevole. L'integrazione tra Deep RL e GPR fornisce soluzioni scalabili per il monitoraggio autonomo del suolo e pone le basi per sistemi agricoli di nuova generazione, capaci di esplorazione non distruttiva e processi decisionali a lungo termine basati sui dati raccolti.