World Model Improvement of a Simulated Humanoid Robot

This dissertation focuses on enhancing the FCPortugal team, a RoboCup 3D Soccer Simulation League participant, by predicting ball movement. All experiments in this work were performed within the league environment, where simulated humanoid robots compete in virtual soccer matches. This research's objective is to apply machine learning techniques to address the challenge of ball trajectory prediction. To achieve this, a two-step approach was adopted. Initially, a physical model of the ball system was developed. This model calculates the ball's trajectory, determining key points such as bounce locations and where the ball eventually stops. This step served as a foundational understanding of the physics governing ball movement within the simulation environment. Subsequently, a supervised machine learning approach was employed to refine the prediction capabilities further. Using neural networks, a ball position estimator was designed to predict the ball's trajectory with high precision, leveraging data generated from the physical model as well as real-world simulation data. The proposed estimator was rigorously tested and evaluated against the previous version, demonstrating significantly superior results. This achievement not only improves the FCPortugal team's performance but also lays the groundwork for a variety of advanced strategies and behaviors in the RoboCup 3D Soccer Simulation League.

Questa tesi si concentra sul miglioramento della squadra FCPortugal, partecipante alla RoboCup 3D Soccer Simulation League, prevedendo il movimento della palla. Tutti gli esperimenti condotti durante questo lavoro sono stati effettuati all'interno dell'ambiente di lega, che prevede partite di calcio virtuale giocate da robot umanoidi simulati. Obiettivo della ricerca è l'applicazione di tecniche di apprendimento automatico per affrontare il problema di previsione della traiettoria della palla. Per fare questo, è stato adottato un approccio in due fasi. Inizialmente è stato sviluppato un modello fisico del sistema. Questo modello calcola la traiettoria della palla, determinando punti chiave come i punti di rimbalzo e dove la palla si ferma. Questo passo ha fornito una comprensione fondamentale della fisica che governa il movimento nell'ambiente di simulazione. Successivamente, è stato impiegato un approccio di reinforcement learning supervisionato per perfezionare ulteriormente le capacità di previsione. Utilizzando reti neurali, è stato progettato uno strumento di stima della posizione delle sfere per prevedere la traiettoria della palla con elevata precisione, sfruttando i dati generati dal modello fisico e i dati di simulazione del mondo reale. Lo stimatore proposto è stato rigorosamente testato e valutato rispetto alla versione precedente, dimostrando prestazioni significativamente superiori. Questo risultato non solo migliora le prestazioni del team FCPortugal, ma pone anche le basi per una varietà di strategie e comportamenti avanzati nella RoboCup 3D Soccer Simulation League.