A Learning-Based Framework for Quadrotor Modeling and Control

This work focuses on the study of controlling complex systems, such as quadrotors, through machine learning techniques. Specifically, it explores the implementation of the Model-Based Reinforcement Learning (MBRL) algorithm known as Monte Carlo Probabilistic Inference for Learning and COntrol (MC-PILCO), an extension of the PILCO algorithm, which leverages Gaussian Process Regression (GPR) to accurately learn the dynamics of the quadrotor and investigates its potential applications in flight control. The context of the research concerns the need to develop effective and flexible control methods for quadrotors, which must confront complex dynamics, model uncertainties, and operating environment uncertainties. In this respect, MC-PILCO, which relies on GPR, emerges as a promising technique for learning the system's dynamics. The research involved studying the equations of quadrotor dynamics and using them to simulate the learning environment. The GPR model, used within the MC-PILCO algorithm, was trained using an RBF kernel and a speed integration model. Furthermore, the use of the Subset of Data method to approximate the GPR model was investigated, analyzing the effect of reducing the number of data points on prediction accuracy. Experimental results, in simulated environments, show that the GPR model improves with an increase in data and that the Subset of Data method provides acceptable results within a certain degree of approximation. The effectiveness of MC-PILCO was demonstrated by comparing its control results with those of other existing traditional controllers, showing substantial improvements. This demonstrates that the proposed MC-PILCO approach, which incorporates GPR, represents a valid alternative to the currently available simulation and control methods for quadrotors, paving the way for future research in this area.

Questo elaborato si concentra sullo studio del controllo di sistemi complessi, come i quadrotor, attraverso l'uso di tecniche di apprendimento automatico. In particolare, viene esplorata l'implementazione dell'algoritmo di Model-Based Reinforcement Learning (MBRL) chiamato Monte Carlo Probabilistic Inference for Learning and COntrol (MC-PILCO), un'estensione dell'algoritmo PILCO, che sfrutta la Regressione del Processo Gaussiano (GPR) per apprendere accuratamente la dinamica del quadrotor e indagare le sue potenziali applicazioni nel controllo del volo. Il contesto della ricerca riguarda la necessità di sviluppare metodi di controllo efficaci e flessibili per i quadrotor, i quali devono affrontare dinamiche complesse, incertezze del modello e incertezze dell'ambiente operativo. A questo proposito, MC-PILCO, che si basa su GPR, emerge come una tecnica promettente per apprendere la dinamica del sistema. La ricerca ha comportato lo studio delle equazioni di dinamica del quadrotor e il loro utilizzo per simulare l'ambiente di apprendimento. Il modello GPR, utilizzato all'interno dell'algoritmo MC-PILCO, è stato addestrato utilizzando un kernel RBF e un modello di integrazione della velocità. Inoltre, è stata esaminata l'uso del metodo Subset of Data per approssimare il modello GPR, analizzando l'effetto della riduzione del numero di punti dati sulla precisione della previsione. I risultati sperimentali, in ambienti simulati, mostrano che il modello GPR migliora con un aumento dei dati e che il metodo Subset of Data fornisce risultati accettabili entro un certo grado di approssimazione. L'efficacia del MC-PILCO è stata dimostrata confrontando i suoi risultati di controllo con quelli di altri controllori tradizionali già esistenti, mostrando miglioramenti notevoli. Questo dimostra che l'approccio MC-PILCO proposto, che incorpora GPR, rappresenta una valida alternativa ai metodi di simulazione e controllo attualmente disponibili per i quadrotor, aprendo la strada per future ricerche in questo settore.