Optimal design of experiments for kinetic model structure identification using reinforcement learning methodologies

Mathematical models are widely used in many fields to describe physical phenomena that are pivotal for many applications. In particular, in the chemical engineering field, mathematical models are used to describe chemical reactions and processes. Kinetic models are used to describe the rate at which chemical reactions occur. However, choosing the most appropriate kinetic model for a specific application is still a challenging problem. An approach that can be used to discriminate among different models is Model-Based Design of Experiments (MBDoE). The objectives of this work are two: - propose an alternative methodology to identify simultaneously the set of model equations and the value of kinetic model parameters. - to couple this methodology with Reinforcement Learning. Reinforcement Learning techniques merge on the concept of learning from experience, where an agent, learns interacting with the environment. This methodology is tested on a case study identifying the reaction kinetics in a bioreactor model. The first part of the case study identifies the model and there is the evaluation of the parameters and in the second part there is the extension of an RL technique to this case to optimize a statistic of this method. The results obtained demonstrate that this method is capable of identifying the structure of the model and the parameters with very good precision under a wide range of conditions of measurements and noise. In the second part of the thesis, the proposed is coupled with a reinforcement learning methodology. The aim of this pairing is to identify the optimum conditions under which to carry out the experiment.

I modelli matematici sono ampiamente utilizzati in molti campi per descrivere fenomeni fisici che sono fondamentali per molte applicazioni. In particolare, nel campo dell'ingegneria chimica, i modelli matematici sono usati per descrivere reazioni e processi chimici. I modelli cinetici sono usati per descrivere la velocità con cui avvengono le reazioni chimiche. Tuttavia, scegliere il modello cinetico più appropriato per una specifica applicazione è ancora un problema impegnativo. Un approccio che può essere usato per discriminare tra diversi modelli è il Model-Based Design of Experiments (MBDoE). Gli obiettivi di questo lavoro sono due: - proporre una metodologia alternativa per identificare simultaneamente l'insieme delle equazioni del modello e il valore dei parametri del modello cinetico. - accoppiare questa metodologia con il Reinforcement Learning. Le tecniche di Reinforcement Learning si fondono sul concetto di apprendimento dall'esperienza, dove un agente impara interagendo con l'ambiente. Questa metodologia viene testata su un caso di studio che identifica la cinetica di reazione in un modello di bioreattore. La prima parte del caso di studio identifica il modello e c'è la valutazione dei parametri e nella seconda parte c'è l'estensione di una tecnica RL a questo caso per ottimizzare una statistica di questo metodo. I risultati ottenuti dimostrano che questo metodo è capace di identificare la struttura del modello e i parametri con un'ottima precisione in un'ampia gamma di condizioni di misure e rumore. Nella seconda parte della tesi, il metodo proposto è usato con una metodologia di apprendimento per rinforzo. L'obiettivo di questo accoppiamento è quello di identificare le condizioni ottimali in cui effettuare l'esperimento.