The thesis aims to study the use of Reinforcement Learning agents in order to optimise the beam quality in the ADIGE line of the Legnaro National Laboratories, with particular reference to the Medium Resolution Mass Separator platform. More specifically, the problem consists of regulating 18 machine parameters with the aim of improving the beam quality, described by different features such as transmission, emittance, centring and alignment. The intrinsic difficulty of the problem is further intensified by the dynamic nature of the system under examination, since the operating conditions are subject to variations over time and, consequently, an optimal parameter configuration identified at a certain moment might not remain ideal when the state of the machine changes. This is precisely the motivation that justifies the adoption of Reinforcement Learning, which allows changing the approach with respect to traditional optimisation methods and to techniques already adopted within the Laboratories such as Bayesian Optimisation. In fact, instead of searching for a single optimal configuration, Reinforcement Learning algorithms allow learning a policy that observes the state of the particle beam at a given instant and produces as output a corrective action, namely a modification of the machine parameters, which allows progressively improving the beam characteristics according to the observed conditions. The training of the agents in question involves several challenges, among which the main one is represented by the collection of a large amount of experience due to the limited availability of the machine, in addition to the high execution times that characterise both the line itself and the TraceWin physical simulator. For this reason, using the data generated by the simulator, a surrogate model, namely a neural network, was trained to exploit its inference speed for the realisation of an environment useful for the training of the policies. Different Reinforcement Learning algorithms were therefore compared, specifically: A2C, DDPG, PPO, TD3, SAC, and SVG. TraceWin was maintained only as the reference physical simulator for the final evaluation of the agents under common initial conditions, allowing the comparison of both their performance and robustness. The agents were subsequently also compared with Bayesian Optimisation, in order to compare the sequential policy-based approach with a direct optimisation strategy. The results show that the Reinforcement Learning algorithms were able to learn effective and stable control strategies under the simulated conditions. In particular, the best policy obtained proved capable of reaching higher performance than the considered Bayesian Optimisation baseline, as well as requiring approximately one tenth of the time needed to complete an optimisation procedure. This operational advantage clearly comes at the price of a high initial cost, due both to the collection of the data necessary to build the surrogate model and to the training of the policies. This approach, therefore, shifts the computational cost to the initial phase, in order to then allow a subsequent more efficient use capable of re-optimising the system multiple times at low cost. It is therefore a characteristic that makes Reinforcement Learning particularly interesting in contexts in which the operating conditions change over time, and the machine needs to be regulated repeatedly. The work constitutes a basis for a future validation on the real machine and for the extension of the approach to broader portions of the SPES acceleration chain at the Legnaro Laboratories.

La tesi si prefigge di studiare l’impiego di agenti di Reinforcement Learning al fine di ottimizzare la qualità del fascio di particelle nella linea ADIGE dei Laboratori Nazionali di Legnaro, con particolare riferimento alla piattaforma Medium Resolution Mass Separator. Nello specifico, il problema consiste nel regolare 18 parametri della macchina con lo scopo di migliorare la qualità del fascio, descritta da diverse caratteristiche quali trasmissione, emittanza, dimensione, centratura e allineamento. La difficoltà intrinseca del problema è ulteriormente intensificata dalla natura dinamica del sistema in esame, in quanto le condizioni operative sono soggette a variazioni nel tempo e, conseguentemente, una configurazione di parametri ottimale identificata in un determinato momento potrebbe non rimanere ideale al cambiamento dello stato del sistema. Questa è proprio la motivazione che giustifica l’adozione del Reinforcement Learning, che permette di cambiare approccio rispetto ai metodi di ottimizzazione tradizionali e alle tecniche già adottate all’interno dei Laboratori come la Bayesian Optimization. Infatti, al posto di ricercare una singola configurazione ottima, gli algoritmi di Reinforcement Learning permettono di apprendere una policy che osserva lo stato del fascio di particelle in un dato istante, e produce in output un’azione correttiva, ovvero una modifica dei parametri della macchina, che permette di migliorarne progressivamente le caratteristiche in funzione delle condizioni osservate. L’addestramento degli agenti in questione comporta diverse sfide, tra cui la principale è rappresentata dalla raccolta di una grande quantità di esperienza a causa della disponibilità limitata della macchina, oltre che dagli elevati tempi di esecuzione che caratterizzano sia la linea stessa che il simulatore fisico TraceWin. Per questo motivo, tramite i dati generati dal simulatore, è stato addestrato un modello surrogato, ovvero una rete neurale, al fine di sfruttare la sua velocità di inferenza per la realizzazione di un ambiente utile per l’addestramento delle policy. Sono stati quindi confrontati diversi algoritmi di Reinforcement Learning, nello specifico: A2C, DDPG, PPO, TD3, SAC e SVG. TraceWin è stato mantenuto solo come simulatore fisico di riferimento per la valutazione finale degli agenti su condizioni iniziali comuni, permettendo di confrontarne sia le prestazioni che la robustezza. Gli agenti sono stati confrontati successivamente anche con la Bayesian Optimization, al fine di paragonare l’approccio sequenziale basato su policy con una strategia di ottimizzazione diretta. I risultati mostrano che gli algoritmi di Reinforcement Learning sono stati in grado di apprendere strategie di controllo efficaci e stabili nelle condizioni simulate. In particolare, la migliore policy ottenuta si è dimostrata capace di raggiungere prestazioni superiori rispetto alla baseline di Bayesian Optimization considerata, oltre a richiedere circa un decimo del tempo necessario per completare una procedura di ottimizzazione. Questo vantaggio operativo è chiaramente ottenuto a fronte di un costo iniziale significativo, dovuto sia alla raccolta dei dati necessari per costruire il modello surrogato, sia all’addestramento delle policy. Questo approccio, quindi, sposta il costo di computazione nella fase iniziale, per poi consentire un utilizzo successivo più efficiente, in grado di riottimizzare il sistema a basso costo più volte. Si tratta dunque di una caratteristica che rende particolarmente interessante il Reinforcement Learning nei contesti in cui le condizioni operative cambiano nel tempo e la macchina richiede regolazioni ripetute. Il lavoro costituisce una base per una futura validazione sulla macchina reale e per l’estensione dell’approccio a porzioni più ampie della catena di accelerazione SPES nei Laboratori di Legnaro.

Reinforcement Learning Approaches for Beam Optimization in Particle Accelerators

MENEGHETTI, FEDERICO
2025/2026

Abstract

The thesis aims to study the use of Reinforcement Learning agents in order to optimise the beam quality in the ADIGE line of the Legnaro National Laboratories, with particular reference to the Medium Resolution Mass Separator platform. More specifically, the problem consists of regulating 18 machine parameters with the aim of improving the beam quality, described by different features such as transmission, emittance, centring and alignment. The intrinsic difficulty of the problem is further intensified by the dynamic nature of the system under examination, since the operating conditions are subject to variations over time and, consequently, an optimal parameter configuration identified at a certain moment might not remain ideal when the state of the machine changes. This is precisely the motivation that justifies the adoption of Reinforcement Learning, which allows changing the approach with respect to traditional optimisation methods and to techniques already adopted within the Laboratories such as Bayesian Optimisation. In fact, instead of searching for a single optimal configuration, Reinforcement Learning algorithms allow learning a policy that observes the state of the particle beam at a given instant and produces as output a corrective action, namely a modification of the machine parameters, which allows progressively improving the beam characteristics according to the observed conditions. The training of the agents in question involves several challenges, among which the main one is represented by the collection of a large amount of experience due to the limited availability of the machine, in addition to the high execution times that characterise both the line itself and the TraceWin physical simulator. For this reason, using the data generated by the simulator, a surrogate model, namely a neural network, was trained to exploit its inference speed for the realisation of an environment useful for the training of the policies. Different Reinforcement Learning algorithms were therefore compared, specifically: A2C, DDPG, PPO, TD3, SAC, and SVG. TraceWin was maintained only as the reference physical simulator for the final evaluation of the agents under common initial conditions, allowing the comparison of both their performance and robustness. The agents were subsequently also compared with Bayesian Optimisation, in order to compare the sequential policy-based approach with a direct optimisation strategy. The results show that the Reinforcement Learning algorithms were able to learn effective and stable control strategies under the simulated conditions. In particular, the best policy obtained proved capable of reaching higher performance than the considered Bayesian Optimisation baseline, as well as requiring approximately one tenth of the time needed to complete an optimisation procedure. This operational advantage clearly comes at the price of a high initial cost, due both to the collection of the data necessary to build the surrogate model and to the training of the policies. This approach, therefore, shifts the computational cost to the initial phase, in order to then allow a subsequent more efficient use capable of re-optimising the system multiple times at low cost. It is therefore a characteristic that makes Reinforcement Learning particularly interesting in contexts in which the operating conditions change over time, and the machine needs to be regulated repeatedly. The work constitutes a basis for a future validation on the real machine and for the extension of the approach to broader portions of the SPES acceleration chain at the Legnaro Laboratories.
2025
Reinforcement Learning Approaches for Beam Optimization in Particle Accelerators
La tesi si prefigge di studiare l’impiego di agenti di Reinforcement Learning al fine di ottimizzare la qualità del fascio di particelle nella linea ADIGE dei Laboratori Nazionali di Legnaro, con particolare riferimento alla piattaforma Medium Resolution Mass Separator. Nello specifico, il problema consiste nel regolare 18 parametri della macchina con lo scopo di migliorare la qualità del fascio, descritta da diverse caratteristiche quali trasmissione, emittanza, dimensione, centratura e allineamento. La difficoltà intrinseca del problema è ulteriormente intensificata dalla natura dinamica del sistema in esame, in quanto le condizioni operative sono soggette a variazioni nel tempo e, conseguentemente, una configurazione di parametri ottimale identificata in un determinato momento potrebbe non rimanere ideale al cambiamento dello stato del sistema. Questa è proprio la motivazione che giustifica l’adozione del Reinforcement Learning, che permette di cambiare approccio rispetto ai metodi di ottimizzazione tradizionali e alle tecniche già adottate all’interno dei Laboratori come la Bayesian Optimization. Infatti, al posto di ricercare una singola configurazione ottima, gli algoritmi di Reinforcement Learning permettono di apprendere una policy che osserva lo stato del fascio di particelle in un dato istante, e produce in output un’azione correttiva, ovvero una modifica dei parametri della macchina, che permette di migliorarne progressivamente le caratteristiche in funzione delle condizioni osservate. L’addestramento degli agenti in questione comporta diverse sfide, tra cui la principale è rappresentata dalla raccolta di una grande quantità di esperienza a causa della disponibilità limitata della macchina, oltre che dagli elevati tempi di esecuzione che caratterizzano sia la linea stessa che il simulatore fisico TraceWin. Per questo motivo, tramite i dati generati dal simulatore, è stato addestrato un modello surrogato, ovvero una rete neurale, al fine di sfruttare la sua velocità di inferenza per la realizzazione di un ambiente utile per l’addestramento delle policy. Sono stati quindi confrontati diversi algoritmi di Reinforcement Learning, nello specifico: A2C, DDPG, PPO, TD3, SAC e SVG. TraceWin è stato mantenuto solo come simulatore fisico di riferimento per la valutazione finale degli agenti su condizioni iniziali comuni, permettendo di confrontarne sia le prestazioni che la robustezza. Gli agenti sono stati confrontati successivamente anche con la Bayesian Optimization, al fine di paragonare l’approccio sequenziale basato su policy con una strategia di ottimizzazione diretta. I risultati mostrano che gli algoritmi di Reinforcement Learning sono stati in grado di apprendere strategie di controllo efficaci e stabili nelle condizioni simulate. In particolare, la migliore policy ottenuta si è dimostrata capace di raggiungere prestazioni superiori rispetto alla baseline di Bayesian Optimization considerata, oltre a richiedere circa un decimo del tempo necessario per completare una procedura di ottimizzazione. Questo vantaggio operativo è chiaramente ottenuto a fronte di un costo iniziale significativo, dovuto sia alla raccolta dei dati necessari per costruire il modello surrogato, sia all’addestramento delle policy. Questo approccio, quindi, sposta il costo di computazione nella fase iniziale, per poi consentire un utilizzo successivo più efficiente, in grado di riottimizzare il sistema a basso costo più volte. Si tratta dunque di una caratteristica che rende particolarmente interessante il Reinforcement Learning nei contesti in cui le condizioni operative cambiano nel tempo e la macchina richiede regolazioni ripetute. Il lavoro costituisce una base per una futura validazione sulla macchina reale e per l’estensione dell’approccio a porzioni più ampie della catena di accelerazione SPES nei Laboratori di Legnaro.
Model based RL
MBPO
SVG
SAC
ADIGE
Lauree magistrali
File in questo prodotto:
File Dimensione Formato  
Meneghetti_Federico.pdf

accesso aperto

Dimensione 33.06 MB
Formato Adobe PDF
Visualizza/Apri
33.06 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/117641