A Reinforcement Learning Approach to Thermal Management in Data Centers

The telecommunications industry has experienced significant growth in recent years, leading to a projected increase in demand for electricity in the future. Data centers are estimated to be responsible for up to 3% of global electricity consumption today, with this number projected to increase to 4%by 2030. Much of this energy is dissipated as heat due to the inefficiency of electronic components, with the cooling system being responsible for the majority of power consumption in a data center. Investigations have shown that the cooling and ventilation system consumes, on average, 40% of the total energy consumption in a data center. To address this challenge, this thesis proposes a Q-learning reinforcement learning approach to optimize the energy consumption of a multiple chiller system in a data center. The objective is to adjust the set points, such as flow rate and temperature, used to meet the request load of the data center efficiently. The Q-learning algorithm is ideal for optimizing chiller operation due to its model-free nature and ability to learn optimal control policies without prior knowledge of system dynamics. The proposed approach trains an agents to determine the optimal set points and the number of units to use in various scenarios. The thesis details the simulation environment, algorithm, and configuration used, as well as a comparison of the results obtained with the deep RL method. The research was conducted in partnership with a global leader in providing equipment and services for data centers. The study’s results demonstrate the effectiveness of the Q-learning approach in optimizing energy consumption and reducing costs. By improving the cooling system’s efficiency, significant energy and cost savings can be achieved, contributing to the development of sustainable and energy-efficient data centers. The findings of this research can be applied to similar systems in the industry.

L’industria delle telecomunicazioni ha sperimentato una significativa crescita negli ultimi anni, portando ad una prevista aumento della domanda di elettricità in futuro. I data center sono stimati responsabili del 3% del consumo globale di energia elettrica oggi, con questo numero che dovrebbe aumentare al 4%entro il 2030. Gran parte di questa energia viene dissipata sotto forma di calore a causa dell’inefficienza dei componenti elettronici, con il sistema di raffreddamento responsabile della maggior parte del consumo di energia in un data center. Le indagini hanno dimostrato che il sistema di raffreddamento e ventilazione consuma, in media, il 40% del consumo totale di energia in un data center. Per affrontare questa sfida, questa tesi propone un approccio di apprendimento per rinforzo Qlearning per ottimizzare il consumo di energia di un sistema di raffreddamento con più unità di refrigerazione in un data center. L’obiettivo è quello di regolare i set point, come il flusso e la temperatura, utilizzati per soddisfare efficientemente la richiesta di carico del data center. L’algoritmo di Q-learning è ideale per ottimizzare il funzionamento del sistema di refrigerazione grazie alla sua natura priva di modello e alla capacità di apprendere le politiche di controllo ottimali senza conoscenze pregresse sulla dinamica del sistema. L’approccio proposto addestra un agente per determinare i set point ottimali e il numero di unità da utilizzare in diversi scenari. La tesi descrive l’ambiente di simulazione, l’algoritmo e la configurazione utilizzata, nonché un confronto dei risultati ottenuti con il metodo deep RL. La ricerca è stata condotta in collaborazione con un leader globale nella fornitura di attrezzature e servizi per data center. I risultati dello studio dimostrano l’efficacia dell’approccio di Q-learning nell’ottimizzazione del consumo di energia e nella riduzione dei costi. Migliorando l’efficienza del sistema di raffreddamento, è possibile ottenere significativi risparmi di energia e costi, contribuendo allo sviluppo di data center sostenibili ed efficienti dal punto di vista energetico. Le conclusioni di questa ricerca possono essere applicate a sistemi simili nel settore.