Efficient Management of Multiple Chiller Systems via Deep Reinforcement Learning

Telecommunications industry is growing exponentially in the last years and in the future, it will play one of the biggest roles in terms of electricity demand. Nowadays, data centers account approximately of the 4% total absorbed energy, and unfortunately a great part of this energy transforms into heat (due to the inefficiency of the electronic components). With new technologies, we are able to increase the efficiency of these components, but it is impossible to reach the perfection and not wasting resources. Thus as the energy consumption increases, the amount of heat to drain increases as well, so one way of draining this heat is through multiple chillers, that could use a lot of electrical power. It is therefore clear that an increase in their efficiency could be traduced in important amounts of saved energy and money. In this thesis we will present a way of optimizing the energy consumption of multiple chiller systems w.r.t. the standard utilized in the sector. The way in which we can reach this goal, is via a Deep Reinforcement Learning approach. In fact, with RL we are able to train an agent (or more than one in a multi agent setup), to decide the optimal set-points for every chiller and also how many units to use in many scenarios. We will describe the multiple chillers environment, describing in detail how we simulated the environment, as well as the adopted algorithm and configuration. Finally we will compare the obtained results with those provided by common rules of thumb used in this industrial sector. The analyses have been carried out in collaboration with “Vertiv”, which is one the global leaders in providing equipment and services for data centers.

L’industria delle telecomunicazioni è crescuta esponenzialmente negli ultimi anni e, nel futuro crescerà sempre di più, giocando uno dei ruoli principali riguardante la domanda di energia elettrica. Attualmente, i data centers sono responsabili del consumo di circa il 4% dell’energia elettrica totale e, sfortunatamente una buona parte di questa energia viene trasformata in calore (a causa dell’inefficienza dei componenti elettronici). Con le nuove tecnologie, siamo in grado di ridurre l’inefficienza di questi componenti, ma è impossibile raggiungere un’efficienza perfetta senza sprecare risorse. Perciò, all’aumentare del consumo di energia, aumenta anche il calore da smaltire e, un modo per liberarsi di questo calore è attraverso l’uso di multiple unità frigorifere (chillers), che possono assorbire molta energia elettrica. Di conseguenza, un aumento della loro efficienza si può tradurre in importanti quantità di energia e denaro risparmiati. In questa tesi presenteremo un modo per ottimizzare l’energia consumata dai sistemi di chiller multipli, facendo riferimento allo standard utilizzato nel settore. Il modo con cui raggiungeremo l’obbiettivo, è attraverso il Deep Reinforcement Learning. Difatti, con il RL, siamo in grado di allenare un agente (o più di uno nel caso di una configurazione multi-agente), per decidere un ottimo punto di lavoro di ogni chiller e anche quante unità usare nei vari scenari. Descriveremo il sistema di chiller multipli, spiegando come è stato simulato questo ambiente, oltre che gli algoritmi utilizzati e le varie configurazioni. Il tutto comparando i risulati ottenuti con le comuni regole di controllo utilizzate in questo settore. Le analisi sono state svolte in collaborazione con “Vertiv”, una delle aziende leader mondiali nella fornitura di attrezzature e servizi per data center.