Calibration of complex semiconductor manufacturing simulations by means of Deep Reinforcement Learning

Production sites for semiconductor manufacturing represent one of the most complex industrial facilities. Operational efficiency is becoming ever more relevant in the semiconductor industry to cut costs and increase production. Optimizing such complex systems can be a major challenge, and, with this regard, simulations can be valuable tools, allowing the evaluation of new operational solutions without impacting the real line. The creation of a simulation, however, is usually a highly manual and expertise intensive process. The thesis at hand explores the possibility of employing a Deep Reinforcement Learning approach to calibrate a discrete event simulation of a front-end semiconductor plant. In particular, the Reinforcement Learning agent is tested in its ability to adjust the performance of a simulation which contains an approximated component, upon which the agent can act by changing the value of a parameter, to the performance of a non simplified simulation. The results show that the agent is capable of matching the performance of the complex simulation by observing local data regarding the status of the simplified element. The conducted tests involved three different criteria used to compare the performance of the two simulations, corresponding to three different targets that the agent had to match. The used targets were based on: the average performance over a period of time, the distribution shape of an indicator characterizing the performance, and the dynamics over time of this indicator.

I siti di produzione che si occupano della realizzazione di semiconduttori sono una delle realtà industriali più complesse. L'efficienza operativa sta diventando sempre più importante nell'industria dei semiconduttori come soluzione per ridurre i costi e aumentare la produzione. L'ottimizzazione di sistemi così complessi può rappresentare una notevole sfida e, a questo scopo, le simulazioni possono essere strumenti utili, in quanto consentono di valutare nuove soluzioni operative senza dover agire sulla reale linea di produzione. La creazione di una simulazione, tuttavia, è un processo principalmente manuale e che richiede l'intervento di esperti. La tesi in oggetto esamina la possibilità di impiegare un approccio di Deep Reinforcement Learning per calibrare una simulazione a eventi discreti di un impianto front-end per la produzione di semiconduttori. In particolare, viene valutata l'abilità dell'agente di Reinforcement Learning di far coincidere le prestazioni di una simulazione che contiene un componente semplificato, sulla quale l'agente può agire modificando il valore di un parametro, con le prestazioni di una simulazione non semplificata. I risultati mostrano che l'agente è in grado di emulare le performance ottenute nella simulazione complessa osservando i dati relativi allo stato dell'elemento semplificato. I test condotti utilizzano tre diversi criteri per confrontare le prestazioni delle due simulazioni, corrispondenti a tre diversi obiettivi che l'agente deve mirare ad ottenere. Gli obiettivi utilizzati si basano su: la prestazione media durante un periodo di tempo, la forma della distribuzione di un indicatore che caratterizza la prestazione e, infine, le dinamiche nel tempo di questo indicatore.