Approcci di meccanica statistica agli algoritmi di ottimizzazione per l'apprendimento automatico

The project concerns the characterization of the properties of some optimization algorithms (which are called Stochastic Gradient Descent) using out-of-equilibrium statistical mechanics methods. In particular, under some hypotheses, the dynamics of learning of the weights in some paradigmatic models (e.g. linear models or neural networks) can be modeled using stochastic differential equations that do not satisfy the Fluctuation Dissipation relation, which characterizes the systems studied by equilibrium statistical mechanics. The aim of the project is to investigate the relationship between dynamic theories of statistical mechanics and machine learning models. The methodology with which the project will be conducted is twofold. Firstly, an in-depth bibliographic search will be conducted, exploring the most recent and relevant publications, summarizing the state of the art of the theory currently available and secondly, simple numerical experiments will be implemented aimed at testing the hypotheses underlying the theory itself.

Il progetto riguarda la caratterizzazione delle proprietà di alcuni algoritmi di ottimizzazione (chiamati Stochastic Gradient Descent) utilizzando metodi di meccanica statistica fuori dall'equilibrio. In particolare, sotto alcune ipotesi, la dinamica di apprendimento dei pesi in alcuni modelli paradigmatici (ad esempio modelli lineari o reti neurali) può essere modellata utilizzando equazioni differenziali stocastiche che non soddisfano la relazione di fluttuazione dissipazione, che caratterizza i sistemi studiati dalla meccanica statistica di equilibrio. L'obiettivo del progetto è investigare la relazione tra le teorie dinamiche della meccanica statistica e i modelli di apprendimento automatico. La metodologia con cui il progetto sarà condotto è duplice. In primo luogo, verrà effettuata una ricerca bibliografica approfondita, esplorando le pubblicazioni più recenti e rilevanti, riassumendo lo stato dell'arte della teoria attualmente disponibile, e in secondo luogo, saranno implementati semplici esperimenti numerici volti a testare le ipotesi alla base della teoria stessa.