Linearizzazione e predizione con reti neurali ricorrenti

Reservoir computing (RC) is a machine-learning technique used to learn input-output mappings for temporally correlated input. In RC architectures, an input layer is connected linearly to a high-dimensional, non-linear recurrent layer (`reservoir'), which is itself connected linearly to an output layer. The distinguishing feature of RC is that only the output layer is trained, simple linear regression, while the reservoir remains untrained. The usage of RC to learn and forecast dynamical systems is well-established. A recent research article has demonstrated that even a linear reservoir suffices for this task. Not only does linear RC provide accurate forecasting, but it also yields an iplicit linearization of the dynamical system. In this thesis, the student will implement a linear RC network from scratch. The network will be first trained to learn a simple linearizable system, and then on real data from neuroimaging.

Il Reservoir Computing (RC) è una tecnica di apprendimento automatico utilizzata per apprendere mappe ingresso-uscita in presenza di correlazione temporale. Nelle architetture di tipo RC, un layer di input è connesso linearmente a un layer ricorrente, non lineare e ad alta dimensionalità (detto reservoir), il quale è a sua volta connesso linearmente a un layer di uscita. La caratteristica peculiare del RC è che solo il layer di uscita viene addestrato, mediante una semplice regressione lineare, mentre il reservoir rimane non addestrato. L’utilizzo del RC per apprendere e prevedere il comportamento di sistemi dinamici è assodato. Un recente studio ha dimostrato che anche un reservoir lineare è sufficiente per questo compito. In realtà, il RC lineare non solo fornisce previsioni accurate, ma permette anche una linearizzazione implicita del sistema dinamico. In questa tesi, lo studente implementerà da capo una rete RC lineare. La rete sarà inizialmente addestrata su un semplice sistema linearizzabile e, successivamente, verrà applicata a dati reali provenienti da esperimenti di neuroimaging.