Short-Term Memory Performance in Noisy Linear Systems

This thesis investigates the role of noise in the short-term memory performance of linear SSMs. Following a review of the state of the art covering Transformers and linear recurrent models (S4, S5, Mamba), we analyze a SISO linear time-invariant system driven by Gaussian noise. We derive conditions on the state matrix that maximize memory capacity under stochastic perturbations, extending the analysis to the two-dimensional case. Our results suggest that noise-aware initialization strategies can significantly improve retention of past inputs, with implications for the design of efficient SSM architectures targeting long-context reasoning.

Questa tesi studia il ruolo del rumore nelle prestazioni di memoria a breve termine degli SSM lineari. Dopo una rassegna dello stato dell'arte su Transformer e modelli ricorrenti lineari (S4, S5, Mamba), viene analizzato un sistema lineare tempo-invariante SISO soggetto a rumore gaussiano. Vengono derivate condizioni sulla matrice di stato che massimizzano la capacità di memoria in presenza di perturbazioni stocastiche, estendendo successivamente la trattazione al caso bidimensionale. I risultati suggeriscono che strategie di inizializzazione noise-aware possono migliorare significativamente la ritenzione degli input passati, con implicazioni per la progettazione di architetture SSM efficienti per il ragionamento su contesti lunghi.