In computational neuroscience, recurrent neural networks (RNNs) are commonly used to model the structure and the dynamics of neuronal circuits performing simple cognitive operations. One of the most important dynamic features of RNNs is the intrinsic dimension of their activity (in configuration space). While most studies agree on indicating a low dimension, the specific value of the dimension seems to vary depending on details of the implementation. In this thesis, the graduate student will become familiar with RNNs and intrinsic dimension estimators and will analyze the dependence of dimension on the algorithm used to train the RNN.
Nelle neuroscienze computazionali, le reti neurali ricorrenti (RNN) sono comunemente usate per modellizzare la struttura e la meccanica di circuiti neuronali che svolgono semplici operazioni cognitive. Una delle caratteristiche dinamiche salienti delle RNN è la dimensionalità intrinseca della loro attività (nello spazio delle configurazioni). Se la maggior parte degli studi è concorde nell'indicare una bassa dimensionalità, il valore specifico della dimensione sembra variare in base a dettagli della realizzazione. In questa tesi, il laureando prenderà dimestichezza con le RNN e gli stimatori di dimensione intrinseca, e analizzerà la dipendenza della dimensione dall'algoritmo con cui la RNN è addestrata.
Studio della dimensionalità in reti neurali ricorrenti
GASPAROTTO, GIACOMO
2023/2024
Abstract
In computational neuroscience, recurrent neural networks (RNNs) are commonly used to model the structure and the dynamics of neuronal circuits performing simple cognitive operations. One of the most important dynamic features of RNNs is the intrinsic dimension of their activity (in configuration space). While most studies agree on indicating a low dimension, the specific value of the dimension seems to vary depending on details of the implementation. In this thesis, the graduate student will become familiar with RNNs and intrinsic dimension estimators and will analyze the dependence of dimension on the algorithm used to train the RNN.File | Dimensione | Formato | |
---|---|---|---|
Gasparotto_Giacomo.pdf
accesso aperto
Dimensione
3.07 MB
Formato
Adobe PDF
|
3.07 MB | Adobe PDF | Visualizza/Apri |
The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License
https://hdl.handle.net/20.500.12608/71409