In computational neuroscience, recurrent neural networks (RNNs) are commonly used to model the structure and the dynamics of neuronal circuits performing simple cognitive operations. One of the most important dynamic features of RNNs is the intrinsic dimension of their activity (in configuration space). While most studies agree on indicating a low dimension, the specific value of the dimension seems to vary depending on details of the implementation. In this thesis, the graduate student will become familiar with RNNs and intrinsic dimension estimators and will analyze the dependence of dimension on the algorithm used to train the RNN.

Nelle neuroscienze computazionali, le reti neurali ricorrenti (RNN) sono comunemente usate per modellizzare la struttura e la meccanica di circuiti neuronali che svolgono semplici operazioni cognitive. Una delle caratteristiche dinamiche salienti delle RNN è la dimensionalità intrinseca della loro attività (nello spazio delle configurazioni). Se la maggior parte degli studi è concorde nell'indicare una bassa dimensionalità, il valore specifico della dimensione sembra variare in base a dettagli della realizzazione. In questa tesi, il laureando prenderà dimestichezza con le RNN e gli stimatori di dimensione intrinseca, e analizzerà la dipendenza della dimensione dall'algoritmo con cui la RNN è addestrata.

Studio della dimensionalità in reti neurali ricorrenti

GASPAROTTO, GIACOMO
2023/2024

Abstract

In computational neuroscience, recurrent neural networks (RNNs) are commonly used to model the structure and the dynamics of neuronal circuits performing simple cognitive operations. One of the most important dynamic features of RNNs is the intrinsic dimension of their activity (in configuration space). While most studies agree on indicating a low dimension, the specific value of the dimension seems to vary depending on details of the implementation. In this thesis, the graduate student will become familiar with RNNs and intrinsic dimension estimators and will analyze the dependence of dimension on the algorithm used to train the RNN.
2023
Study of dimensionality in recurrent neural networks
Nelle neuroscienze computazionali, le reti neurali ricorrenti (RNN) sono comunemente usate per modellizzare la struttura e la meccanica di circuiti neuronali che svolgono semplici operazioni cognitive. Una delle caratteristiche dinamiche salienti delle RNN è la dimensionalità intrinseca della loro attività (nello spazio delle configurazioni). Se la maggior parte degli studi è concorde nell'indicare una bassa dimensionalità, il valore specifico della dimensione sembra variare in base a dettagli della realizzazione. In questa tesi, il laureando prenderà dimestichezza con le RNN e gli stimatori di dimensione intrinseca, e analizzerà la dipendenza della dimensione dall'algoritmo con cui la RNN è addestrata.
ComputationalPhysics
Neuroscience
MachineLearning
File in questo prodotto:
File Dimensione Formato  
Gasparotto_Giacomo.pdf

accesso aperto

Dimensione 3.07 MB
Formato Adobe PDF
3.07 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/71409