Le reti neurali sono composte da gruppi di neuroni artificiali, chiamati percettroni (deriva dal modello di neurone proposto da Rosenblatt nel 1956), organizzati in livelli e collegati tra loro attraverso connessioni sinaptiche. L’efficacia delle connessioni viene determinata da pesi, che negli algoritmi vengono rappresentati dalla lettera w. In questa tesi si analizza il metodo iterativo di Discesa Stocastica del Gradiente con Momento unito all’incremento dei dati in funzione dell’andamento della loss per addestrare il modello di rete neurale ResNet50. La rete viene addestrata su due dataset diversi, denominati rispettivamente “DatasColor_38” e “DatasColor_50”. L’algoritmo di Discesa Stocastica del Gradiente è il più utilizzato per implementare retro-propagazione, ovvero l’aggiornamento dei pesi delle connessioni tra i diversi livelli delle reti neurali viene propagato all’indietro. Il momento è un termine dipendente dalle iterazioni precedenti, che viene sommato al gradiente nel tentativo di regolarizzare il movimento nello spazio dei parametri. La tecnica di incremento dei dati consiste in un insieme di tecniche di manipolazione e trasformazione dei dati che hanno lo scopo di ampliare la dimensione del dataset di partenza. In questa tesi l’incremento dei dati viene applicato in funzione della loss della rete. Viene stabilita una soglia, se la loss della rete si trova al di sopra della soglia fissata allora si applicano le tecniche di manipolazione e trasformazioni delle immagini dei minibatch per ottenere un incremento del dataset modificando le immagini di partenza cercando di ottenere la convergenza della loss a zero.
Addestramento di Reti Neurali attraverso l'algoritmo di ottimizzazione 'Discesa Stocastica del Gradiente con Momento'
RIGHETTO, JACOPO
2021/2022
Abstract
Le reti neurali sono composte da gruppi di neuroni artificiali, chiamati percettroni (deriva dal modello di neurone proposto da Rosenblatt nel 1956), organizzati in livelli e collegati tra loro attraverso connessioni sinaptiche. L’efficacia delle connessioni viene determinata da pesi, che negli algoritmi vengono rappresentati dalla lettera w. In questa tesi si analizza il metodo iterativo di Discesa Stocastica del Gradiente con Momento unito all’incremento dei dati in funzione dell’andamento della loss per addestrare il modello di rete neurale ResNet50. La rete viene addestrata su due dataset diversi, denominati rispettivamente “DatasColor_38” e “DatasColor_50”. L’algoritmo di Discesa Stocastica del Gradiente è il più utilizzato per implementare retro-propagazione, ovvero l’aggiornamento dei pesi delle connessioni tra i diversi livelli delle reti neurali viene propagato all’indietro. Il momento è un termine dipendente dalle iterazioni precedenti, che viene sommato al gradiente nel tentativo di regolarizzare il movimento nello spazio dei parametri. La tecnica di incremento dei dati consiste in un insieme di tecniche di manipolazione e trasformazione dei dati che hanno lo scopo di ampliare la dimensione del dataset di partenza. In questa tesi l’incremento dei dati viene applicato in funzione della loss della rete. Viene stabilita una soglia, se la loss della rete si trova al di sopra della soglia fissata allora si applicano le tecniche di manipolazione e trasformazioni delle immagini dei minibatch per ottenere un incremento del dataset modificando le immagini di partenza cercando di ottenere la convergenza della loss a zero.File | Dimensione | Formato | |
---|---|---|---|
RIGHETTO_JACOPO.pdf
accesso riservato
Dimensione
962.3 kB
Formato
Adobe PDF
|
962.3 kB | Adobe PDF |
The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License
https://hdl.handle.net/20.500.12608/38016