Le reti neurali sono composte da gruppi di neuroni artificiali, chiamati percettroni (deriva dal modello di neurone proposto da Rosenblatt nel 1956), organizzati in livelli e collegati tra loro attraverso connessioni sinaptiche. L’efficacia delle connessioni viene determinata da pesi, che negli algoritmi vengono rappresentati dalla lettera w. In questa tesi si analizza il metodo iterativo di Discesa Stocastica del Gradiente con Momento unito all’incremento dei dati in funzione dell’andamento della loss per addestrare il modello di rete neurale ResNet50. La rete viene addestrata su due dataset diversi, denominati rispettivamente “DatasColor_38” e “DatasColor_50”. L’algoritmo di Discesa Stocastica del Gradiente è il più utilizzato per implementare retro-propagazione, ovvero l’aggiornamento dei pesi delle connessioni tra i diversi livelli delle reti neurali viene propagato all’indietro. Il momento è un termine dipendente dalle iterazioni precedenti, che viene sommato al gradiente nel tentativo di regolarizzare il movimento nello spazio dei parametri. La tecnica di incremento dei dati consiste in un insieme di tecniche di manipolazione e trasformazione dei dati che hanno lo scopo di ampliare la dimensione del dataset di partenza. In questa tesi l’incremento dei dati viene applicato in funzione della loss della rete. Viene stabilita una soglia, se la loss della rete si trova al di sopra della soglia fissata allora si applicano le tecniche di manipolazione e trasformazioni delle immagini dei minibatch per ottenere un incremento del dataset modificando le immagini di partenza cercando di ottenere la convergenza della loss a zero.

Addestramento di Reti Neurali attraverso l'algoritmo di ottimizzazione 'Discesa Stocastica del Gradiente con Momento'

RIGHETTO, JACOPO
2021/2022

Abstract

Le reti neurali sono composte da gruppi di neuroni artificiali, chiamati percettroni (deriva dal modello di neurone proposto da Rosenblatt nel 1956), organizzati in livelli e collegati tra loro attraverso connessioni sinaptiche. L’efficacia delle connessioni viene determinata da pesi, che negli algoritmi vengono rappresentati dalla lettera w. In questa tesi si analizza il metodo iterativo di Discesa Stocastica del Gradiente con Momento unito all’incremento dei dati in funzione dell’andamento della loss per addestrare il modello di rete neurale ResNet50. La rete viene addestrata su due dataset diversi, denominati rispettivamente “DatasColor_38” e “DatasColor_50”. L’algoritmo di Discesa Stocastica del Gradiente è il più utilizzato per implementare retro-propagazione, ovvero l’aggiornamento dei pesi delle connessioni tra i diversi livelli delle reti neurali viene propagato all’indietro. Il momento è un termine dipendente dalle iterazioni precedenti, che viene sommato al gradiente nel tentativo di regolarizzare il movimento nello spazio dei parametri. La tecnica di incremento dei dati consiste in un insieme di tecniche di manipolazione e trasformazione dei dati che hanno lo scopo di ampliare la dimensione del dataset di partenza. In questa tesi l’incremento dei dati viene applicato in funzione della loss della rete. Viene stabilita una soglia, se la loss della rete si trova al di sopra della soglia fissata allora si applicano le tecniche di manipolazione e trasformazioni delle immagini dei minibatch per ottenere un incremento del dataset modificando le immagini di partenza cercando di ottenere la convergenza della loss a zero.
2021
Neural Networks Training through the 'Stochastic Gradient Descent with Momentum' optimization algorithm
Addestramento
Reti
Neurali
algoritmo
ottimizzazione
File in questo prodotto:
File Dimensione Formato  
RIGHETTO_JACOPO.pdf

accesso riservato

Dimensione 962.3 kB
Formato Adobe PDF
962.3 kB Adobe PDF

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/38016