The following thesis presents an examination of certain variations of the ”Adam” optimizer (adaptive moment estimation), which is mostly employed in the training of convolutional neural networks, or ”CNN.” This approach is based on a ”SGD” (stochastic gradient descent)-based optimizer, which adjusts the weights of the individual neurons in the network using the gradient of a ”Loss Function” to reduce the error function of the classifier. Beginning with the implementation and study of ”HN Adam” and ”AdaInject,” two newly idealized variations of the ”Adam” method, they will be utilized to improve training accuracy before being compared to determine the best balance between greater performance and complexity

La seguente tesi presenta un’analisi di alcune nuove varianti dell’ottimizzatore ”Adam”, che viene impiegato per lo più nell’addestramento di reti neurali convoluzionali, o ”CNN”. Questo approccio si basa su l’ottimizzatore ”SGD” (stochastic gradient descent), che aggiorna i pesi dei singoli neuroni della rete utilizzando il gradiente di una ”Loss function”, allo scopo di minimizzare la probabilit`a di errore del classificatore. A partire dallo studio e dall’implementazione di ”HN Adam” e ”AdaInject”, due nuove varianti di ”Adam”, si passerà ad utilizzarle assieme, comparandone i risultati ottenuti con quelli ottenuti da altri metodi esistenti . Differenti versioni delle stesse verranno infine trattate al variare di un parametro, per determinare il miglior rapporto tra migliori risultati e complessità

Utilizzo dell'algoritmo di ottimizzazione AdaInject allo scopo di migliorare le prestazioni di Reti Neurali Convoluzionali

BOSCARIN, GIULIANO
2021/2022

Abstract

The following thesis presents an examination of certain variations of the ”Adam” optimizer (adaptive moment estimation), which is mostly employed in the training of convolutional neural networks, or ”CNN.” This approach is based on a ”SGD” (stochastic gradient descent)-based optimizer, which adjusts the weights of the individual neurons in the network using the gradient of a ”Loss Function” to reduce the error function of the classifier. Beginning with the implementation and study of ”HN Adam” and ”AdaInject,” two newly idealized variations of the ”Adam” method, they will be utilized to improve training accuracy before being compared to determine the best balance between greater performance and complexity
2021
Exploiting Curvature Injected Adaptive Momentum Optimizer to Improve the Performance of Convolutional Neural Networks
La seguente tesi presenta un’analisi di alcune nuove varianti dell’ottimizzatore ”Adam”, che viene impiegato per lo più nell’addestramento di reti neurali convoluzionali, o ”CNN”. Questo approccio si basa su l’ottimizzatore ”SGD” (stochastic gradient descent), che aggiorna i pesi dei singoli neuroni della rete utilizzando il gradiente di una ”Loss function”, allo scopo di minimizzare la probabilit`a di errore del classificatore. A partire dallo studio e dall’implementazione di ”HN Adam” e ”AdaInject”, due nuove varianti di ”Adam”, si passerà ad utilizzarle assieme, comparandone i risultati ottenuti con quelli ottenuti da altri metodi esistenti . Differenti versioni delle stesse verranno infine trattate al variare di un parametro, per determinare il miglior rapporto tra migliori risultati e complessità
Deep Learning
CNNs
Optimization
AdaInject
File in questo prodotto:
File Dimensione Formato  
BoscarinGiuliano.pdf

accesso riservato

Dimensione 830.93 kB
Formato Adobe PDF
830.93 kB Adobe PDF

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/37987