Le reti neurali hanno rivoluzionato numerosi campi dell'intelligenza artificiale grazie alla loro capacità di apprendimento automatico da grandi quantità di dati. Tuttavia, la complessità strutturale delle reti neurali e la loro natura non lineare rendono difficile comprendere a fondo il loro comportamento, soprattutto in termini di generalizzazione. Un fenomeno di particolare interesse emerso recentemente è quello delle "curve a doppia discesa". Questo fenomeno descrive come l'errore di generalizzazione, oltre alla soglia di interpolazione sui dati di allenamento, subisca una ulteriore discesa. Questo comportamento sostituisce quello tradizionalmente conosciuto a forma di U, in cui i modelli con complessità molto elevata erano solitamente evitati. Infatti, questo fenomeno contraddice i principi classici su cui si fondava l'identificazione di sistemi, come il principio di Occam. In questa tesi, si introduce il concetto di modello e il problema dell'identificazione di un sistema dinamico, trattando il principale procedimento di risoluzione. In seguito, si analizzano le reti neurali artificiali, approfondendo le strutture più comuni e il loro processo di apprendimento. Successivamente, si esamina il problema della regressione e come la flessibilità delle reti neurali viene sfruttata per ottimizzarlo, con particolare attenzione sui modelli basati sull'energia. Infine, è discusso il fenomeno delle curve a doppia discesa, con la presentazione di studi teorici e un'evidenza sperimentale.

Reti neurali e il fenomeno della doppia discesa: scenari innovativi per apprendere sistemi dinamici dai dati.

MARIGO, ANDREA
2023/2024

Abstract

Le reti neurali hanno rivoluzionato numerosi campi dell'intelligenza artificiale grazie alla loro capacità di apprendimento automatico da grandi quantità di dati. Tuttavia, la complessità strutturale delle reti neurali e la loro natura non lineare rendono difficile comprendere a fondo il loro comportamento, soprattutto in termini di generalizzazione. Un fenomeno di particolare interesse emerso recentemente è quello delle "curve a doppia discesa". Questo fenomeno descrive come l'errore di generalizzazione, oltre alla soglia di interpolazione sui dati di allenamento, subisca una ulteriore discesa. Questo comportamento sostituisce quello tradizionalmente conosciuto a forma di U, in cui i modelli con complessità molto elevata erano solitamente evitati. Infatti, questo fenomeno contraddice i principi classici su cui si fondava l'identificazione di sistemi, come il principio di Occam. In questa tesi, si introduce il concetto di modello e il problema dell'identificazione di un sistema dinamico, trattando il principale procedimento di risoluzione. In seguito, si analizzano le reti neurali artificiali, approfondendo le strutture più comuni e il loro processo di apprendimento. Successivamente, si esamina il problema della regressione e come la flessibilità delle reti neurali viene sfruttata per ottimizzarlo, con particolare attenzione sui modelli basati sull'energia. Infine, è discusso il fenomeno delle curve a doppia discesa, con la presentazione di studi teorici e un'evidenza sperimentale.
2023
Neural Networks and the double descent phenomenon
Identificazione
doppia discesa
Reti neurali
Neural networks
double discent
File in questo prodotto:
File Dimensione Formato  
Marigo_Andrea.pdf

accesso aperto

Dimensione 519.08 kB
Formato Adobe PDF
519.08 kB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/72171