Le reti neurali hanno rivoluzionato numerosi campi dell'intelligenza artificiale grazie alla loro capacità di apprendimento automatico da grandi quantità di dati. Tuttavia, la complessità strutturale delle reti neurali e la loro natura non lineare rendono difficile comprendere a fondo il loro comportamento, soprattutto in termini di generalizzazione. Un fenomeno di particolare interesse emerso recentemente è quello delle "curve a doppia discesa". Questo fenomeno descrive come l'errore di generalizzazione, oltre alla soglia di interpolazione sui dati di allenamento, subisca una ulteriore discesa. Questo comportamento sostituisce quello tradizionalmente conosciuto a forma di U, in cui i modelli con complessità molto elevata erano solitamente evitati. Infatti, questo fenomeno contraddice i principi classici su cui si fondava l'identificazione di sistemi, come il principio di Occam. In questa tesi, si introduce il concetto di modello e il problema dell'identificazione di un sistema dinamico, trattando il principale procedimento di risoluzione. In seguito, si analizzano le reti neurali artificiali, approfondendo le strutture più comuni e il loro processo di apprendimento. Successivamente, si esamina il problema della regressione e come la flessibilità delle reti neurali viene sfruttata per ottimizzarlo, con particolare attenzione sui modelli basati sull'energia. Infine, è discusso il fenomeno delle curve a doppia discesa, con la presentazione di studi teorici e un'evidenza sperimentale.
Reti neurali e il fenomeno della doppia discesa: scenari innovativi per apprendere sistemi dinamici dai dati.
MARIGO, ANDREA
2023/2024
Abstract
Le reti neurali hanno rivoluzionato numerosi campi dell'intelligenza artificiale grazie alla loro capacità di apprendimento automatico da grandi quantità di dati. Tuttavia, la complessità strutturale delle reti neurali e la loro natura non lineare rendono difficile comprendere a fondo il loro comportamento, soprattutto in termini di generalizzazione. Un fenomeno di particolare interesse emerso recentemente è quello delle "curve a doppia discesa". Questo fenomeno descrive come l'errore di generalizzazione, oltre alla soglia di interpolazione sui dati di allenamento, subisca una ulteriore discesa. Questo comportamento sostituisce quello tradizionalmente conosciuto a forma di U, in cui i modelli con complessità molto elevata erano solitamente evitati. Infatti, questo fenomeno contraddice i principi classici su cui si fondava l'identificazione di sistemi, come il principio di Occam. In questa tesi, si introduce il concetto di modello e il problema dell'identificazione di un sistema dinamico, trattando il principale procedimento di risoluzione. In seguito, si analizzano le reti neurali artificiali, approfondendo le strutture più comuni e il loro processo di apprendimento. Successivamente, si esamina il problema della regressione e come la flessibilità delle reti neurali viene sfruttata per ottimizzarlo, con particolare attenzione sui modelli basati sull'energia. Infine, è discusso il fenomeno delle curve a doppia discesa, con la presentazione di studi teorici e un'evidenza sperimentale.File | Dimensione | Formato | |
---|---|---|---|
Marigo_Andrea.pdf
accesso aperto
Dimensione
519.08 kB
Formato
Adobe PDF
|
519.08 kB | Adobe PDF | Visualizza/Apri |
The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License
https://hdl.handle.net/20.500.12608/72171