Studio della degradazione temporale nei modelli di machine learning

L'utilizzo di intelligenza artificiale e di machine learning continua ad aumentare nelle applicazioni pratiche: in un contesto come questo, la robustezza e l'affidabilità di tali strumenti diventa sempre più importante. Spesso questi aspetti vengono però trascurati, nella realtà d’uso. È pratica comune stimare un modello con i dati più recenti a disposizione e, una volta perfezionato, impiegarlo senza mai aggiornarlo. In questi casi si presenta però il problema delle prestazioni a medio/lungo termine: la qualità iniziale del modello si mantiene nel tempo, quando questo non viene aggiornato? E se no, di quanto peggiora? Un recente studio (Vela et al., 2022) approfondisce il fenomeno, coniando il termine “degradazione temporale” per definire quei casi in cui la qualità di un modello, stimato e mai aggiornato, si riduce all’aumento del tempo trascorso dalla sua stima. Gli autori studiano la degradazione temporale per quattro modelli di machine learning (stimatore Ridge, Foresta Casuale, Gradient Boosting e Rete Neurale) in diversi casi reali, concludendo che l’evoluzione delle prestazioni nel tempo può differire da un modello all’altro, anche quando questi sono stimati usando gli stessi dati. Affermano poi che queste differenze siano attribuibili alle diverse logiche matematiche su cui i modelli si basano, ma che non sia chiaro come queste entrino in gioco nel determinarle. Con l’obiettivo di approfondire questo aspetto, questo lavoro di tesi cerca di capire come le diverse logiche matematiche influiscono sul comportamento a medio/lungo termine dei modelli. Per fare questo è stato adottato un approccio di simulazione: utilizzando lo stesso metodo degli autori, il “test” di degradazione temporale, la stabilità temporale degli stessi quattro modelli è stata confrontata in una serie di situazioni differenti. Questo approccio non ha permesso di evidenziare differenze nel comportamento di medio/lungo periodo che siano attribuibili ai modelli stessi. Le differenze principali osservate sono invece state attribuite, più spesso, alla diversa qualità iniziale raggiunta dai modelli, sugli stessi dati. Ciò permette di mettere in discussione il concetto stesso di degradazione temporale, slegato dall’adattamento del modello ai dati ma profondamente influenzato da esso; e ciò ne limita notevolmente l’utilità pratica. Le prove condotte non hanno permesso però di escludere l’idea che la logica matematica possa giocare un ruolo nell’evoluzione della qualità nel tempo, in quanto sono state osservate differenze, seppur sporadiche, che non sono spiegabili in altro modo.