Algorithmic Approaches for Detecting Data Shifts in Support of MLOps for Production-Scale Machine Learning

Understanding if an Artificial Intelligence model can process new data is of fundamental importance since it can cause error or, even worse, false positive predictions. Data drift is a particular real world problem for any machine and deep learning model and it occurs when the new data change the distribution of the feature values we given it during training. Our goal was to find suitable models-specific methods to detect possible data drift bypassing (when possible) the study of the training data and directly "open" the model and understand its limits.

Capire se un modello di Intelligenza Artificiale è in grado di elaborare nuovi dati è di fondamentale importanza poiché può causare errori o, peggio ancora, falsi positivi nelle previsioni. Il data drift è un problema reale per qualsiasi macchina e modello di deep learning e si verifica quando i nuovi dati hanno differente distribuzione rispetto ai valori delle caratteristiche che abbiamo fornito durante l’addestramento. Il nostro obiettivo era trovare metodi specifici per i modelli adatti a rilevare possibili derive dei dati aggirando lo studio dei dati di addestramento (quando possibile) e “aprendo” direttamente il modello per comprenderne i limiti.