Raggiungere una Monotonicità Affidabile con Vincoli Soft: Analisi delle Tecniche di Regolarizzazione e un Nuovo Approccio basato sul Riutilizzo dei Punti di Violazione

La monotonicità è una proprietà fondamentale per garantire equità, interpretabilità e affidabilità in molte applicazioni critiche del machine learning. Sebbene le reti neurali siano modelli predittivi molto potenti, spesso producono risultati controintuitivi che violano semplici vincoli di monotonicità. Le strategie esistenti per imporre questa proprietà si dividono in due categorie: metodi a vincolo "rigido" basati sull’architettura, che però possono limitare l’espressività del modello, e approcci a regolarizzazione "soft", che invece non forniscono garanzie complete sul rispetto della monotonicità. Questa tesi esplora metodi per indurre un comportamento monotono nelle reti neurali attraverso tecniche di regolarizzazione soft durante l'addestramento. Dopo una panoramica sui metodi architetturali e sui metodi basati sull'ottimizzazione del training, l'attenzione si concentra su penalizzazioni basate sul gradiente e su recenti tecniche basate su mixup, che favoriscono la monotonicità su una regione più ampia dello spazio di input. In particolare, viene proposta una nuova tecnica chiamata MixupBuffer, pensata per migliorare l’efficacia della regolarizzazione mixup grazie all’integrazione di un meccanismo di replay buffer. L’approccio proposto seleziona e memorizza i punti sintetici che violano maggiormente i vincoli di monotonicità, riutilizzandoli nelle successive iterazioni di addestramento. In questo modo, la rete è costretta a concentrarsi sui casi più problematici, migliorando progressivamente la propria capacità di rispettare la monotonicità sull’intero spazio degli input. Sono stati condotti esperimenti su cinque dataset di riferimento, sia per compiti di regressione che di classificazione, confrontando diverse tecniche di regolarizzazione in condizioni di base uniformi. Il metodo è stato messo a confronto sia con modelli privi di vincoli, sia con le migliori tecniche di regolarizzazione disponibili in letteratura. I risultati mostrano che MixupBuffer supera costantemente i metodi tradizionali, raggiungendo una monotonicità quasi perfetta (spesso del 100%) sia sui set di test che su un milione di punti casuali generati per valutare la generalizzazione, mantenendo al contempo prestazioni predittive competitive in termini di errore e accuratezza. Ulteriori studi di ablation hanno evidenziato l'influenza di iperparametri come la dimensione del batch, le funzioni di attivazione e l’intensità della penalizzazione, confermando la solidità del metodo su diverse configurazioni architetturali. Tuttavia, l’analisi ha anche evidenziato un’incompatibilità con la tecnica di Layer Normalization, che richiede particolare attenzione nelle implementazioni pratiche. In conclusione, i risultati dimostrano che una regolarizzazione soft ben progettata può rappresentare un’alternativa pratica e affidabile ai vincoli rigidi, permettendo di ottenere modelli flessibili, performanti e monotonicamente robusti. Questo lavoro evidenzia la concreta applicabilità della regolarizzazione soft per la monotonicità e il potenziale delle strategie basate su buffer per migliorare la soddisfazione dei vincoli nelle reti neurali senza compromettere la capacità espressiva del modello.