Confronti Singoli con Test di Diebold-Mariano vs Confronti multipli e Test di Nemenyi

La valutazione comparativa delle performance predittive di modelli statistici rappresenta una fase cruciale nell'analisi quantitativa, richiedendo metodologie statisticamente rigorose per garantire conclusioni affidabili. Questo lavoro analizza due approcci metodologici fondamentalmente diversi per il confronto di modelli: i confronti singoli mediante il test di Diebold-Mariano e i confronti multipli attraverso il test di Nemenyi. Il test di Diebold-Mariano, ampiamente utilizzato nell'econometria e nella previsione di serie temporali, consente confronti pairwise tra modelli basati sulle differenze delle loss functions, offrendo semplicità interpretativa ma presentando limitazioni nel controllo dell'errore di Tipo I quando applicato a confronti multipli. Il test di Nemenyi, sviluppato nel contesto dei test non parametrici su ranks, affronta esplicitamente il problema della molteplicità dei confronti attraverso un controllo rigoroso del Family-Wise Error Rate. Attraverso uno studio di simulazione Monte Carlo e applicazioni empiriche su dataset di forecasting, questa tesi confronta sistematicamente le performance dei due approcci in termini di controllo del tasso di errore, potenza statistica e applicabilità pratica. I risultati evidenziano come la scelta tra metodologie dipenda criticamente dal numero di modelli confrontati, dalla correlazione tra le performance e dagli obiettivi dell'analisi. Il lavoro include un'implementazione completa in R delle metodologie studiate, con funzioni ottimizzate per la riproducibilità delle analisi e la visualizzazione dei risultati. Le conclusioni forniscono linee guida pratiche per la selezione dell'approccio metodologico più appropriato in diversi contesti applicativi, contribuendo al dibattito metodologico sulla valutazione comparativa di modelli predittivi nelle scienze statistiche.