Multiverse Meta-Analysis: proposta di un nuovo approccio inferenziale con una applicazione alla psicoterapia della depressione

Psychological science is undergoing a credibility and replicability crisis, arising from theoretical ambiguity, measurement inconsistencies, and widespread analytical flexibility. Meta-analysis, although essential for cumulative knowledge building, remains vulnerable to undisclosed variability in analytic decisions, undermining the reliability of synthesized evidence. The multiverse approach addresses this issue by systematically mapping the range of plausible analytical choices and evaluating the robustness of findings across all reasonable specifications, rather than relying on a single analytic path. Building on this principle, this thesis develops an integrative methodological framework combining multiverse meta-analysis and Post-Selection Inference for Multiverse Analysis (PIMA) to enhance the robustness and transparency of research synthesis. Multiverse meta-analysis extends multiverse principles to the meta-analytic domain, systematically exploring the consequences of alternative analytic decisions, while PIMA provides formal inferential corrections that control for Type I error across multiple analyses. The proposed framework operationalizes multiverse inference within meta-analytic settings, offering a replicable and inferentially valid approach to evidence evaluation. To illustrate its practical application, the PIMA method is applied to a real-world dataset assessing the effectiveness of psychological treatments for depression. This application demonstrates the capacity of the framework to reveal the stability - or fragility - of conclusions under analytic variation. Overall, the thesis contributes to methodological reform efforts by providing concrete tools to improve the credibility and replicability of empirical findings in psychology.

La scienza psicologica sta affrontando una crisi di credibilità e replicabilità, derivante da ambiguità teoriche, incongruenze nelle misurazioni e una diffusa flessibilità analitica. La meta-analisi, sebbene essenziale per la costruzione di conoscenza cumulativa, rimane vulnerabile a variabilità non dichiarate riguardanti le decisioni analitiche, minando l'affidabilità delle evidenze sintetizzate. L'approccio multiverse affronta questa problematica analizzando sistematicamente la diverse scelte analitiche plausibili e valutando la robustezza dei risultati attraverso tutte le specificazioni ragionevoli, piuttosto che fare affidamento su un singolo percorso analitico. Partendo da questo principio, questa tesi sviluppa un framework metodologico integrativo che combina la Multiverse Meta-Analysis e la Post-selection Inference in Multiverse Analysis (PIMA) al fine di migliorare la robustezza e la trasparenza della sintesi della ricerca. La Multiverse Meta-Analysis estende i principi dell’approccio multiverse al dominio della meta-analisi, esplorando sistematicamente le conseguenze delle decisioni analitiche alternative (ad es., inclusione/esclusione studi, modello FE v REM, scelta di indici di effect size, ecc.) sui risultati ottenuti. Il metodo PIMA, poi, fornisce correzioni inferenziali formali che controllano per l'errore di Tipo I, permettendo di selezionare gli scenari del multiverse più significativi. Il framework proposto, quindi, permette di applicare un metodo inferenziale multiverse all'interno di contesti meta-analitici, offrendo un approccio replicabile e inferenziale per la valutazione delle evidenze. Per illustrarne l’utilità pratica, il metodo PIMMA (Post-selection Inference in Multiverse Meta-Analysis) viene applicato a un dataset reale relativo all'efficacia dei trattamenti psicologici per la depressione. Questa applicazione dimostra la capacità del framework di rivelare la stabilità – o la fragilità – delle conclusioni a seconda delle diverse scelte analitiche effettuate. Complessivamente, la tesi contribuisce agli sforzi di riforma metodologica all’interno della ricerca psicologica, fornendo strumenti concreti per migliorare la credibilità e la replicabilità dei risultati empirici in psicologia.