Post-Selection Inference in Multiverse Analysis (PIMA): Un’applicazione sull’associazione tra uso dello smartphone e umore

Psychological science is currently facing a crisis of credibility and replicability, driven by theoretical ambiguity and extensive analytical flexibility. A central driver of this instability is the exploitation of researcher degrees of freedom: the many arbitrary and often undisclosed choices made throughout the research process, which inflate false positives and undermine the robustness of empirical conclusions. The multiverse approach addresses this issue by systematically mapping the full range of plausible analytical decisions and evaluating the stability of findings across all reasonable specifications, rather than relying on a single analytic path. Different multiverse approaches have been proposed to address analytical variability, ranging from descriptive frameworks to inferential procedures that allow statistical conclusions across the entire decision space. Within this context, this thesis focuses on Post Selection Inference for Multiverse Analysis (PIMA), an inferential multiverse approach that provides formal corrections controlling the Family Wise Error Rate (FWER) across multiple specifications while preserving statistical power. In this way, PIMA extends the transparency of multiverse analysis with statistically rigorous inference. To illustrate its practical application, the framework is applied to a real case Ecological Momentary Assessment dataset examining the association between smartphone use and momentary mood in a sample of Italian university students. Overall, the thesis provides concrete tools aimed at improving the credibility, transparency, and robustness of empirical research in psychology.

Le scienze psicologiche stanno attraversando una crisi di credibilità e replicabilità, determinata dall'ambiguità teorica e dall'ampia flessibilità analitica disponibile ai ricercatori. Un fattore centrale di tale instabilità è lo sfruttamento dei gradi di libertà del ricercatore: le numerose scelte arbitrarie e spesso non dichiarate compiute nel corso del processo di ricerca, che gonfiano i falsi positivi e minano la robustezza delle conclusioni empiriche. L'approccio multiverse affronta questo problema mappando sistematicamente l'intera gamma delle decisioni analitiche plausibili e valutando la stabilità dei risultati attraverso tutte le specificazioni ragionevoli, anziché affidarsi a un singolo percorso analitico. Diversi approcci multiverse sono stati proposti per far fronte alla variabilità analitica, spaziando da quadri descrittivi a procedure inferenziali che consentono di trarre conclusioni statistiche sull'intero spazio decisionale. In questo contesto, la presente tesi si concentra sulla Post-Selection Inference for Multiverse Analysis (PIMA), un approccio multiverse inferenziale che fornisce correzioni formali per il controllo del Family-Wise Error Rate (FWER) attraverso molteplici specificazioni, preservando al contempo la potenza statistica. In tal modo, PIMA estende la trasparenza dell'analisi multiverse con un'inferenza statisticamente rigorosa. Al fine di illustrarne l'applicazione pratica, il framework viene applicato a un dataset reale raccolto tramite Ecological Momentary Assessment, che esamina l'associazione tra l'uso dello smartphone e l'umore momentaneo in un campione di studenti universitari italiani. Nel complesso, la tesi fornisce strumenti concreti volti a migliorare la credibilità, la trasparenza e la robustezza della ricerca empirica in psicologia.