Vibration of Effects (VoE): Valutazione della robustezza dell’associazione tra uso dello smartphone e umore

Psychological science faces a replication crisis driven by widespread analytical flexibility, Questionable Research Practices (QRPs), and an overreliance on single-model statistical reporting. Because different analytical choices applied to the same dataset can produce contradictory results, evaluating whether a finding reflects a true, stable effect is challenging. This thesis utilizes the Vibration of Effects (VoE) framework, a descriptive approach to the multiverse of all plausible analytical choices, to systematically test the robustness of effect size estimates across all plausible model specifications. After situating VoE within literature and detailing its statistical foundations, the thesis highlights its core data visualization tools, such as the vibration plot, and examines the Janus effect, a phenomenon that occurs when identical data yield contradictory yet statistically significant conclusions based solely on model specification. To demonstrate its practical application, the VoE framework was applied to real data, obtained through Ecological Momentary Assessment (EMA), to examine the association between smartphone use and mood across diverse, equally defensible model specifications. The analysis aims to show how varying analytical pathways directly influence the direction, magnitude, and statistical significance of the smartphone-mood relationship, illustrating the fragility of single-model inferences. Overall, this thesis contributes to ongoing methodological reform and aligns with Open Science principles by highlighting the methodological value of VoE as a tool for improving the transparency, replicability, and credibility of psychological research.

La scienza psicologica sta affrontando una crisi di replicabilità derivante da una diffusa flessibilità analitica, pratiche di ricerca discutibili (QRPs) e un eccessivo affidamento sulla rendicontazione statistica basata su un singolo modello. Poiché scelte analitiche differenti applicate allo stesso set di dati possono produrre risultati contraddittori, valutare se un risultato rifletta un effetto reale e stabile costituisce una sfida. Questa tesi utilizza il framework della Vibration of Effects (VoE), un approccio descrittivo al multiverso di tutte le scelte analitiche plausibili, per testare sistematicamente la robustezza delle stime dell’effect size attraverso tutte le plausibili specificazioni di modello. Dopo aver contestualizzato la VoE all'interno della letteratura e averne dettagliato i fondamenti statistici, la tesi ne evidenzia i principali strumenti di visualizzazione dei dati, come il vibration plot, ed esamina il Janus effect, un fenomeno che si verifica quando i medesimi dati portano a conclusioni opposte ma statisticamente significative, basate esclusivamente sulla specificazione del modello. Per dimostrarne l’applicazione pratica, il framework VoE è stato applicato a dati reali, raccolti tramite Ecological Momentary Assessment (EMA), per esaminare l'associazione tra l'uso dello smartphone e l'umore attraverso diverse specificazioni di modello ugualmente difendibili. L'analisi ha l’obiettivo di mostrare come i diversi percorsi analitici influenzino direttamente la direzione, la grandezza e la significatività statistica della relazione tra smartphone e umore, illustrando la fragilità delle inferenze basate su un singolo modello. Complessivamente, questa tesi contribuisce alla riforma metodologica in corso e si allinea con i principi dell'Open Science, sottolineando il valore metodologico della VoE come strumento per migliorare la trasparenza, la replicabilità e la credibilità della ricerca psicologica.