Cybersickness detection in virtual reality experiences: a neural network approach

Cybersickness is a common problem many users face during virtual reality experiences. The causes of this phenomenon are still not certain, and different theories have been developed to give an explanation for this phenomenon and are used as a starting point for the different solutions studied in recent years to automatically detect it and possibly prevent it. In this thesis, a Deep Learning approach based on the use of neural networks is proposed. The dataset used comes from a subjective test involving 60 subjects during which information about the 6 degrees of freedom of the VR headset was recorded. For each degree of freedom, the related information is stored in a heatmap, an image that represents its temporal evolution. Each set of heatmaps is paired with a label to discriminate between absence and presence of cybersickness, based on a state-of-the-art Simulation Sickness Questionnaire participants were asked to compile. These heatmaps are used to train an on-purpose defined neural network composed of two encoders that take the heatmaps as input. The encoded data produced by the two encoders is then combined to perform a binary classification to detect the presence of cybersickness in the analyzed subject, labeling the heatmaps and later comparing the newly created labels with the original labels. The model achieved an accuracy of 97.5\%, which is proving that it could represent a solid foundation for the development of future cybersickness detection models.

La cybersickness è un problema comune di cui molti utenti soffrono durante esperienze di realtà virtuale. Le cause di questo fenomeno non sono ancora state accertate e sono state formulate diverse teorie a riguardo, usate successivamente come punto di partenza da diversi studi per riconoscere automaticamente e prevenire il fenomeno. Questa tesi presenta un approccio di Deep Learning basato sull'uso di reti neurali. Il dataset utilizzato deriva da dei test soggettivi a cui hanno preso parte 60 partecipanti, durante i quali il visore ha registrato i dati riguardanti i 6 gradi di libertà delle loro teste. Le informazioni riguardanti i diversi gradi di libertà della testa sono state impresse in delle heatmaps, delle immagini che ne rappresentano l'evoluzione nel tempo. Ogni gruppo di heatmaps è stato associato a una label che attesta la presenza o l'assenza di cybersickness tramite un questionario di Simulation Sickness conforme allo stato dell'arte e compilato dai partecipanti stessi. Queste heatmaps sono state usate per allenare una rete neurale ideata per il riconoscimento automatico della cybersickness. La rete neurale è composta da due encoders che prendono le heatmaps in ingresso. I prodotti dei due encoders vengono successivamente concatenati per svolgere una classificazione che stabilisce se le heatmaps in ingresso siano associate o meno alla presenza di cybersickness. Questa classificazione viene poi confrontata con la label corrispondenti. Il modello ha raggiunto una accuratezza del 97.5\%, provando la sua validità come possibile base da cui sviluppare futuri modelli per individuare la cybersickness.