Controllo della latenza in sistemi interattivi: tecniche e casi d’uso in VR/AR, teleoperazione, gaming e interfacce touch

This thesis presents a technical review of latency control methodologies in a variety of high-performance interactive systems, with the objective of identifying, classifying and comparing techniques for end-to-end delay minimization, measurement and compensation. In near-eye displays for virtual and augmented reality, rendering and tracking latency constitutes an important barrier to immersion and comfort, requiring co-designed hardware-software solutions to guarantee optical feedforward and correct visual accommodation; approaches based on direct control of DMD micro-mirrors and temporal decomposition of the image allow pushing frame-to-photon below 0.5 ms. Accurate characterization of latency in virtual environments through mechanical simulators and automatic frame counting algorithms enables end-to-end measurements with an accuracy of ±3ms. For near-zero latency video transmission, the introduction of frame extrapolation models, both encoder-side and decoder-side, represents a promising frontier for compensating critical network delays, at the expense of controlled degradation of visual fidelity. In surgical robotics tele-operations, experimental analyses have shown that network delays between 16 ms and 500 ms increase completion times up to 2.04× and tool trajectory length up to 1.53×, underscoring the need for prediction and filtering strategies. In the emerging field of cloud-based gaming, an increase in latency causes a linear degradation of player performance of approximately 25% every 100 ms, a sensitivity comparable to that of traditional FPS games despite the different user perspective. Finally, in direct-touch interfaces, the human perception threshold for latency is between 5 ms and 10 ms, suggesting hybrid architectures that provide immediate low-fidelity visual feedback followed by a high-fidelity update at conventional touchscreen latency. Based on this cross-domain overview, the article analyzes latency control in interactive systems, offering design guidelines, prediction models for extrapolation and software architectures aimed at promoting experiences with optimized latency.

Questo articolo presenta una rassegna tecnica delle metodologie di controllo della latenza in una varietà di sistemi interattivi ad alte prestazioni, con l’obiettivo di identificare, classificare e confrontare le tecniche di minimizzazione, misurazione e compensazione del ritardo end-to-end. Nei near-eye display per realtà virtuale e aumentata, la latenza di rendering e di tracking costituisce un’importante barriera all’immersione e al comfort, richiedendo soluzioni hardware-software co-progettate per garantire feedforward ottici e corretto accomodamento visivo; approcci basati sul controllo diretto dei micro-specchi DMD e sulla decomposizione temporale dell’immagine consentono di spingere il frame-to-photon sotto 0.5 ms. La caratterizzazione accurata della latenza in ambienti virtuali mediante simulatori meccanici e algoritmi di conteggio automatico dei frame permette misure end-to-end con un’accuratezza di ±3ms. Per la trasmissione video a latenza quasi zero, l’introduzione di modelli di estrapolazione dei frame, sia lato codificatore sia decodificatore, rappresenta una frontiera promettente per compensare ritardi di rete critici, a scapito di un degrado controllato della fedeltà visiva. Nelle tele-operazioni di robotica chirurgica, analisi sperimentali hanno evidenziato che ritardi di rete compresi tra 16 ms e 500 ms aumentano i tempi di completamento fino a 2.04× e la lunghezza delle traiettorie utensile fino a 1.53×, sottolineando la necessità di strategie di previsione e filtraggio. Nel nascente ambito dei giochi cloud-based, un aumento di latenza provoca una degradazione lineare delle performance dei giocatori di circa il 25% ogni 100 ms, una sensibilità paragonabile a quella dei giochi FPS tradizionali nonostante la diversa prospettiva dell’utente. Infine, nelle interfacce direct-touch, la soglia di percezione umana per la latenza si attesta tra 5 ms e 10 ms, suggerendo architetture ibride che forniscano un riscontro visuale low-fidelity immediato seguito da un aggiornamento high-fidelity a latenza convenzionale touchscreen. Sulla base di questa panoramica cross-domain, l’articolo analizza il controllo della latenza nei sistemi interattivi, offrendo linee guida di design, modelli di predizione per estrapolazione e architetture software finalizzati a promuovere esperienze con latenza ottimizzata.