Transfer learning per saliency temporale: dalle immagini naturali alle interfacce utente

2D visual saliency estimation plays a fundamental role in multiple image processing and computer vision applications, aiming to identify the regions of an image that most capture the attention of a human observer. Traditional models produce static heatmaps, whereas the TempSAL model overcomes this limitation by generating maps across sequential time intervals, capturing not only where attention is focused but also the exact chronological evolution of the gaze. However, having been developed on the SALICON dataset composed of natural scenes, the model exhibits a strong photographic center-bias that hinders its direct application to User Interfaces (UIs), which are characterized by asymmetrical layouts and structured visual hierarchies. To bridge this domain gap, this work adapts TempSAL for the predictive analysis of UIs through transfer learning on the UEyes dataset. Following specific fine-tuning, the results confirm the success of the adaptation: the model recorded clear improvements over the baseline (+45% CC, +47% NSS, -53% KLDIV). The center-bias was visibly reduced in favor of a top-left predictive center of mass that more faithfully replicates the real exploration dynamics of interfaces, while the controlled unfreezing of the architecture guaranteed an accurate and continuous improvement of the predictions in every single temporal slice.

La stima della salienza visiva (visual saliency) in 2D gioca un ruolo fondamentale in molteplici applicazioni di elaborazione delle immagini e visione artificiale, mirando a identificare le regioni di un'immagine che catturano maggiormente l'attenzione di un osservatore umano. I modelli tradizionali producono delle "heatmaps" statiche, mentre il modello TempSAL supera questo limite generando mappe in intervalli temporali sequenziali, catturando non solo dove si concentra l'attenzione, ma anche l'esatta evoluzione cronologica dello sguardo. Tuttavia, essendo stato sviluppato sul dataset SALICON composto da scene naturali, il modello presenta un forte center-bias fotografico che ne impedisce l'applicazione diretta alle Interfacce Utente (UI), caratterizzate da layout asimmetrici e gerarchie visive strutturate. Per colmare questo divario di dominio, questo elaborato adatta TempSAL all'analisi predittiva delle UI tramite transfer learning sul dataset UEyes. Dopo il fine-tuning specifico, i risultati confermano il successo dell'adattamento: il modello ha registrato miglioramenti netti rispetto alla baseline (+45% CC, +47% NSS, -53% KLDIV). Il cneter-bias è stato visibilmente ridotto, a favore di un baricentro predittivo più in alto a sinistra che replica più fedelmente le reali dinamiche di esplorazione delle interfacce, mentre lo sblocco controllato dell'architettura ha garantito un miglioramento accurato e continuo delle previsioni in ogni singola slice temporale.