Screening visivo basato su fotorefrazione: Miglioramento dei metodi tradizionali con tecniche di machine learning su device

Vision screening in early childhood relies on photorefraction, a non-invasive technique that estimates refractive errors from retinal light reflections captured by a camera. Accurate pupil segmentation is the critical first step of this pipeline, yet classical computer vision algorithms, based on edge detection and ellipse fitting, fail systematically when strong iris-sclera gradients or reflections are present in the image. This thesis investigates deep learning as a replacement for the classical segmentation pipeline, targeting deployment on the Rockchip RK3566 embedded platform used in Adaptica portable screening devices. Two architectures, U-Net and Half-Net, are trained and evaluated on a proprietary photorefraction dataset, demonstrating improved robustness over classical methods. To meet the hardware constraint of the RK3566 Neural Processing Unit (0.9 TOPS INT8), a coarse-to-fine strategy is proposed: a lightweight Half-Net inference on a downscaled frame localises both pupils, then two fine-segmentation inferences on the extracted regions recover full-resolution detail, all within three NPU inferences per frame. An alternative hybrid pipeline is also explored, in which a lightweight object detector handles the coarse localisation stage while classical computer vision techniques perform fine segmentation on the extracted regions of interest. All models are quantised to INT8 RKNN format and validated on-device, providing a concrete path toward more accurate and accessible vision screening.

Lo screening visivo in età pediatrica si avvale della fotorefrattometria, una tecnica non invasiva che stima i difetti refrattivi analizzando il riflesso luminoso dalla retina. La segmentazione della pupilla è il passo fondamentale di questo processo, ma gli algoritmi classici di computer vision, basati su rilevamento dei bordi e adattamento di ellissi, falliscono sistematicamente in presenza di forti gradienti iris-sclera o di riflessi nell'immagine. Questa tesi studia l'impiego del deep learning come alternativa alla pipeline di segmentazione classica, con l'obiettivo di eseguire il tutto sull'hardware embedded Rockchip RK3566 montato sui dispositivi portatili Adaptica per lo screening visivo. Due architetture, U-Net e Half-Net, vengono addestrate e valutate su un dataset proprietario di immagini fotorefrattometriche, mostrando una maggiore robustezza rispetto ai metodi classici. Per rispettare il limite computazionale dell'unità di elaborazione neurale (NPU) dell'RK3566 (0,9 TOPS INT8), viene proposta una strategia coarse-to-fine: una prima inferenza Half-Net su un frame ridotto individua entrambe le pupille; due successive inferenze ad alta risoluzione sulle regioni di interesse recuperano il dettaglio completo, restando entro un budget di tre inferenze NPU per frame. Viene esplorata anche una pipeline ibrida alternativa, in cui un object detector leggero si occupa della localizzazione grossolana delle pupille, mentre tecniche classiche di computer vision eseguono la segmentazione fine sulla regione di interesse identificata. Tutti i modelli vengono quantizzati in formato RKNN INT8 e validati sul dispositivo reale, aprendo una strada concreta verso sistemi di screening visivo più affidabili e accessibili.