Spatial Intelligence with Vision Language Models Onboard Drones

Autonomous object search in large-scale outdoor environments remains a fundamental research challenge in aerial robotics. While Vision-Language Models (VLMs) endow robotic systems with open-vocabulary perceptual capabilities, their deployment on resource-constrained UAVs is impeded by several factors: computational requirements, architectural mismatches between high-level semantic reasoning modules and low-level control loops, limited scalability of semantic voxel-based map representations, and suboptimal exploitation of the rich contextual information available from high-altitude viewpoints. This thesis aims to systematically characterize the spatial reasoning capabilities of compact VLMs when employed as the primary perception module for interpreting the video stream from an onboard drone camera, and to determine the extent to which such models can be leveraged to execute fully autonomous, open-vocabulary Object Goal Navigation (ObjectNav) missions. We address the aforementioned limitations by proposing two complementary control policies. First, we introduce a VLM-based reactive baseline that scores candidate heading directions for open-vocabulary detection, followed by a visual-servoing phase for target localization. To overcome the limitations of this memoryless approach, we then propose a probabilistic semantic framework. This advanced policy fuses VLM detections into a Bayesian belief map and employs an information-theoretic planner, enabling a seamless transition from frontier-based spatial coverage to semantically guided target seeking. To handle high-altitude flights exceeding standard RGB-D sensor ranges, we introduce a 3D target estimation module that resolves monocular depth ambiguities through triangulation. Experimental evaluations in simulation and on a physical quadrotor validate the proposed architecture. The probabilistic framework improved the mission success rate from 26.7% to 66.7% over the reactive baseline, reaching 95\% on extended missions. We complement our study with a custom benchmark that systematically characterizes the strengths and limitations of state-of-the-art small-scale VLMs used as primary decision-makers.

La ricerca autonoma di oggetti in ambienti esterni su larga scala rimane una sfida fondamentale nella robotica aerea. Sebbene i Vision-Language Models (VLM) dotino i sistemi robotici di capacità percettive a vocabolario aperto (open-vocabulary), il loro dispiegamento su UAV con risorse limitate è ostacolato da diversi fattori: requisiti computazionali, discrepanze architetturali tra i moduli di ragionamento semantico ad alto livello e gli anelli di controllo a basso livello, limitata scalabilità delle rappresentazioni semantiche basate su voxel e uno sfruttamento subottimale delle ricche informazioni contestuali disponibili da punti di vista ad alta quota. Questa tesi mira a caratterizzare sistematicamente le capacità di ragionamento spaziale dei VLM di piccola taglia quando utilizzati come modulo di percezione primario per interpretare il flusso video da una telecamera di bordo di un drone, e a determinare in che misura tali modelli possano essere sfruttati per eseguire missioni di Object Goal Navigation (ObjectNav) a vocabolario aperto. Affrontiamo le limitazioni sopra menzionate proponendo due politiche di controllo complementari. In primo luogo, introduciamo una baseline reattiva basata su VLM che valuta le direzioni di prua candidate per il rilevamento a vocabolario aperto, seguita da una fase di visual-servoing per la localizzazione del target. Per superare i limiti di questo approccio privo di memoria, proponiamo poi un framework semantico probabilistico. Questa politica avanzata fonde i rilevamenti del VLM in una mappa di credenza bayesiana (Bayesian belief map) e impiega un pianificatore basato sulla teoria dell'informazione, consentendo una transizione fluida dalla copertura spaziale basata su frontiere alla ricerca del target guidata semanticamente. Per gestire voli ad alta quota che superano i range dei sensori RGB-D standard, introduciamo un modulo di stima del target in 3D che risolve le ambiguità della profondità monoculare attraverso la triangolazione. Le valutazioni sperimentali in simulazione e su un quadricottero fisico convalidano l'architettura proposta. Il framework probabilistico migliora il tasso di successo della missione dal 26.7\% al 66.7\% rispetto alla baseline reattiva, raggiungendo il 95\% nelle missioni estese. Completiamo il nostro studio con un benchmark personalizzato che caratterizza sistematicamente i punti di forza e i limiti dei VLM di piccola taglia quando utilizzati come decisori primari.