Scene reconstruction with a combined camera system on an arm-equipped truck for manipulation tasks

This thesis investigates methods to enhance target detection for waste collection applications using one or two camera sensors. The primary objective is to improve detection accuracy and reliability in dynamic environments. The study begins with an exploration of perception theory, focusing on the pinhole camera model and epipolar geometry. Simulation tools such as ROS, Gazebo, and MATLAB are employed to develop and evaluate the proposed methods. The thesis delves into reconstruction techniques, initially utilizing Apriltag for single-camera implementation. Analysis reveals that despite Apriltag's accuracy, disturbances from camera movement and calibration errors impact detection reliability. To mitigate these challenges, a dual-camera setup is introduced, with a second camera mounted on a more stable platform. Since calibration perturbations persist triangulation methods are adopted to minimize error propagation. In conclusion, the results demonstrate the effectiveness of the dual-camera system in mitigating error propagation compared to the single-camera setup. Nevertheless, challenges remain, including potential vision obstruction by the robotic arm and significant perturbations. Future work entails further augmenting the system by integrating additional cameras, such as one on the robotic arm's end effector, to enhance detection accuracy. This enhancement would enable the vision system to support visual servoing control of the robotic arm.

La presente tesi indaga metodi per migliorare il rilevamento di un target desiderato per applicazioni di raccorta dei rifiuti usando una o due telecamere. L'obbiet- \\tivo principale consiste nel migliorare la precisione e l'affidabilità del rilevamento in ambienti dinamici. Lo studio inizia con un'esplorazione della teoria della percezione, concentrandosi sul modello della fotocamera stenopeica e sulla geometria epipolare. Per sviluppare e valutare i metodi proposti vengono utilizzati strumenti di simulazione come ROS, Gazebo e MATLAB. La tesi approfondisce le tecniche di ricostruzione, a partire dall'utilizzo di Apriltag nel caso di implementazione con una singola telecamera. L'analisi rivela che, nonostante la precisione di Apriltag, i disturbi derivanti dal movimento della telecamera e gli errori di calibrazione influiscono sull'affidabilità del rilevamento. Per mitigare questi effetti, viene introdotta una configurazione a doppia telecamera, con la seconda montata su un supporto più stabile. Poiché le perturbazioni nella calibrazione persistono, vengono adottati metodi di triangolazione per ridurre al minimo la propagazione degli errori. In conclusione, i risultati dimostrano l'efficacia del sistema a doppia telecamera nel limitare la propagazione degli errori rispetto alla configurazione a telecamera singola. Tuttavia, permangono delle sfide, tra cui la potenziale ostruzione della vista da parte del braccio robotico montato sul camion e altre possibili perturbazioni. Eventuali sviluppi futuri prevedono un ulteriore potenziamento del sistema integrando telecamere aggiuntive, come quella sull'end effector del braccio robotico, per migliorare la precisione del rilevamento. Questo miglioramento consentirebbe ad esempio al sistema di supportare un controllo visivo del braccio robotico.