Sensors for 3D reconstruction and pose estimation in industrial automation

In industrial automation, the use of sensors is pivotal for the acquisition of reliable data that can be used to build software applications. In particular, 3D sensors provide invaluable help in building systems capable of guiding robotic manipulators in tasks such as welding and bin picking. This thesis focuses on a subset of sensors that can be used for this purpose, namely 3D camera systems and laser profilers, describing in detail the data acquisition process, which allows to create digital images that can then be used to obtain an accurate 3D model representation of the observed scene. What follows is the setup of a 3D camera and robot manipulator system, showing how it can be calibrated to accurately determine the matrix transformation between the two components. Finally, two approaches for solving the pose estimation problem will be presented. The first one, called shape based 3D matching, performs template matching on 2D images and requires the CAD model of the object to search. The second one, called surface based matching, performs template matching on 3D scenes and doesn’t strictly require CAD models, taking full advantage of 3D sensors functionalities.

Nell’automazione industriale, l’uso dei sensori è fondamentale per ottenere dati affidabili che possono essere utilizzati per lo sviluppo di applicazioni software. In particolare, i sensori 3D forniscono un aiuto prezioso nella creazione di sistemi in grado di guidare manipolatori robotici in attività come saldatura e bin picking. Questa tesi si concentra su un sottoinsieme di sensori che possono essere utilizzati per questo scopo, ovvero i sistemi di telecamere 3D ed i profilometri laser, descrivendo il processo di acquisizione dei dati, che permette di creare immagini digitali che possono essere usate per ottenere un’accurata rappresentazione 3D della scena osservata. Ciò che segue è il setup di un sistema che include una camera 3D ed un manipolatore robotico, mostrando in che modo può essere calibrato per determinare con precisione la matrice di trasformazione tra i due componenti. Infine, verranno presentati due approcci per risolvere il problema della stima della posa. Il primo, chiamato shape based 3D matching, effettua il matching tramite template su immagini 2D e necessita del modello CAD dell’oggetto da cercare. Il secondo, chiamato surface based matching, effettua il matching tramite template su una scena 3D e non richiede strettamente modelli CAD, sfruttando appieno le funzionalità dei sensori 3D.