Joint calibration of IR and RGB cameras

This thesis addresses the problem of the joint calibration of a thermal camera and an RGB camera, with the aim of spatially aligning the images acquired by the two devices. Camera calibration consists in the estimation of both intrinsic and extrinsic parameters. Intrinsic parameters define the internal characteristics of a camera, such as focal length, the optical centre of the image and lens distortion coefficients. Extrinsic parameters describe instead the position and orientation of the camera in space with respect to an external reference system. The definition of these parameters is carried out through the definition and determination of the rotation and translation matrices, which together define the rigid transformation (rototranslation) between the reference systems of the two cameras considered. To achieve this goal, an experimental dataset was created by acquiring images in a laboratory environment, using a specific pattern visible both in the visible and in the thermal infrared spectra. The acquired images were subjected to an analysis and processing process aimed at extracting characteristic points (features), that is, distinctive elements of the image, such as corners, target centres or known intersections, that can be reliably detected by both sensors. These points represent fundamental spatial references for estimating the geometric correspondence between the two acquired views and were therefore used to perform the joint calibration.

La presente tesi affronta il problema della calibrazione congiunta di una termocamera e di una camera RGB, con l’obieƫtivo di allineare spazialmente le immagini acquisite dai due dispositivi. La calibrazione di una camera consiste nella determinazione dei suoi parametri intrinseci ed estrinseci. I parametri intrinseci definiscono le caratteristiche interne di una camera, quali lunghezza focale, il centro oƫtico dell’immagine e i coefficienti di distorsione oƫtica. I parametri estrinseci, invece, descrivono la posizione e l'orientamento della camera nello spazio rispetto ad un sistema di riferimento esterno. La definizione di tali parametri viene effettuata attraverso la definizione e determinazione delle matrici di rotazione e traslazione, che insieme descrivono la trasformazione rigida (rototraslazione) tra i sistemi di riferimento delle due telecamere considerate. Per raggiungere questo scopo, è stato realizzato un dataset sperimentale attraverso l’acquisizione di immagini in un ambiente di laboratorio, utilizzando uno specifico pattern visibile sia nella banda del visibile che nell’infrarosso termico. Le immagini acquisite sono state sottoposte ad un processo di analisi ed elaborazione volto all’estrazione dei punti caratteristici (features), ovvero elementi distintivi dell’immagine, come angoli, centri di target o intersezioni note, che posso essere rilevati in modo affidabile da entrambi i sensori. Questi punti rappresentano riferimenti spaziali fondamentali per stimare la corrispondenza geometrica tra le due viste acquisite, e sono stati quindi impiegati per eseguire la calibrazione congiunta.