Computer Vision-Based Robotics for the Automation: Simulation and Control of a Robotic Arm in the Automotive Field

This thesis project is driven by the goal of acquiring the necessary competencies to develop a dedicated framework for the simulation and control of a 6-degree-offreedom robotic arm, Lite 6 of UFactory. The framework leverages ROS (Robot Operating System) and computer vision algorithms to enhance the capabilities of the robotic arm. The project, developed as part of a curricular internship, comprises multiple phases aimed at equipping the researcher with essential skills in computer vision and robotics. These competencies are crucial for the realization of a system that seamlessly integrates with the test framework developed by Reply Concept Quality. The key phases include the development of the ROS architecture for controlling the robotic arm within a simulation environment, the integration of the simulated architecture with the physical robotic platform, the integration of computer vision techniques in the ROS architecture to allow the movement of the robot according to the objects detected by the camera and the creation of an user-friendly remote control interface through APIs, utilizing Python and Flask, to command the robotic arm. The project results are in line with the objectives set at the outset, contributing to the development of a versatile and accessible framework that underscores the synergy between computer vision and robotics in the realm of industrial automation.

Questo progetto di tesi ha l’obiettivo di acquisire le competenze necessarie per sviluppare un framework dedicato alla simulazione e al controllo di un braccio robotico a 6 gradi di libert`a, Lite 6 di UFactory. Il framework sfrutta l’architettura ROS (Robot Operating System) e algoritmi di computer vision per migliorare le capacità del braccio robotico. Il progetto, sviluppato nell’ambito di un tirocinio curriculare, comprende diverse fasi volte a dotare il ricercatore di competenze essenziali in computer vision e robotica. Queste competenze sono fondamentali per la realizzazione di un sistema che si integri perfettamente con il framework di test sviluppato dall’azienda Reply Concept Quality. Le fasi principali comprendono lo sviluppo dell’architettura ROS per il controllo del braccio robotico all’interno di un ambiente di simulazione, l’integrazione dell’architettura simulata con la piattaforma robotica fisica, l’integrazione di tecniche di computer vision nell’architettura ROS per consentire il movimento del robot in funzione degli oggetti rilevati dalla camera e la creazione di un’interfaccia di controllo remoto user-friendly attraverso API, utilizzando Python e Flask, per comandare il braccio robotico. I risultati del progetto sono in linea con gli obiettivi fissati all’inizio, contribuendo allo sviluppo di un framework versatile e accessibile che sottolinea la sinergia tra computer vision e robotica nel campo dell’automazione industriale.