Rilevazione e classificazione di danni su veicoli con algoritmi di computer vision e deep learning in Oracle Cloud Infrastructure Vision

It is estimated by the National Highway Traffic Safety Administration (NHTSA) that 6 million car accidents happen in the U.S. each year. A big part of these crashes involves cars bodywork and are repairable, for this reason a lot of insurance compensation and coachbuilder quote are requested every day. In this thesis, developed in Technology Reply S.r.l., we deal the base processes of an app for providing the amount of an insurance compensation in autonomous way. We start from the creation of an appropriate dataset with damaged cars. We search those that are already online and merge some of them. Then we follow the pipelines of Data Ingestion, Data Transformation and Image Augmentation for increasing the number of images. Therefore, we implement some model of Object Detection and Classification through Oracle Cloud Infrastructure (OCI) with the objective of understand the position and the category of a damage, obtaining a precision equal to 0.85% and a recall of 0.91%. Finally, we use a Detectron2 model for develop the Object Segmentation task that distinguish the various parts of a car, the results of this step have a precision of 90%. As last phase we match the results given by the two model for understand what the damaged parts of the car are and returning an indicative amount for repairing it. All these functions are available through a demo app that given an image return all the outputs.

Il National Highway Traffic Safety Administration (NHTSA) ha stimato che negli Stati Uniti ogni anno accadono circa 6 milioni di incidenti stradali. Una buona parte di essi coinvolge le carrozzerie delle auto e sono riparabili, per questo motivo ogni giorno sono richiesti molti risarcimenti assicurativi e preventivi dai carrozzieri. In questa tesi, sviluppata nell’azienda Technology Reply S.r.l., abbiamo affrontato i processi base di un’applicazione con lo scopo di calcolare l’ammontare di una ricompensa assicurativa in maniera autonoma. Siamo partiti creando un dataset appropriato di auto incidentate. Abbiamo cercato quelli già online e ne abbiamo uniti alcuni. Successivamente, abbiamo seguito i principali metodi di Data Ingestion, Data Transformation e Image Augumentation per aumentare il numero di immagini. In seguito, sono stati implementati alcuni modelli di Object Detection e Classification tramite l’Oracle Cloud Infrastructure (OCI) con l’obiettivo di individuare i danni e la loro categoria, in questa fase abbiamo ottenuto una precisione dell’85% e una sensibilità del 91%. Infine, tramite un modello di tipo Detectron2 è stata sviluppata la fase di Object Segmentation per distinguere le varie parti dell’auto, i risultati di questo step hanno una precisione di circa il 90%. L’ultimo passaggio è stato quello di unire i risultati ottenuti dai due modelli per capire quali erano le parti danneggiate dell’auto e restituire un cifra indicativa del costo di riparazione. Tutte queste funzioni sono disponibili tramite un’ app demo che data un’immagine restituisce tutti gli output.