GAN-based defect transfer model for steel surface defect generation

Over the last years we have witnessed the use of many deep learning approaches in the industry and in particular in the field of defect detection. However, these techniques require large amount of data of defective samples which are not always available for all the defect classes and the materials. To address the problem of insufficient defect samples in the task of steel defect detection, we have proposed a GAN model which is based on a swapping autoencoder. Our solution disentangles the defect-specific content from the background and transfer the content from a steel surface with a specific texture to a new steel surface with a different texture by swapping the texture code. These synthetic defective samples enlarge the dataset and increase the diversity of defects on the target steel item. Through the experiments we could demonstrate that our solution can be used as a data augmentation tool improving thus the accuracy of a defect classifier.

Negli ultimi anni abbiamo potuto assistere all’impiego di molte strategie basate sul deep learning nel settore industriale e in particolare nel campo del rilevamento dei difetti. Tuttavia, queste tecniche richiedono una grande quantità di dati di campioni difettosi che non sono sempre disponibili per tutte le classi di difetti e materiali. Per affrontare quindi il problema dell’insufficienza della quantità delle immagini di difetti nell’attività di rilevamento dei difetti dell’acciaio, abbiamo proposto un modello GAN basato sulla scomposizione dell’input in due codifiche. La nostra soluzione si impegna quindi a separare l’informazione che specifica la forma del difetto dall’informazione che identifica invece la texture della superficie. Grazie a tale sbrogliamento della rappresentazione dell’immagine, scambiando la codifica di una texture con la codifica di un’altra texture possiamo trasferire il difetto da una superficie in acciaio con una trama specifica a una nuova superficie in acciaio con una trama diversa. Questi campioni sintetici difettosi vanno quindi ad ampliare il set di dati e aumentano la diversità dei difetti su un oggetto in acciaio. Dagli esperimenti effettuati abbiamo potuto dimostrare che la nostra soluzione può essere utilizzata come strumento per la data augmentation, migliorando quindi l’accuratezza dei sistemi di classificazione dei difetti.