A real-time service for face re-identification based on deep learning and online clustering

A face re-identification service aims to verify if detected faces have already been seen from the system. The ability of identify new and returning persons and distinguish them can be useful in social robots in order to adapt their behavior according to who they have in front. The reidentification problem is particular challenging since we start with no previous information about the persons to recognize and the database upon which we do recognition must be built in real-time with no control over the conditions and quality of the gathered faces. The proposed system is based on deep neural network to be able to extract the features from a detected face and a clustering system to correctly group and store the faces of the same person together. In particular, since the recognition is performed on such clusters, is crucial to keep them of the higher quality possible. To do so every face is tied with a quality score, which will play a vital role in choosing which faces keep in the sets, which not, and in general in the cluster update and creation operations. The system has achieved an accuracy of 0.78 on faces detected by a mobile robot in an unconstrained environment. With a False Acceptance Rate of 0.15 and a False Rejection Rate of 0.07 mainly due to misclassification of sideview of the faces.

Un servizio di re-identificazione facciale, una volta rilevata una faccia, si occupa di determinare se è già stata vista dal sistema e se è nuova. Poter distinguere persone nuove da quelle già viste, può essere utile nei robot sociali per poter adattare il loro comportamento a seconda di chi sta interagendo con loro. La re-identificazione è un compito particolarmente impegnativo poiché si parte senza avere alcun tipo di informazione su chi bisognerà identificare. Il database sui cui si basa il riconoscimento deve essere aggiornato in tempo reale senza alcun controllo sulle condizioni in cui sono state raccolte le facce e la loro qualità. Il sistema proposto si basa su una rete neurale per poter estrarre le caratteristiche di una faccia rilevata e su un sistema di clustering per raggruppare correttamente i volti appartenenti alla stessa persona. Poiché il riconoscimento si basa sui cluster creati dal sistema, è particolarmente importante aggiornarli con facce di buona qualità. Per fare ciò ogni volto è associato con quality score che risulta cruciale per decide che facce mantenere, quali eliminare e più in generale nelle operazioni di creazione ed aggiornamento dei cluster. Il sistema proposto ha raggiunto una precisione di 0.78 su facce rilevate da un robot mobile in un ambiente non controllato. Un False Acceptance Rate di 0.15 e un False Rejection Rate of 0.07, principalmente a causa di errori di classificazione dovuti a viste laterali dei volti.