Federated multimodal learning for road scenes semantic segmentation

Federated learning (FL) is a machine learning approach that allows multiple devices (clients) to collaboratively train a shared model without exchanging their data with each other or any kind of sensitive information. Instead of sending data to a central server for the training procedure the global model is trained locally on each device and only the updates are sent. They are aggregated according to ad-hoc strategies to improve the shared model. This project is built on such framework and its main scope is to extend the work and the results of [1] using different data sources (RGB, Depth or both simultaneously) for the cityscapes dataset [2]. This task is tackled using the autoencoder class of architectures based on deeplabv3 for the encoder while mobilenet-v2 for the decoder.

L'apprendimento federato (FL) è un approccio di apprendimento automatico che consente a più dispositivi (clienti) di addestrare in modo collaborativo un modello condiviso senza scambiare i propri dati o qualsiasi altro tipo di informazione sensibile tra loro. Invece di inviare i dati a un server centrale per la procedura di apprendimento, il modello globale viene addestrato localmente su ciascun dispositivo e vengono inviati solo gli aggiornamenti. Questi ultimi sono aggregati secondo strategie ad-hoc per migliorare il modello condiviso. Questo progetto è costruito su tale struttura e il suo scopo principale è quello di estendere il lavoro e i risultati di [1] utilizzando diverse fonti di dati (RGB, profondità o entrambe contemporaneamente) per il set di dati dei paesaggi urbani [2]. Questo compito viene affrontato utilizzando la classe di architetture autoencoder basata su deeplabv3 per il codificatore mentre mobilenet-v2 per il decodificatore.