Class Incremental Learning in a Federated setting

Federated learning (FL) is a learning paradigm introduced in recent years that allows to train models using decentralized training data which are distributed among several devices and/or data centers. In standard approaches, participant nodes share their parameter updates which are then aggregated to generate the global model without the need to disclose their private data. Class-incremental learning (CIL) addresses the need of building models capable of learning different tasks – for which data may not be immediately available – in a sequential manner, without forgetting knowledge about previous tasks. Each task requires to recognize new classes, and the goal is to obtain a model capable of correctly recognizing classes belonging to all tasks. Despite both learning paradigms being hot research topics in recent years, there are very few studies investigating class-incremental learning scenarios in federated settings. In this thesis, we introduce a novel framework designed to tackle the federated class-incremental image classification problem. We exploit class prototype augmentation and knowledge distillation to prevent catastrophic forgetting at local level, and self-supervised label augmentation to improve generalization. We propose two learning strategies; the first one exploits local class prototypes independently computed by clients, while the second one leverages global representations obtained from the aggregation of local prototypes. We also introduce a third strategy that uses an exponential moving average to learn local prototypes by iteratively updating them at every batch during training, and exploits an additional term in the local loss function that minimizes the distance between features extracted at the each training batch and their corresponding global prototypes. This is done in order to obtain more discriminant global representations as training progresses.

Il federated learning (FL) è un paradigma di apprendimento introdotto recentemente che consente di addestrare modelli utilizzando training data che possono essere distribuiti tra più dispositivi e/o data center. Nei metodi standard, i nodi partecipanti condividono gli aggiornamenti dei parametri del loro modello locale, che vengono poi aggregati per generare il modello globale senza la necessità di condividere i propri dati. Il class-incremental learning (CIL) risponde all'esigenza di progettare modelli in grado di apprendere diversi tasks - per i quali i dati potrebbero non essere immediatamente disponibili - in modo sequenziale, senza dimenticare i tasks imparati precedentemente. Ogni task nuovo richiede di classificare classi in precedenza sconosciute al modello; l'obiettivo è quello di ottenere un modello in grado di riconoscere correttamente le classi appartenenti a tutti i task. Nonostante entrambi i paradigmi di apprendimento siano stati tra gli argomenti di ricerca più gettonati negli ultimi anni, ci sono pochissimi studi che trattano scenari di apprendimento class-incremental in contesti federated. In questa tesi introduciamo un nuovo framework progettato per affrontare il problema di federated class-incremental image classification. Il nostro approccio sfrutta prototype augmentation e knowledge distillation per prevenire il catastrophic forgetting a livello locale, e self-supervised label augmentation per migliorare la generalizzazione. All'interno di questo lavoro proponiamo due strategie di apprendimento; la prima sfrutta class prototypes locali calcolati indipendentemente dai vari client, mentre la seconda sfrutta prototypes globali ottenuti dall'aggregazione dei prototypes locali. Successivamente, introduciamo anche una terza strategia, che utilizza una media mobile esponenziale per apprendere i prototypes locali aggiornandoli in modo iterativo ad ogni batch durante l'addestramento, e sfrutta un termine aggiuntivo nella loss function locale che forza le feature locali estratte ad ogni batch di allenamento da ciascun client ad essere più vicine al prototype globale corrispondente, in modo tale da ottenere rappresentazioni più discriminative mano a mano che l'allenamento procede.