Federated Learning: Un approccio collaborativo e distribuito per l'apprendimento automatico

Federated learning (FL) represents an innovative distributed approach for training artificial intelligence models and, its main goal is to preserve user privacy and ensure data integrity during the learning phases. In contrast to traditional approaches in which data are centralized in a single server and are used to train a single model, federated learning allows training a global model using updates from a number of geographically distributed models trained locally on users' devices. As a result, the central server only receives updates from individual models, without having the ability to access the raw data. The purpose of this thesis is to provide an overview regarding this machine learning technique by going over the operation, architecture, and various classes of FL such as horizontal FL, vertical FL, and federated transfer learning. Aspects inherent to model customization, the use of the FedAvg algorithm as a method for meta-learning and hyperparameter tuning are other topics discussed that are relevant to the proper functioning of this collaborative approach. In the context of federated learning, the main methods for privacy protection, including differential privacy, secure multi-party computation and homomorphic encryption, are also introduced and discussed.

Il federated learning (FL) rappresenta un innovativo approccio distribuito per l’allenamento di modelli di intelligenza artificiale e, l’obiettivo principale che si pone, consiste nel preservare la privacy degli utenti e nel garantire l’integrità dei dati durante le fasi di apprendimento. Contrariamente agli approcci tradizionali in cui i dati vengono centralizzati in un unico server e vengono utilizzati per addestrare un solo modello, il federated learning consente di allenare un modello globale utilizzando gli aggiornamenti provenienti da una serie di modelli distribuiti geograficamente, addestrati localmente sui dispositivi degli utenti. Di conseguenza, il server centrale riceve esclusivamente gli aggiornamenti dei singoli modelli, senza aver la possibilità di accedere ai dati grezzi. Lo scopo di questa tesi è quello di fornire una panoramica riguardante questa tecnica di apprendimento automatico andando ad analizzare il funzionamento, l’architettura e le varie classi di FL come l’horizontal FL, il vertical FL e il federated transfer learning. Aspetti inerenti alla personalizzazione di modelli, l’impiego dell’algoritmo FedAvg come metodo per il meta-apprendimento e l’hyperparameter tuning sono altri argomenti discussi che risultano essere rilevanti ai fini del corretto funzionamento di questo approccio collaborativo. Nel contesto del federated learning vengono inoltre introdotti e discussi i principali metodi per la protezione della privacy, inclusa la privacy differenziale, la secure multi-party computation e la crittografia omomorfica.