Trust-Aware Client Scoring in Federated Learning via Contrastive Attention and Representation Clustering

Federated machine learning is a crucial topic nowadays, playing a critical role in ensuring robustness against adversarial attacks and noisy participants and enhancing data privacy. However, most current approaches rely on static assumptions or prior information about client behavior. In this thesis, we introduce a novel trust scoring mechanism based on attention, clustering, and a dominant-cluster contrastive learning loss, where trust is dynamically assigned to clients based on their similarity to the dominant clusters. We partition the CIFAR-10 and GTSRB datasets across clients and extract their embeddings. In addition, we generate adversarial-style clients by poisoning their training dataset with strong visual perturbations, many-to-one label flipping, and backdoor-style triggers to simulate malicious and low-quality clients. First, each client performs an intra-client self-attention locally (on the client-side) to compress its D×N embeddings set into a single representation vector $r_k$ and send that representation vector to the server instead of sharing raw embeddings, which would pose a significant privacy risk. Then, on the server side, we use a learnable inter-client attention module that compares all the representation vectors coming from all clients to produce trust scores. Also, there is a hybrid clustering method (K-means + DBSCAN) applied on the same set of representation vectors to detect major clusters and outlier clients. Our contrastive loss encourages higher trust among clients in large and coherent clusters while penalizing high trust in smaller clusters. This approach models a "rich get richer" dynamic that suppresses noisy or adversarial clients. Experiments on CIFAR-10 and GTSRB demonstrate that the proposed method effectively isolates adversarial behavior, generalizes to unseen clients from the same data distribution, and improves global model performance under diverse poisoning-based adversarial scenarios. This zero-trust, self-organizing framework provides a resilient and practical solution for trust-aware aggregation in federated learning.

L'apprendimento federato (federated learning) rappresenta oggi un tema di fondamentale importanza, svolgendo un ruolo critico nel garantire robustezza contro attacchi avversari e partecipanti rumorosi, oltre a migliorare la privacy dei dati. Tuttavia, la maggior parte degli approcci attuali si basa su assunzioni statiche o su informazioni a priori riguardo al comportamento dei client. In questa tesi introduciamo un nuovo meccanismo di assegnazione del punteggio di affidabilità (trust score) basato su attenzione, clustering e una funzione di perdita contrastiva orientata al cluster dominante, in cui la fiducia viene assegnata dinamicamente ai client in base alla loro similarità con i cluster dominanti. I dataset CIFAR-10 e GTSRB vengono partizionati tra i client e ne vengono estratti gli embeddings. Inoltre, abbiamo generato client di tipo avversario inquinando il loro dataset di addestramento con forti perturbazioni visive, label flipping many-to-one e trigger di tipo backdoor, al fine di simulare client malevoli e di bassa qualità. In primo luogo, ogni client esegue localmente (lato client) una self-attention intra-client per comprimere il proprio insieme di embeddings N×D in un singolo vettore di rappresentazione rkr_k rk​, inviando tale vettore al server anziché condividere gli embeddings grezzi, che comporterebbero un significativo rischio per la privacy. Successivamente, lato server, utilizziamo un modulo di attenzione inter-client apprendibile (learnable) che confronta tutti i vettori di rappresentazione provenienti dai vari client per produrre i punteggi di affidabilità. Inoltre, viene applicato un metodo di clustering ibrido (K-means + DBSCAN) sullo stesso insieme di vettori di rappresentazione per individuare i cluster principali e i client outlier. La nostra funzione di perdita contrastiva incoraggia una maggiore fiducia tra i client appartenenti a cluster ampi e coerenti, penalizzando al contempo un'elevata fiducia nei cluster di piccole dimensioni. Questo approccio modella una dinamica di tipo "rich get richer" che sopprime i client rumorosi o avversari. I risultati sperimentali evidenziano come il modello generalizzi a client non visti durante l'addestramento e riesca a isolare con successo i comportamenti avversari senza supervisione. Questo meccanismo zero-trust auto-organizzante fornisce una soluzione scalabile e resiliente per l'aggregazione basata sulla fiducia nell'apprendimento federato.