Mixture of Experts leggera Model-Level con gating causale per speech enhancement in tempo reale

Speech enhancement in real-time applications requires models that are causal, computationally lightweight, and capable of handling a wide range of acoustic conditions. Scaling a single model to cover the full diversity of real-world noise conditions increases compute proportionally, making deployment on constrained hardware infeasible. This thesis proposes a model-level Mixture of Experts architecture for real-time speech enhancement. Rather than scaling a single model, the system combines four lightweight causal expert networks through a learned per-frame gating mechanism that allocates processing dynamically to whichever expert best matches the current acoustic condition. The gating mechanism operates in two modes: an ensemble mode in which the gate reads expert bottleneck features to produce soft routing weights, and a shared-encoder mode in which a dedicated lightweight encoder processes the noisy spectrogram before any expert executes, enabling conditional expert skipping. Throughout this work, speech quality and intelligibility are assessed through standard objective metrics, PESQ, STOI, SI-SDR, and SI-SNR, as proxies, without subjective listening tests. The ensemble consistently improves over the strongest single expert on almost all metrics on both benchmarks. Analysis of the learned gate weights reveals that the routing policy is semantically meaningful: the gate suppresses the redundant expert to near-zero weight, shifts weight away from the heavier expert on the easier benchmark, and under adaptive budgeting recruits more experts on acoustically harder frames. Router distillation is shown to be the key factor that separates selective from indiscriminate routing. On the quality-vs-compute Pareto frontier, the best operating point activates at most two experts per frame, saving 16% of compute on DNS-3 relative to the dense ensemble with a PESQ drop of less than 0.05. The resulting model is competitive with published lightweight systems on both benchmarks at a comparable computational budget.

Lo speech enhancement in applicazioni real-time richiede modelli causali, computazionalmente leggeri e in grado di gestire un'ampia varietà di condizioni acustiche. Aumentare la capacità di un singolo modello per coprire la diversità degli scenari rumorosi reali comporta un incremento proporzionale del costo computazionale, rendendo difficile il deployment su hardware con risorse limitate. Questa tesi propone un'architettura Mixture of Experts model-level per lo speech enhancement real-time. Invece di scalare un unico modello, il sistema combina quattro reti esperte causali attraverso un meccanismo di gating, che assegna dinamicamente i pesi all'esperto, o agli esperti, più adatti alla condizione acustica corrente. Il meccanismo di gating opera in due modalità. Nella modalità ensemble, il gate utilizza le bottleneck features prodotte dagli esperti per generare pesi di routing. Nella modalità shared-encoder, invece, un encoder dedicato elabora lo spettrogramma rumoroso prima dell’esecuzione degli esperti, permettendo di saltare in modo condizionale alcuni di essi e ridurre il costo computazionale. Durante lo sviluppo, qualità e intelligibilità del parlato sono state valutate tramite metriche oggettive standard, PESQ, STOI, SI-SDR e SI-SNR, utilizzate come proxy in assenza di test di ascolto soggettivi. L’ensemble migliora in modo consistente rispetto al miglior esperto singolo su quasi tutte queste metriche e su entrambi i benchmark considerati. L’analisi dei pesi gate mostra che la politica di routing è semanticamente significativa: il gate riduce quasi a zero il peso assegnato all’esperto ridondante, sposta massa di routing lontano dall’esperto più costoso sul benchmark più semplice e, in regime di budget adattivo, coinvolge un numero maggiore di esperti sui frame acusticamente più difficili. La router distillation emerge come il fattore chiave che distingue un routing selettivo da un routing indiscriminato. Sulla Pareto frontier qualità-compute, il punto operativo attiva al massimo due esperti per frame, riducendo del 16% il costo computazionale su DNS- 3 rispetto all’ensemble denso, con una perdita di PESQ inferiore a 0.05. Il modello risultante è competitivo con sistemi lightweight pubblicati in letteratura su entrambi i benchmark, a parità di budget computazionale comparabile.