Solving partial differential equations (PDEs) is a fundamental task in many scientific and engineering disciplines. Traditional numerical methods can be computationally expensive and struggle with high-dimensional or complex PDEs. This thesis explores the use of Deep Operator Networks (DeepONets), a novel deep learning architecture, to efficiently approximate solutions to PDEs. To address the memory and computational challenges of training and deploying DeepONets on resource-constrained devices, we propose a tensor-compressed framework that leverages Tensor-Train (TT) decomposition to significantly reduce the model’s parameter count. Furthermore, we design a specialized FPGA accelerator to efficiently perform the tensor contractions required for DeepONet inference. Our preliminary results demonstrate that the tensor-compressed DeepONet achieves comparable accuracy to standard DeepONets while requiring significantly less memory. The FPGA accelerator further enhances performance, enabling fast and energy-efficient on-device inference for solving PDEs. This work contributes to the growing field of hardware-aware machine learning, enabling the deployment of complex deep learning models on edge devices for real-time scientific computing applications.
Risolvere equazioni differenziali alle derivate parziali (EDP) è un compito fondamentale in molte discipline scientifiche e ingegneristiche. I metodi numerici tradizionali possono essere computazionalmente costosi e avere difficoltà con EDP ad alta dimensionalità o complesse. Questa tesi esplora l'uso di Deep Operator Networks (DeepONet), una nuova architettura di deep learning, per approssimare in modo efficiente le soluzioni delle EDP. Per affrontare le sfide di memoria e computazionali legate all'addestramento e all'implementazione di DeepONet su dispositivi con risorse limitate, proponiamo un framework basato sulla compressione tensoriale che sfrutta la decomposizione Tensor-Train (TT) per ridurre significativamente il numero di parametri del modello. Inoltre, progettiamo un acceleratore FPGA specializzato per eseguire in modo efficiente le contrazioni tensoriali necessarie per l'inferenza di DeepONet. I nostri risultati preliminari dimostrano che la DeepONet compressa tramite tensori raggiunge una precisione paragonabile alle DeepONet standard, pur richiedendo una quantità di memoria significativamente inferiore. L'acceleratore FPGA migliora ulteriormente le prestazioni, consentendo un'inferenza on-device rapida ed efficiente dal punto di vista energetico per la risoluzione delle EDP. Questo lavoro contribuisce al crescente campo del machine learning hardware-aware, consentendo l'implementazione di modelli di deep learning complessi su dispositivi edge per applicazioni di calcolo scientifico in tempo reale.
TT-DeepONet: Un Framework Efficiente per la Risoluzione di EDP su Dispositivi con Risorse Limitate, basato su Compressione Tensoriale
TONELLI, PAOLO
2023/2024
Abstract
Solving partial differential equations (PDEs) is a fundamental task in many scientific and engineering disciplines. Traditional numerical methods can be computationally expensive and struggle with high-dimensional or complex PDEs. This thesis explores the use of Deep Operator Networks (DeepONets), a novel deep learning architecture, to efficiently approximate solutions to PDEs. To address the memory and computational challenges of training and deploying DeepONets on resource-constrained devices, we propose a tensor-compressed framework that leverages Tensor-Train (TT) decomposition to significantly reduce the model’s parameter count. Furthermore, we design a specialized FPGA accelerator to efficiently perform the tensor contractions required for DeepONet inference. Our preliminary results demonstrate that the tensor-compressed DeepONet achieves comparable accuracy to standard DeepONets while requiring significantly less memory. The FPGA accelerator further enhances performance, enabling fast and energy-efficient on-device inference for solving PDEs. This work contributes to the growing field of hardware-aware machine learning, enabling the deployment of complex deep learning models on edge devices for real-time scientific computing applications.File | Dimensione | Formato | |
---|---|---|---|
Tonelli_Paolo.pdf
accesso aperto
Dimensione
2.84 MB
Formato
Adobe PDF
|
2.84 MB | Adobe PDF | Visualizza/Apri |
The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License
https://hdl.handle.net/20.500.12608/76174