Solving partial differential equations (PDEs) is a fundamental task in many scientific and engineering disciplines. Traditional numerical methods can be computationally expensive and struggle with high-dimensional or complex PDEs. This thesis explores the use of Deep Operator Networks (DeepONets), a novel deep learning architecture, to efficiently approximate solutions to PDEs. To address the memory and computational challenges of training and deploying DeepONets on resource-constrained devices, we propose a tensor-compressed framework that leverages Tensor-Train (TT) decomposition to significantly reduce the model’s parameter count. Furthermore, we design a specialized FPGA accelerator to efficiently perform the tensor contractions required for DeepONet inference. Our preliminary results demonstrate that the tensor-compressed DeepONet achieves comparable accuracy to standard DeepONets while requiring significantly less memory. The FPGA accelerator further enhances performance, enabling fast and energy-efficient on-device inference for solving PDEs. This work contributes to the growing field of hardware-aware machine learning, enabling the deployment of complex deep learning models on edge devices for real-time scientific computing applications.

Risolvere equazioni differenziali alle derivate parziali (EDP) è un compito fondamentale in molte discipline scientifiche e ingegneristiche. I metodi numerici tradizionali possono essere computazionalmente costosi e avere difficoltà con EDP ad alta dimensionalità o complesse. Questa tesi esplora l'uso di Deep Operator Networks (DeepONet), una nuova architettura di deep learning, per approssimare in modo efficiente le soluzioni delle EDP. Per affrontare le sfide di memoria e computazionali legate all'addestramento e all'implementazione di DeepONet su dispositivi con risorse limitate, proponiamo un framework basato sulla compressione tensoriale che sfrutta la decomposizione Tensor-Train (TT) per ridurre significativamente il numero di parametri del modello. Inoltre, progettiamo un acceleratore FPGA specializzato per eseguire in modo efficiente le contrazioni tensoriali necessarie per l'inferenza di DeepONet. I nostri risultati preliminari dimostrano che la DeepONet compressa tramite tensori raggiunge una precisione paragonabile alle DeepONet standard, pur richiedendo una quantità di memoria significativamente inferiore. L'acceleratore FPGA migliora ulteriormente le prestazioni, consentendo un'inferenza on-device rapida ed efficiente dal punto di vista energetico per la risoluzione delle EDP. Questo lavoro contribuisce al crescente campo del machine learning hardware-aware, consentendo l'implementazione di modelli di deep learning complessi su dispositivi edge per applicazioni di calcolo scientifico in tempo reale.

TT-DeepONet: Un Framework Efficiente per la Risoluzione di EDP su Dispositivi con Risorse Limitate, basato su Compressione Tensoriale

TONELLI, PAOLO
2023/2024

Abstract

Solving partial differential equations (PDEs) is a fundamental task in many scientific and engineering disciplines. Traditional numerical methods can be computationally expensive and struggle with high-dimensional or complex PDEs. This thesis explores the use of Deep Operator Networks (DeepONets), a novel deep learning architecture, to efficiently approximate solutions to PDEs. To address the memory and computational challenges of training and deploying DeepONets on resource-constrained devices, we propose a tensor-compressed framework that leverages Tensor-Train (TT) decomposition to significantly reduce the model’s parameter count. Furthermore, we design a specialized FPGA accelerator to efficiently perform the tensor contractions required for DeepONet inference. Our preliminary results demonstrate that the tensor-compressed DeepONet achieves comparable accuracy to standard DeepONets while requiring significantly less memory. The FPGA accelerator further enhances performance, enabling fast and energy-efficient on-device inference for solving PDEs. This work contributes to the growing field of hardware-aware machine learning, enabling the deployment of complex deep learning models on edge devices for real-time scientific computing applications.
2023
TT-DeepONet: A Hardware-Aware Tensor-Compressed Framework for Solving PDEs on Resource-Constrained Devices
Risolvere equazioni differenziali alle derivate parziali (EDP) è un compito fondamentale in molte discipline scientifiche e ingegneristiche. I metodi numerici tradizionali possono essere computazionalmente costosi e avere difficoltà con EDP ad alta dimensionalità o complesse. Questa tesi esplora l'uso di Deep Operator Networks (DeepONet), una nuova architettura di deep learning, per approssimare in modo efficiente le soluzioni delle EDP. Per affrontare le sfide di memoria e computazionali legate all'addestramento e all'implementazione di DeepONet su dispositivi con risorse limitate, proponiamo un framework basato sulla compressione tensoriale che sfrutta la decomposizione Tensor-Train (TT) per ridurre significativamente il numero di parametri del modello. Inoltre, progettiamo un acceleratore FPGA specializzato per eseguire in modo efficiente le contrazioni tensoriali necessarie per l'inferenza di DeepONet. I nostri risultati preliminari dimostrano che la DeepONet compressa tramite tensori raggiunge una precisione paragonabile alle DeepONet standard, pur richiedendo una quantità di memoria significativamente inferiore. L'acceleratore FPGA migliora ulteriormente le prestazioni, consentendo un'inferenza on-device rapida ed efficiente dal punto di vista energetico per la risoluzione delle EDP. Questo lavoro contribuisce al crescente campo del machine learning hardware-aware, consentendo l'implementazione di modelli di deep learning complessi su dispositivi edge per applicazioni di calcolo scientifico in tempo reale.
Machine Learning
EDP
FPGA
File in questo prodotto:
File Dimensione Formato  
Tonelli_Paolo.pdf

accesso aperto

Dimensione 2.84 MB
Formato Adobe PDF
2.84 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/76174