Neural Radiance Fields (NeRFs) have shown impressive results for novel view synthesis when a sufficiently large amount of views are available. When dealing with few-shot settings, i.e. with a small set of input views, the model could overfit those views, leading to artifacts and geometric and chromatic inconsistencies in the resulting rendering. Regularization is a valid solution that helps NeRF generalization. On the other hand, most of the recent NeRF regularization techniques aim each one to mitigate a specific rendering problem. Starting from this observation, in this thesis we propose CombiNeRF, a framework that synergically combines several regularization techniques, some of them novel, in order to unify the benefits of each. In particular, we regularize single and neighboring rays distribution and we add a smoothness term to regularize near geometries. After these geometric approaches, we propose to exploit Lipshitz regularization on both NeRF density and color networks and to use encoding masks for input features regularization. We show that CombiNeRF outperforms the state-of-the-art methods with few-shot settings in several publicly available datasets. We also present an ablation study on the LLFF and Nerf-Synthetic datasets that supports the choices made. The research activity performed within this thesis has been submitted to a major conference in 3D and Computer Vision.

Neural Radiance Fields (NeRFs) hanno mostrato risultati impressionanti per la sintesi di immagini inedite quando è inizialmente disponibile un numero sufficientemente elevato di immagini. Nel caso "few-shot", ossia quando viene fornito un numero limitato di immagini di input, il modello potrebbe adattarvisi eccessivamente, causando artefatti e incoerenze geometriche e cromatiche nel rendering risultante. Forme di regolarizzazione possono essere introdotte per mitigare questi problemi. A questo scopo, recenti tecniche di regolarizzazione NeRF sono state introdotte per evitare la convergenza del modello in soluzioni incoerenti. Partendo da questa osservazione, in questa tesi proponiamo CombiNeRF, un framework che combina sinergicamente diverse tecniche di regolarizzazione, alcune delle quali nuove, al fine di unificarne i benefici. In particolare, regolarizziamo la distribuzione dei raggi e aggiungiamo un termine di smoothness per favorire la generazione di superfici lisce. Oltre questi approcci geometrici, proponiamo di sfruttare la regolarizzazione di Lipshitz sia per la rete NeRF di densità che del colore e di utilizzare maschere di codifica per la regolarizzazione delle features in input alla rete. Successivamente, mostriamo come CombiNeRF supera i metodi allo stato dell'arte con impostazione few-shot in diversi datasets disponibili pubblicamente. Presentiamo anche un'analisi ulteriore sui datasets LLFF e Nerf-Synthetic che supporta le scelte fatte. L'attività di ricerca condotta in questa tesi è stata proposta ad una delle principali conferenze nel campo 3D e Computer Vision.

CombiNeRF: a Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis

SARROCCO, LUIGI
2022/2023

Abstract

Neural Radiance Fields (NeRFs) have shown impressive results for novel view synthesis when a sufficiently large amount of views are available. When dealing with few-shot settings, i.e. with a small set of input views, the model could overfit those views, leading to artifacts and geometric and chromatic inconsistencies in the resulting rendering. Regularization is a valid solution that helps NeRF generalization. On the other hand, most of the recent NeRF regularization techniques aim each one to mitigate a specific rendering problem. Starting from this observation, in this thesis we propose CombiNeRF, a framework that synergically combines several regularization techniques, some of them novel, in order to unify the benefits of each. In particular, we regularize single and neighboring rays distribution and we add a smoothness term to regularize near geometries. After these geometric approaches, we propose to exploit Lipshitz regularization on both NeRF density and color networks and to use encoding masks for input features regularization. We show that CombiNeRF outperforms the state-of-the-art methods with few-shot settings in several publicly available datasets. We also present an ablation study on the LLFF and Nerf-Synthetic datasets that supports the choices made. The research activity performed within this thesis has been submitted to a major conference in 3D and Computer Vision.
2022
CombiNeRF: a Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis
Neural Radiance Fields (NeRFs) hanno mostrato risultati impressionanti per la sintesi di immagini inedite quando è inizialmente disponibile un numero sufficientemente elevato di immagini. Nel caso "few-shot", ossia quando viene fornito un numero limitato di immagini di input, il modello potrebbe adattarvisi eccessivamente, causando artefatti e incoerenze geometriche e cromatiche nel rendering risultante. Forme di regolarizzazione possono essere introdotte per mitigare questi problemi. A questo scopo, recenti tecniche di regolarizzazione NeRF sono state introdotte per evitare la convergenza del modello in soluzioni incoerenti. Partendo da questa osservazione, in questa tesi proponiamo CombiNeRF, un framework che combina sinergicamente diverse tecniche di regolarizzazione, alcune delle quali nuove, al fine di unificarne i benefici. In particolare, regolarizziamo la distribuzione dei raggi e aggiungiamo un termine di smoothness per favorire la generazione di superfici lisce. Oltre questi approcci geometrici, proponiamo di sfruttare la regolarizzazione di Lipshitz sia per la rete NeRF di densità che del colore e di utilizzare maschere di codifica per la regolarizzazione delle features in input alla rete. Successivamente, mostriamo come CombiNeRF supera i metodi allo stato dell'arte con impostazione few-shot in diversi datasets disponibili pubblicamente. Presentiamo anche un'analisi ulteriore sui datasets LLFF e Nerf-Synthetic che supporta le scelte fatte. L'attività di ricerca condotta in questa tesi è stata proposta ad una delle principali conferenze nel campo 3D e Computer Vision.
View Synthesis
Neural Fields
Few-shot learning
Regularization
File in questo prodotto:
File Dimensione Formato  
Sarrocco_Luigi.pdf

Open Access dal 05/09/2024

Dimensione 15.88 MB
Formato Adobe PDF
15.88 MB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/50768