CombiNeRF: a Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis

Neural Radiance Fields (NeRFs) have shown impressive results for novel view synthesis when a sufficiently large amount of views are available. When dealing with few-shot settings, i.e. with a small set of input views, the model could overfit those views, leading to artifacts and geometric and chromatic inconsistencies in the resulting rendering. Regularization is a valid solution that helps NeRF generalization. On the other hand, most of the recent NeRF regularization techniques aim each one to mitigate a specific rendering problem. Starting from this observation, in this thesis we propose CombiNeRF, a framework that synergically combines several regularization techniques, some of them novel, in order to unify the benefits of each. In particular, we regularize single and neighboring rays distribution and we add a smoothness term to regularize near geometries. After these geometric approaches, we propose to exploit Lipshitz regularization on both NeRF density and color networks and to use encoding masks for input features regularization. We show that CombiNeRF outperforms the state-of-the-art methods with few-shot settings in several publicly available datasets. We also present an ablation study on the LLFF and Nerf-Synthetic datasets that supports the choices made. The research activity performed within this thesis has been submitted to a major conference in 3D and Computer Vision.

Neural Radiance Fields (NeRFs) hanno mostrato risultati impressionanti per la sintesi di immagini inedite quando è inizialmente disponibile un numero sufficientemente elevato di immagini. Nel caso "few-shot", ossia quando viene fornito un numero limitato di immagini di input, il modello potrebbe adattarvisi eccessivamente, causando artefatti e incoerenze geometriche e cromatiche nel rendering risultante. Forme di regolarizzazione possono essere introdotte per mitigare questi problemi. A questo scopo, recenti tecniche di regolarizzazione NeRF sono state introdotte per evitare la convergenza del modello in soluzioni incoerenti. Partendo da questa osservazione, in questa tesi proponiamo CombiNeRF, un framework che combina sinergicamente diverse tecniche di regolarizzazione, alcune delle quali nuove, al fine di unificarne i benefici. In particolare, regolarizziamo la distribuzione dei raggi e aggiungiamo un termine di smoothness per favorire la generazione di superfici lisce. Oltre questi approcci geometrici, proponiamo di sfruttare la regolarizzazione di Lipshitz sia per la rete NeRF di densità che del colore e di utilizzare maschere di codifica per la regolarizzazione delle features in input alla rete. Successivamente, mostriamo come CombiNeRF supera i metodi allo stato dell'arte con impostazione few-shot in diversi datasets disponibili pubblicamente. Presentiamo anche un'analisi ulteriore sui datasets LLFF e Nerf-Synthetic che supporta le scelte fatte. L'attività di ricerca condotta in questa tesi è stata proposta ad una delle principali conferenze nel campo 3D e Computer Vision.