Putting NeRF on a Diet Review - 김선호 | Nerd's NeRF Team @가짜연구소

Title: Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis (ICCV 2021)

본 논문은 적은 양의 training input에 대해서도 강인한 novel view synthesis를 할 수 있는 few-shot NeRF 방법론을 제안합니다. 이를 위해 논문에서는 CLIP 사전 학습 모델을 만들어내고, 이 모델을 기반으로 각 view에서 렌더링한 결과를 embedding하게 됩니다. 여기서 나온 embedding 결과는 training input으로 가지고 있던 Ground truth 이미지의 embedding 결과와 비교하게 되는데요, 두 embedding vector 간 semantic consistency loss를 최소화 함으로써 unseen view에서 rendering했던 결과도 동일한 객체를 rendering하는 결과를 얻을 수 있게끔 결과를 도출하고 있습니다.

* 영상 녹화 설정에 착오가 있어 청강하신 분들의 질문 음성이 녹음되지 않았습니다. 이로 인해 대다수의 질문을 편집해서 올리는 점 양해 부탁드립니다.
* 08:10 부분에 녹음되지 않은 질문은 이전 페이지에서 'View Dep.'가 의미하는 것이 무엇인지에 대해서였습니다.

paper: https://arxiv.org/abs/2104.00677
project page: https://ajayj.com/dietnerf/
github: https://github.com/codestella/putting...

#가짜연구소 #NeRF #DietNeRF