요즘 누가 이미지 데이터 셋으로 학습해? 이미지넷 vs. 한 개의 비디오: ‘DORA’가 보여준 새로운 학습 패러다임!

안녕하세요, 딥러닝 논문 읽기 모임입니다. 오늘은 “Is ImageNet Worth 1 Video?”라는 제목의 흥미로운 연구를 소개해 드리려 합니다. 보통은 수백만 장의 이미지가 담긴 ImageNet 같은 대규모 데이터셋을 활용해 모델을 학습하지만, 이 논문에서는 ‘하나의 길고 연속된 비디오’만으로 ImageNet 수준의 강력한 이미지 표현을 학습할 수 있다는 주장을 펴고 있습니다.

연구진은 먼저 워킹투어(Walking Tours)라고 불리는 새 데이터셋을 만들었습니다. 유튜브에서 가져온 1~3시간짜리 고해상도(4K) 1인칭 시점 비디오 10개로 구성되어 있는데요. 일반적인 동영상과 달리, 장면 전환(‘컷’)이 거의 없고, 촬영자의 시선이 계속 자연스럽게 움직이면서 다양한 사물·장소를 담아냅니다. 사람의 시각 경험과 유사한 형태인 만큼, 단조로운 이미지 수백만 장보다 훨씬 ‘학습 효율’이 높을 가능성이 있다고 봤죠.

핵심 알고리즘인 DORA는, 비디오 상에서 물체들을 ‘발견(Discovery)’하고 ‘추적(Tracking)’하는 과정을 통해 이미지를 학습합니다. 단순히 임의의 프레임 몇 장을 긁어 쓰는 게 아니라, 영상 속 객체를 끝까지 따라다니며 여러 시점에서 관찰해, 마치 사람처럼 변화하는 뷰(view)와 조명, 배경 속성을 자연스럽게 포착한다는 아이디어입니다. 이 과정을 ‘비디오판 DINO’라고도 할 수 있는데, 트랜스포머의 멀티-헤드 어텐션을 활용해 객체를 구분·추적하고, 각 객체 부분만 마스킹한 데이터를 새로운 시점으로 학습에 활용하죠.

결과는 무척 인상적입니다. 단 한 개의 길고 연속된 비디오에서만 학습했는데도, ImageNet을 학습한 기존 모델과 비교해 ADE20k나 MS COCO 같은 대표적인 영상·이미지 벤치마크에서 경쟁력 있는 성능을 보여준다고 하네요. 이는 “데이터의 양적 확대만이 답이 아니다”라는 메시지를 다시 한번 강조해 줍니다.

더 자세한 내용은 딥러닝 논문 읽기 모임 채널에서 함께 살펴보시죠! 긴 비디오 한 편으로도 높은 성능을 낼 수 있다는 점이 정말 놀랍지 않나요? 앞으로 이런 방식이 대규모 비정형 데이터를 더 스마트하게 활용하는 새로운 길이 될 수 있을 것 같습니다. 감사합니다!