인스턴스 분할 기반 단일 실내 영상으로부터의 물체 크기 추정

Abstract

영상으로부터 물체의 크기를 추정하는 것은 2차원 영상을 3차원으로 재구성하는 컴퓨터 비전 분야의 핵심적인 문제이며 관련 연구가 활발하게 이루어지고 있다. 기존 연구들에서는 물체 크기 추정을 위해 단일 영상 외에 부가적인 정보들을 이용한다. 대표적인 방법으로 다중 카메라로부터 획득한 두 장 이상의 영상을 통해 깊이 정보를 복원하는 스테레오 비전 기법이 있다. 그러나 실제로 물체의 크기를 추정해야 하는 문제상황에서는 단일 영상 이외의 정보가 주어지지 않는 경우가 일반적이다. 단일 영상으로부터 물체의 크기를 추정하는 방법은 기존에 싱글 뷰 메트롤로지 방법이 연구되었다. 싱글 뷰 메트롤로지 방법으로 크기를 알고 있는 참조 물체와 추정한 소실점 위치를 이용하여 대상 물체의 크기를 추정할 수 있다. 하지만 이 방법은 사용자가 직접 물체들의 위치를 영상에 표시하고 소실점을 수동으로 획득해야 한다는 한계점이 존재한다. 본 논문에서는 단일 실내 영상으로부터 마스크 알-씨엔엔 모델을 이용하여 물체의 인스턴스 분할을 진행하고, 분할 결과를 이용해 물체의 크기를 반자동으로 추정하는 방법을 제안한다. 또한 연구 과정에서 개선된 소실점 추정 방법과 실내 이미지에 대한 최적의 마스크 알-씨엔엔 모델 학습 환경을 제시하였다. 실험 결과, 제안된 방법을 이용하여 기존의 한계점을 극복하고 물체의 크기 추정을 자동으로 수행할 수 있음을 확인하였다.