Sparse multi-view object segmentation using local depth mapping

Abstract

기존의 다시점 객체 분리에 관한 기술은 10대 이상의 카메라를 활용하거나, 스테레오 카메라와 같이 물리적으로 결합된 제한된 촬영된 환경에서 이루어져 왔다. 이러한 환경에서 시점 간의 공통된 컬러 형태의 추출을 통한 분리가 이루어졌다. 하지만 카메라 대수가 적고 시점 간의 거리가 멀어질 수록 다시점 이미지의 공통된 객체를 분리하는 것은 어려운 문제이다. 본 논문에서는 2~3대의 일반 카메라와 키넥트와 같은 저비용의 깊이 카메라가 결합된 시스템을 제안함으로써, 객체 분리에서 컬러 카메라가 가지는 한계점을 극복하고자 한다. 시점 간의 컬러 유사성이 매우 적은 다시점 이미지의 일관성을 유지하기 위해, 우리의 지역적 깊이 정보 매핑 기법을 이용해 새로운 대응 영역을 생성한다. 생성된 대응영역 간의 컬러와 깊이정보 차이를 통해 지역적으로 적응된 에너지를 생성함으로써, 시점 별 일관성을 더 강하게 유지한다. 우리의 객체분리기술은 카메라 간의 각도, 거리에 따라 측정함으로써, 객체분리가 가능한 카메라 촬영환경을 철저하게 분석한다. 또한, 표준화된 다시점 이미지들을 활용하여, 기존 기술과 정확도를 비교함으로써 객체분리의 품질을 측정한다. 비교된 결과물은 특히 카메라 대수가 적고 간격이 넓은 촬영환경에서 좋은 품질을 생성함을 입증한다.