카메라 보정 오류에 강건한 깊이맵 업샘플링 기술

Abstract

최근 비행시간 (Time-of-Flight, TOF) 원리에 기반한 깊이 카메라의 등장과 함께 저해상도 깊이 카메라와 고해상도 컬러 카메라로 이루어진 복합형 카메라 시스템 (Fusion Camera System) 이 각광을 받고 있다. 복합형 카메라 시스템에서 취득한 저해상도 깊이맵을 컬러 영상과 같은 영상 평면 (Image Plane) 에 위치시키고 같은 해상도를 가질 수 있게 하려면 카메라 보정 및 3차원 투영, 홀 (Hole) 채우기와 같은 일련의 전처리 과정이 필요하다. 그러나 전처리 과정을 거친 깊이맵은 깊이 카메라의 내부 특성, 카메라 보정의 부정확성 등에 의해 많은 오차를 가진다. 그러므로 본 논문에서는 오차가 많은 상황에서도 강건하게 동작하는 깊이맵 업샘플링 방법을 제안한다. 먼저, 전처리 과정을 통해 얻은 깊이 정보의 신뢰도를 컬러 영상과의 상관관계에 기반하여 측정한다. 그리고 낮은 신뢰도의 깊이 정보를 참조하지 않는 수정된 커널 회기법 (Kernel Regression)을 통해 깊이맵과 컬러 영상의 경계 정합을 수행하여 세밀한 깊이 표현이 가능한 고해상도 깊이맵을 형성한다. 제안하는 알고리즘은 깊이 정보의 신뢰도 정의와 그에 따른 참조를 통해 카메라 보정 결과가 부정확하더라도 높은 성능의 깊이맵 생성을 보장한다. 실험결과를 통해 기존의 깊이맵 업샘플링 기술보다 제안하는 방법이 더 정확한 깊이 정보를 제공하는 것을 확인할 수 있다