Temporally consistent and binocular symmetric hole filling method for stereoscopic video generation

Abstract

오토스테레오스코픽 3차원 디스플레이는 새로운 3 차원 디스플레이 기술 중 하나로 많은 연구가 되고 있다. 이 기술은 다중 시점의 영상들을 시청자에게 제공함으로써 안경 없이 3 차원 영상을 제공해 줄 수 있다. 하지만, 이러한 3차원 서비스를 제공하기 위해서는 모든 시점의 영상들이 필요하며, 이 영상들을 송수신하는 것은 불가능하기 때문에 원본 카메라로부터 얻어진 적은 수의 영상으로부터 가상시점의 영상들을 생성하는 기술이 요구된다. 일반적으로 가상시점 영상을 생성하기 위해서 깊이 영상 기반 렌더링 (depth image-based rendering) 기술이 주로 사용된다. 하지만 깊이 영상 기반 렌더링의 3 차원 와핑 기술을 적용하면 원본 시점의 영상에서 전경에 의해 가려져 있던 배경 영역이 가상시점 영상에 나타나면서 홀이 생기게 된다. 따라서, 깊이 영상 기반 렌더링에서 가장 도전적인 요소는 이 홀을 채우는 것이다. 이를 위해서 기존 방법들은 하나의 영상 내에서 깊이 영상 정보를 이용한 홀 채움 방법들을 제안해왔다. 하지만, 대부분의 방법들은 비디오 내 한 프레임에서의 영상을 독립적으로 홀을 채우는 방식이다. 따라서, 연속된 비디오 프레임 내의 채워진 영역에 대해서 급격한 구조와 밝기 등의 변화가 생길 수 있다. 또한, 대부분의 방법들은 다른 시점의 가상 시점 영상들 사이의 관계를 고려하지 않았기 때문에 가상 시점 영상 간의 불일치 문제가 발생할 수 있다. 3 차원 비디오를 시청 할 때, 인간의 눈은 시간적 불일치와 좌우 영상의 불일치에 매우 민감하기 때문에, 시간적 일관성 (temporal con-sistency) 과 양안 일치 (binocular symmetry) 는 합성된 3 차원 비디오의 시각적 품질에 영향을 미치는 주요한 요소이다. 본 연구에서는 이산 마코브 랜덤 필드 (Markov random field) 체계에서 전역 최적화를 이용한 시간적 일관성과 양안 일치가 있는 홀 채움 방법을 제안하였다. 이를 위해 모션 벡터와 깊이 영상의 도움을 받아 이전 프레임과 인접 시점의 정보를 활용함으로써 시간적 일관성과 양안 일치가 동시에 고려될 수 있는 새로운 마코프 랜덤 필드의 비용 함수를 디자인 하였다. 또한, 마코프 랜덤 필드의 비용함수를 최적화 하기 위한 belief propagation (BP) 의 높은 게산량을 줄이기 위해, 이전 프레임과 인접 시점영상에서 이미 처리된 신뢰가 높은 후보 패치들을 전달 시키는 패치 전달 기법을 제안하였다. 제안하는 방법의 우수성을 확인하기 위해 수 개의 공인데이터베이스를 사용하여 기존 방법들과 비교실험을 수행하였다. 실험 결과로부터 제안하는 방법은 영상의 품질은 유지하면서 기존방법에 비해 계산량이 현저히 줄어들고 시간적 일관성과 양안 일치가 있는 비디오 영상이 생성되는 것을 확인하여 제안하는 방법의 우수성을 입증하였다. 본 연구결과는 합성된 3 차원 비디오를 무안경식 3차원 디스플레이를 통해 시청 할 때, 3 차원 비디오의 시각적 품질을 높이는데 활용 될 수 있을 것이라 기대된다.