깊이 계층 동영상 코딩을 위한 비주얼 헐 기반 프레임워크

Abstract

깊이 계층 영상은 3차원 물체의 영상기반 표현 방법 중의 하나이며, 깊이 계층 영상은 임의의 시점에서 본 영상을 생성하는 렌더링에 효율적이다. 깊이 계층 영상의 단점은 데이터 량이 많다는 점이다. 본 논문에서는 깊이 계층 기반 3차원 물체 동영상 코딩을 위한 비주얼 헐 기반 프레임 워크를 제안한다. 본 논문에서는 깊이 계층 영상 기반 3차원 물체 동영상을 다중 시점 실루엣으로 코딩한다. 실루엣 영상은 이진 영상이며 시간 축으로 인접한 실루엣 영상은 높은 상관도를 가지므로, 높은 압축 효율을 가질 수 있다. 코딩된 3차원 물체 동영상은 Shape-from-Silhoutte(SFS) 방법을 통해 복호화 된다. 본 논문에서는 깊이 차 계층 영상을 제안하며, 이것은 실제 물체와 복호화된 물체의 차이를 코딩하는 데에 사용된다. 3차원 물체의 실루엣 영상은 물체를 다양한 방향으로 투영시켜 획득한다. 모든 실루엣 영상을 다 코딩하는 것은 비효율 적이므로, 핵심적인 실루엣 영상을 선정하는 작업이 필요하다. 핵심 실루엣 영상은 영상의 경계에 얼마나 많은 3차원 점이 투영되었는 가에 따라서 선정되는데, 이는 자신의 경계에 투영된 3차원 점들을 Shape-from-Silhouette과정을 통해 복원할 가능성이 높기 때문이다. Shape-from-Silhoutte은 다중 시점 실루엣 영상을 통해 3차원 물체의 모델을 생성한다. 생성된 모델은 실제 물체의 오목한 부분을 표현하지 못하며, 그 결과 실제 물체와 복원된 물체 사이의 깊이 차가 발생한다. 실제 물체와 복원된 물체와의 깊이 차는 깊이 차 계층 영상으로 표현된다. 깊이 값은 대부분의 영영에서 점진적으로 변하므로, 깊이 차 계층 영상은 깊이 값을 부분 근사화 하는 방법 중의 하나인 평면 근사화 방법으로 코딩한다. 실험 결과 제안된 방법을 통해 압축 효율이 향상되는 것을 확인할 수 있었으며, 움직임 보상 및 효율적인 잉여값 처리가 추가된다며, 제안된 시스템은 3차원 물체 코딩에 있어서 좋은 프레임 워크가 될 수 있다.