MASK R-CNN과 3D convolutional auto-encoder를 응용한 비디오 내의 움직이는 전경 객체 제거 및 제거 영역 영상 복원 기법

Abstract

본 연구에서는 영상에서 특정 전경 객체를 제거하고, 제거된 영역을 실제 환경의 비디오를 참고하여 복원하는 방법을 다룬다. 비디오를 촬영을 할 때, 해당 비디오에서 보이지 말아야 할 부분이 촬영이 되는 경우가 많이 발생 한다. 예를 들어, TV 방송용으로 촬영을 할 때에 개개인의 초상권을 해칠 수 있는 수준의 노출이 발생 하거나, 방송으로 부적절한 장면이 연출 될 수가 있다. 또한, 가상 환경에서 이를 해결하고자 매번 비디오를 재 촬영 할 수는 없기 때문에, 비디오 내의 특정 부분을 자연스럽게 제거를 할 수 있는 기술이 필요하다. 본 연구는 다음의 네 가지 단계로 구성 된다.

- 비디오 내의 지우고 싶은 대상 선택 및 대상 정보 획득 - 위 정보를 기반으로 전체 비디오 프레임 내에서 대상 영역을 Segmentation 하여 ROI 추출 - 입력 비디오에 ROI를 반영한 Masking 비디오를 추출 - 추출된 비디오에서 Masking 영역을 비디오 내의 정보를 참조하여 실사 배경으로 복원

위의 과정을 통해 비디오 내에서 필요하지 않은 영역을 자동으로 탐색하여 제거하고 사실적인 정보로 복원을 함으로서 사용자들로 하여금 영상 편집에 편의를 줄 수 있도록 도와준다.