Determining the existence of objects in the image and its application to image/video thumbnailing

Abstract

최근 컴퓨터 비전의 응용에 대한 예로 사용자 중심의 지능형 객체 기반 시스템에 대한 요구가 증가함에 따라 이와 관련된 영상 내 객체 인식, 추출, 추적 등과 같은 관련 분야의 연구가 활발히 진행되고 있다. 그러나 이러한 객체 관련 응용 연구들은 주어진 영상에 하나 또는 그 이상의 객체가 존재하는 것을 가정하고 있다. 즉, 영상 내 객체의 존재 유무 판단하지 않은 채, 알고리즘을 수행하게 되는 것이다. 따라서 영상에 객체가 존재하지 않는 경우에는 효과적인 성능을 예측할 수 없으므로 일반화에 어려운 단점이 있다. 그러므로 실생활에서의 효과적인 응용을 위해서는 영상 내 객체의 존재를 판단하는 과정을 전처리 과정으로 수행해야 한다. 영상 내 객체의 존재 유무를 판단하기 위해 고차원 정보와 저차원 정보를 이용한 방법이 가능하다. 고차원 정보는 얼굴, 보행자, 자동차 등을 검출함으로써 검출 결과를 이용하여 객체의 존재 유무를 판단할 수 있다. 그러나 이와 같은 정보는 모든 영상에서 존재하지 않고, 세상에 존재하는 모든 객체의 카테고리를 범주화 하는데 어려움이 있다. 저차원 특징, 즉 밝기, 색상, 방향성 등과 같은 정보를 이용하여 관심 영역(saliency)을 검출 한 뒤, 이를 이용하여 객체의 존재 유무를 판단하는 연구도 제안되었다. 그러나 관심 영역 검출 알고리즘이 주로 영상 내 상대적인 대비가 강한 곳을 찾기 때문에, 객체가 아니더라도 영상 내에서 상대적으로 눈에 띄는 영역이 주로 검출되기 때문에 많은 false positive 결과가 발생한다. 본 논문에서는 영상 내 객체의 존재 유무 판단을 위해 영상을 패치로 나누고 저차원 특징을 추출한 후, 기계 학습 알고리즘에 기반하여 각 패치를 자연, 인공, 객체의 세 가지로 분류한다. 이 과정에서 객체로 분류된 국부 패치가 실제로 객체의 부분에 속하는 것인지 예측할 수 있다. 다음으로 베이시안 접근법을 이용하여 false positive를 제거함으로써 객체 패치 검출 신뢰도를 높인다. 이를 위해, coaras-to-fine 분할을 이용한 베이시안 모델을 구축하였다. 제안하는 방법의 성능 평가를 위해 세 가지 데이터 셋을 사용하여 객체가 있는 영상과 객체가 없는 배경영상 셋을 구성하였다. 또한, 다양한 패치 크기 변화에 의한 분류 성능의 민감성 정도를 측정하였다. 제안하는 방법의 우수성을 보이기 위해 최근 제안된 방법들과 정량적 비교 실험을 수행하였으며, 이를 통해 제안하는 방법이 성공적으로 영상 내 객체의 존재 유무를 판단하고 있음을 확인할 수 있었다. 제안하는 방법은 다양한 컴퓨터 비전 응용 분야에 적용될 수 있다. 제안하는 방법의 유용함을 보이기 위해 본 논문에서는 이미지 썸네일링과 비디오 썸네일링의 응용에 대해 적용하였다. 먼저 이미지 썸네일링에서는 영상 내 객체의 존재 유무를 먼저 판단 한 뒤, 이 정보를 바탕으로 객체가 있는 영상은 객체를 중심으로 잘라내기 (content-based cropping) 방법을 사용하고, 객체가 없는 영상은 균등 크기조절 (uniform scaling) 방법을 적용하였다. 또한, 제안하는 저차원 정보를 이용한 패치 분류 방법을 비디오 썸네일링에서 대표 프레임을 추출하는데 사용하는 에너지 텀으로 확장하였다.