Efficient filtering and result refinement for large scale image databases

Abstract

본 논문에서는 대용량 이미지 데이터베이스에서의 내용기반 이미지 검색에 필요한 효율적인 필터링 및 검색 결과 개선에 대해 논의한다. 일반적으로, 내용기반 이미지 검색은 주어진 질의 이미지와 매우 유사한 이미지를 검색하여 사용자에게 반환하는 것을 목표로 한다. 이 때, 데이터베이스의 각 이미지는 질의와의 유사도 점수를 부여받게 되고, 해당 점수에 따라 정렬되어 사용자에게 반환된다. 이미지 데이터베이스의 크기가 커짐에 따라, 데이터베이스의 모든 이미지를 질의 이미지와 비교하여 유사도 점수를 계산하는 것이 매우 긴 시간을 소요하게 된다. 따라서, 많은 이미지 검색 방법들이 필터 및 검증 (filter and verification) 방법을 사용한다. 이 방식은 필터 단계에서 간단하고 빠른 방법을 통해 질의와 무관한 이미지들을 빠르게 걸러내고, 검증 단계에서 필터를 통과한 작은 집합에 대해 질의와 상세 비교를 수행하는 방식으로 수행된다. 본 논문의 첫 번째 부분에서는 내용기반 얼굴 이미지 검색에서의 효율적인 필터링 방법을 제안한다. 이를 위해, cell orientation vector (COV)라는 새로운 얼굴 이미지 기술자(descriptor)를 제안하고, 그것을 통한 필터링을 수행한다. 그리고, 기존 방법과의 비교 실험을 통해 본 논문의 필터링 방법의 효율성 및 정확성을 보인다.

본 논문의 두 번째 부분에서는 내용기반 이미지 검색의 정확도를 향상시키기 위한 검색 결과 개선 방법을 제안한다. 이 방법은 질의 이미지와 데이터베이스 내 이미지 사이의 유사도 만이 아니라 데이터베이스 내 이미지들 사이의 연관성을 고려하여 검색 결과를 개선한다. 이미지 사이의 연관성을 계산하기 위해, 이미지 데이터베이스를 그래프로 모델링한다. 각 이미지에 해당하는 정점을 만들고, 서로 유사도가 높은 두 이미지는 간선으로 연결하여 그래프를 구축한다. 그리고, random walk with restart를 통해 생성된 그래프에서 각 이미지에 대해 그와 연관성 높은 이미지들을 추출해 낸다. 질의 시점에 사용하기 위해 각 이미지 별로 연관성 높은 상위 $k^{\prime}$개의 이미지 목록을 준비한다. 질의 이미지가 입력되면, 기존의 내용기반 이미지 검색 방법을 사용하여 초기 top-$k$ 결과 목록을 생성한다. 그리고, 결과 목록의 이미지들과 그들의 top-$k^{\prime}$ 연관 이미지들을 모아서 후보 집합을 구성한다. 이렇게 생성된 후보 집합의 각 이미지들이 초기 top-$k$ 이미지들과 얼마나 연관성 높은지를 기준으로 새로운 점수를 부여하고, 이를 통해 얻어지는 개선된 top-$k$ 결과 목록을 사용자에게 반환한다. 그리고 벤치마크 데이터셋을 사용한 실험을 통해, 제안하는 검색 결과 개선 방법이 기존 내용기반 이미지 검색 방법으로 얻어지는 초기 top-$k$ 결과의 정확도를 향상시키는 것을 보인다.