Human attention estimation for natural scene images via gaze and saliency models

Abstract

오늘날의 사진앨범 응용 프로그램을 비롯한 개인 사진첩과 관련된 기술들은 사용자의 상호작용을 여러 가지 형태로 반영하고 있습니다. 얼굴 검출, 사진 효과, 등의 응용 기술들에 그치지 않고 사용자의 사진 조작 의도를 자동으로 인식하는 응용기술에 대한 연구가 진행되고 있습니다. 즉, 개인의 사진 앨범을 조작하고자 하는 사용자의 의도를 자동적으로 인식하는 기술이 주목 받고 있다. 이러한 사용자 의도 인식을 응용한 기술의 예로 사진에 나타난 사물 삭제, 개인 사진의 데이터 시각화 등이 있습니다. 사용자의 의도를 인식하는 데에 사진에 관심영역을 알아내는 것이 중요하고 사진에 대한 고급 정보를 지니기 때문에 인식에 큰 도움을 줍니다. 이러한 응용 기술은 사람의 적극적인 참여를 요한다는 단점을 지니고 있습니다.

이 논문에서는 사용자의 의도를 사용자의 간접적인 참여를 통한 사진 영상에 관심영역을 검출하고자 합니다. 컴퓨터 비전 연구에서는 이러한 인간의 시각 행위에 대한 연구로 시선 추정과 영상의 계산적 관심영역 검출이 있고 최근에 큰 발전을 보였습니다. 계산적 관심영역 검출은 일반적으로 사람이 임의의 사진을 봤을 때 그 사진에서 어느 곳에 주목하는지를 측정하는 분야입니다. 무보정 시선 추정 기술은 이 관심영역을 토대로 사람의 주목지점을 추정하는 기술입니다.

이 논문에서는 계산적 관심영역 검출과 무보정 시선 추정을 통합하여 사용자가 실제로 어느 지점을 응시하는지를 측정하는 방법론을 논하고 있습니다. 이 기술은 실시간이 가능하며, 점진적인 학습을 통해 사용자의 적극적인 참여를 요하지 않습니다.

실험적인 검증을 위해 MIT1003 데이터를 사용하였고, 10명의 실험자를 대상으로 실험을 진행하였습니다. 실험은 두 부분으로 나누어져 있는데, 먼저 무보정 시선 추정 성능에 대한 실험이고, 그 다음은 최종적인 관심 영역 검출에 대한 성능 실험입니다.

이 논문에서는 실험결과와 더불어 가능한 응용 기술을 소개합니다. 첫 번째로, 개인 관심영역 추정 응용기술, 두 번째로, 사진에 대한 태깅 제시, 세 번째로, 관심영역을 입력으로 한 사진 검색입니다.