Robust matching of facial expression sequences for subject-independent emotion recognition in practical videos

Abstract

얼굴 표정은 개인의 감정을 표현하고 사람간의 감정을 공유하고 주고 받는 효율적인 의사소통 수단이다. 얼굴 표정을 자동으로 분석하고 해석하는 표정인식 기술의 개발은 인간 컴퓨터 상호작용(human-computer-interaction, HCI), 감성 컴퓨팅(affective computing) 등의 분야에서 핵심적인 요구사항이다. 표정인식 수행 시 정확도를 저해시키는 대표적인 요소 중 하나는 얼굴에 내재된 아이덴티티(identity)와 표정 간의 혼동이다. 구체적으로, 얼굴에 포함된 다양한 인물의 아이덴티티에 의해 표정 클래스 내 변화(intra class variation)가 표정 클래스 간 변화(inter class variation)보다 커짐으로써 표정을 특정 클래스로 분류 시 분별력이 저하된다. 이 문제를 해결하기 위해 테스트 얼굴과 동일 인물의 무표정(neutral expression) 얼굴의 차이(difference)를 이용하여 순수 표정에 해당하는 특징정보를 추출하는 연구들이 널리 수행되었다. 하지만 이 접근방법은 특정 인물의 무표정 얼굴을 비디오 시퀀스에서 수동(manual)으로 선택하기 때문에 전자동(fully automatic) 응용에 적합하지 않다. 또한 특정 인물의 무표정 얼굴은 실제 응용에서 가용하지 않은 경우가 빈번하여 활용이 매우 제한적이다. 본 논문에서는 앞서 언급한 한계점을 극복하기 위해 무표정 얼굴에 의존하지 않는 전자동의 인물에 독립적인 표정인식 방법을 제안하였다. 제안 방법에서는 주어진 비디오 시퀀스 내에서 표정인식에 가장 높은 분별력을 갖는(구체적으로 얼굴 정렬이 정확히 되고 표정이 가장 센) 피크 표정 얼굴(peak expression face)을 선택한다. 선택한 얼굴에서 얼굴 아이덴티티 정보를 제거하기 위해 무표정 얼굴을 사용하는 대신 트레이닝 표정 얼굴들을 합성하여 클래스 내 변화 얼굴(intra class variation face) 얼굴을 생성한다. 이 제안 방법은 비디오 시퀀스 내 프레임의 개수가 매우 제한적이고 얼굴의 각도 변화가 불규칙적인 경우에 유용한 표정인식 방법이다. 본 논문에서는 (비교적 많은 개수의 프레임을 포함한) 비디오 시퀀스 내에 존재하는 다양한 표정의 변이(transition) 정보에 기반하는 인물에 독립적인 표정인식 방법도 제안하였다. 이 방법은 테스트 비디오 시퀀스 내 얼굴 클러스터 간 랜드마크(landmark) 차이로 얼굴 근육의 변화에 따른 표정 변이 특징(expression transition feature)을 추출한다. 각 표정 변이 특징은 개별적으로 트레이닝 비디오 시퀀스의 표정 변이 특징들과 매칭을 수행한다. 이러한 부분 표정 시퀀스 매칭(partial expression sequence matching) 방법은 인물에 독립적인 표정인식을 위해 무표정 얼굴이나 합성얼굴을 사용하지 않기 때문에 효율적이며, 테스트와 트레이닝 비디오 시퀀스 간에 서로 다른 변이 종류나 지속시간에 따른 불일치에 강인하다.