발화 상황에서의 감정 인식 성능 향상을 위한 듀얼모드 얼굴 표정 인식

Abstract

소셜로봇 시장가치의 증가와 함께 소셜로봇에 있어 중요한 기능이 되는 얼굴 표정 인식에 대한 많은 연구들이 진행되어왔고 감정을 표현하는 얼굴 표정 이미지 데이터베이스에 대해 높은 인식성능을 보이고 있다. 하지만 사람은 감정을 표현할때 단순히 표정만 짓고 있는 것이 아니라 대화를 통해 자신의 감정을 전달하며 이때 말하고 있는 발음의 특징으로 인해 입 주변의 근육이 움직이게 된다. 그리고 이는 발화 상황을 고려하지 않은 얼굴 표정 인식기의 인식성능을 낮추는 원인이 된다. 본 연구에서는 발화 시 입 주변의 움직임으로 인해 발생하는 Speaking effect를 극복하여 발화 상황에서 얼굴 표정 인식성능 저하 없이 작동하는 Dual mode Facial Expression Recognition (DmFER)라는 구조의 얼굴 표정 인식 알고리즘을 제안한다. DmFER는 발화 하고 있는 상황과 아닌 상황의 데이터베이스로 각각 학습시킨 2개의 인식기를 만들고 상황에 따라 선택적으로 인식기를 사용하는 방법을 제안한다.