Discriminatively learned feature robust to pose variation by multi-task learning in deep convolutional neural network for multi-view face recognition

Abstract

지난 수 십 년간, 자동적인 얼굴인식은 컴퓨터비전 및 패턴인식 분야의 중요한 주제 중 하나로써 활발히 연구되어 왔다. 기술의 발전과 더불어 지능형 감시시스템, 출입통제 등의 실제환경에서의 응용으로써 얼굴인식이 많이 활용되고 있다. 하지만 이러한 제약되지 않은 환경에서의 얼굴인식에 있어서, 얼굴영상의 변화 (예: 포즈변화, 조명변화, 저해상도 등) 는 얼굴인식을 어렵게 하는 요소로 알려져 있다. 그 중에서도 특히 포즈변화는 극심한 얼굴영상의 변화로 인해 얼굴인식 성능을 떨어뜨리는 중대한 요인으로 알려져 있다. 다양한 포즈의 얼굴영상에 대해 신뢰할 수 있는 얼굴인식 성능을 얻기 위해서, 본 논문에서는 deep convolutional 신경망의 멀티태스크 학습을 통한 포즈 변화에 강인한 특징 추출을 제안한다. 이를 위해 네 가지 새로운 오차함수를 제안하는데, 각 오차함수는 클래스간 차이를 최대화하고, 클래스내의 차이를 최소화하고, 포즈내의 차이를 최소화하고, 포즈의 연속성을 보장하기 위해 각각 설계되었다. 클래스간의 차이를 최대화하고 클래스내의 차이를 최소화하면서 제안하는 방법은 분별력 있는 특징을 학습할 수 있으며, 포즈내의 차이를 최소화하고 포즈의 연속성을 보장하면서 포즈 변화에 강인한 특징을 학습할 수 있다. 또한 제안하는 방법은 모든 포즈가 학습데이터에 포함될 수 없음에도 불구하고, 연속적인 포즈를 효과적으로 다룰 수 있다. 또한 네 가지 오차함수를 최소화하도록 deep convolutional 신경망을 학습하기 위해 두 단계로 나뉘어진 학습방법을 제안한다. 포즈변화와 조명변화를 담고 있는CMU MultiPIE 데이터 셋을 활용한 폭 넓은 실험으로부터 제안하는 방식이 다른 최신 방법들을 능가하는 성능을 보임을 확인할 수 있었다. 특히 학습데이터에 포함되지 않은 포즈에 대해서 더욱 효과적인 얼굴인식이 가능하였다. 게다가 학습된 특징공간을 시각화하여 보았을 때, 상당한 분별력의 향상을 볼 수 있었다. 또한 제안하는 학습 방법은 좋은 수렴을 보이는 것을 확인할 수 있었다.