A study on facial feature fusion of visible and near-infrared images for illumination-adaptive face recognition

Abstract

얼굴인식은 컴퓨터비전 및 패턴인식의 한 분야로, 얼굴인식 기술을 통해 영상으로부터 자동으로 사람을 식별하는 것이 가능하다. 비록 얼굴 인식 기술이 상당히 진보되었다고는 하나, 통제되지 않은 환경에서 여전히 어려움이 있다. 얼굴인식을 어렵게 만드는 요인들 가운데 특히 조도변화 문제가 극심한 것으로 알려져 있다. 이러한 한계를 극복하기 위해 조명변화에 강인한 것으로 알려진 근적외선 영상을 이용한 연구가 많이 진행되었다. 일반적으로 근적외선 영상은 가시광선 영상에 비해 조도변화에 강인하나 거리가 멀어짐에 취약하다. 비록 이러한 가시광선 영상 및 근적외선 영상 간에 상호보완적 특성이 있음에도 이전 연구들에서는 다중 모달리티를 동시에 이용하는 이점을 살리지 못했다. 본 논문에서는 조명이 변하는 환경에서 효과적인 얼굴인식을 위해 각 모달리티 사이의 상호보완적 관계를 고려하여 다중 모달리티(가시광선 및 근적외선)의 얼굴 영상을 사용한다. 이 때, 노이즈나 가려짐 등이 발생하는 환경에서도 강인함을 보여 최근 많은 얼굴인식 방법에서 이용하는 희소 표현 기반의 분류방법(SRC)을 기반으로 한 두 모달리티의 적응적인 융합 방법을 제안한다. 제안하는 얼굴인식 시스템은 가시광선 및 근적외선 얼굴 영상에 극심한 밝기 변화가 있는 환경에 강인하도록 만드는 것을 목표로 한다. 이를 위해 희소성 및 유사성에 기반하여 각 모달리티의 영상을 적응적으로 융합하는 방법을 제안한다. 또한, 더욱 신뢰할만한 얼굴인식 성능을 위해, 앞서 제안한 방법을 통해 나온 스코어에 기반하여 분별력있는 클래스에 선택하고, 이 클래스들에 한해 분류 알고리즘을 적용하는 기법을 제안한다. 제안하는 방법의 효용성을 검증하기 위해 다양한 거리와 조명 조건을 갖는 환경의 데이터 셋을 만들어 두 기법을 적용한 결과, 다른 방법들에 비해 상당히 향상된 성능을 확인할 수 있었다.