호버링 터치를 위한 깊이 정보 기반의 손 끝 검출 시스템

Abstract

호버링 터치(Hovering touch)는 깊이 정보를 이용하여 물리적으로 기기에 접촉하지 않고 떨어진 거리에서도 손 끝 좌표를 인식하는 기술이다. 일반적으로 모바일 디스플레이에 적용하여 다양한 유저 인터페이스와 결합되어 사용되며 센서기술이 발달함에 따라 TV, 컴퓨터등과도 결합되어 손의 움직임을 통해 사람의 명령을 전달할 수 있다. 하지만 사람의 손은 그 움직임에 따라 형태가 다양하게 변하며, 회전, 크기변화, 기울어짐, 자기 가림 등의 문제로 인해 정확한 손 끝 좌표를 검출하는데 어려움이 있다. 본 연구는 손의 형태 및 추정된 손바닥 평면을 기반으로 호버링 터치에 사용되는 선택(selection), 핀치 줌(pinch zoom)과 같은 다양한 움직임에 적합한 손 끝 검출 시스템을 제안한다. 제안하는 시스템은 먼저 모폴로지 오프닝 연산, Canny 에지 검출기, 거리 변환을 이용하여 검출된 손 영역을 손바닥 및 손가락 영역으로 구분한다. 구분된 손바닥 영역을 기반으로 우리가 정의한 손바닥 평면(plane of palm)을 추정한 후 이를 이용하여 깊이 보정을 수행하며, 구분된 손가락 영역은 시간 축 상관도를 기반한 이전 프레임의 클러스터링 정보와 우리가 정의한 각 손가락 간의 거리 측정 방식을 이용하여 다섯 개의 각 손가락 영역으로 클러스터링 된다. 클러스터링된 각 손가락 영역은 앞서 보정된 깊이 정보를 이용하여 구부려지거나 펴진 두 가지 유형으로 나뉘게 되며 각 유형별로 서로 다른 방식의 손 끝 검출을 수행하여 다섯 개의 손 끝 좌표를 추출하며 각 좌표들간의 각도 값을 기반한 식별과정을 통해 최종적인 손 끝 검출이 이루어 진다. 성능평가를 위하여 깊이 센서와 동기화된 RGB 카메라를 통해 서로 다른 색상으로 손 끝이 태깅된 컬러 영상을 얻은 뒤, GMM(Gaussian mixture model)을 이용하여 실제 손 끝 좌표를 알아낸 약 1000장으로 이루어진 두 가지 테스트 시퀀스를 생성하였다. 실험결과 Intel®사에서 제공하는 PCSDK(Perceptual Computing SDK)에 비해 전반적으로 우수한 성능을 나타내는 것을 확인할 수 있었으며, 모바일 어플리케이션을 고려한 저 해상도에 대한 성능평가 역시 4배로 줄인 영상(80×60)에 대해 원본영상(320×240)과 거의 동일한 성능을 나타내는 것을 확인 할 수 있었다.