Hierarchical pedestrian detection using omnidirectional camera and laser sensor fusion

Abstract

본 논문은 카타디옵트릭 방식의 카메라와 3차원 라이다 스캐너로 얻은 색상, 깊이, 레이저 세기 정보를 통한 물체 검출 기법에 대해 기술한다. 자율주행 자동차 연구와 관련하여, 보행자와 도로 상의 자동차 등을 주요 검출 대상으로 하였다. 이를 위해, 몇 가지 단계로 나누어 연구를 진행한다. 첫 번째 단계로, 두 전 방위 센서를 융합하도록 한다. 이 절차는 실시간으로 카메라와 레이저 데이터를 하나의 이미지 상으로 정합하는 과정이다. 두 번째로, 물체 검출을 위한 영역 제안을 수행한다. 이 과정에서 물체성을 보이는 부분의 영역을 생성한다. 두 센서를 융합함으로써, 다양한 이미지 공간 조합을 통한 상호 보완적인 물체 제안을 수행할 수 있다. 마지막 단계는 심층 신경망을 을 통한 물체 인식 과정이다. 본 기법은 현재 물체 검출 대회에서 최상의 성능을 보이는 Regions with Convolutional Neural Network (R-CNN) 기법을 기반으로 한다. R-CNN의 단점으로는 전 방위 이미지 탐색에 대해 계산 시간이 오래 걸리는 특징이 있다. 본 연구에서 두 센서를 융합함으로써, 제안된 영역 수와 계산 시간을 절반 이하로 줄였으며, 외부 환경에서 강인한 결과를 생성하였다. 전체 센서 시스템은 무인로봇과 자율주행 자동차에 적용하도록 설계하였다. 색상, 깊이, 레이저 세기 정보를 포함한 전 방위 이미지 데이터 셋을 생성하였고, 제안된 기법의 검출 성능을 평가하였다.