2D 라이다와 단일 카메라를 이용한 이단식 딥러닝 네트워크 기반 3D 깊이 추정 방법

Abstract

모바일 로봇은 비전 또는 레이저에 기반한 라이다(LiDAR) 센서로 주변 상황을 인식한다. 두 센서를 비교하였을 때, 라이다 센서가 좀 더 외란에 강인하기 때문에 많은 모바일 로봇에서 라이다 센서를 활용한다. 라이다 센서는 3D 라이다와 2D 라이다 센서가 존재하는데, 가격적인 측면에서는 2D 라이다 센서가 3D 라이다 센서에 비해 저렴하다. 그래서 상대적으로 동적이지 않은 실내 환경에서 운용되는 모바일로봇은 2D 라이다 센서를 사용하기도 한다. 하지만 2D 라이다 센서를 사용하면 센서가 설치된 위치의 한 평면상 거리 정보만 알 수 있기 때문에 로봇에 부착된 센서를 기점으로 위아래의 깊이 정보를 얻을 수 없다. 따라서, 본 논문에서는 딥러닝 기법을 활용하여 단일 카메라와 2D 라이다 센서만으로 3D 깊이 정보를 추정하는 방법에 대해 제안한다. 본 논문에서 제안하는 네트워크는 두 단계로 크게 나누어져 있다. 첫 번째 단계인 Spatial Propagation Stage에서는 편파적으로 분포된 2D 라이다 깊이 정보를 네트워크상의 피처에 공간적인 정보로 전파시켜 주어 네트워크가 잘 묘사된 특징을 추출할 수 있게 하고 초기 깊이(initial depth)를 예측한다. 그리고 두 번째 단계인 Refinement Stage에서는 Spatial Propagation Stage에서 추정한 초기 깊이와 정밀한 깊이 값(refined depth)의 잔차(residual)를 추정한다. 그리고 이 잔차와 초기 깊이를 더해 정밀한 깊이 값을 예측한다. 실험 결과, 본 논문에서 제안하는 이단식 깊이 추정 네트워크가 state-of-the-arts 논문들 대비 가장 작은 평균 제곱근 편차 (Root-Mean-Square-Error)를 보여줬고 정성적으로도 정확한 깊이를 예측할 수 있다는 것을 확인했다.