Robust vision-based navigation algorithm for an autonomous paddy robot in the presence of environmental changes

Abstract

최근 로봇의 발전에 맞추어 농업분야에서도 로봇의 활용성이 증대되고 있다. 특히 농업용 로봇의 자율화는 작업 효율을 높이기 위해 필수적인 기능으로 많은 연구가 진행되어 왔다. 대부분의 연구들은 비전센서(Vision sensor)를 이용한 객체인식(Object perception) 기반의 방법들이 적용되고 있다. 잡초방제로봇의 비전센서 기반 자율주행은 크게 작물 열 인식(Crop row detection), 주행기준선 추출(Guidance line extraction), 로봇의 작물 열 추종(Robot motion control) 단계로 구분할 수 있다. 그 중 주행기준선 추출은 인식된 작물 열 영상에서 로봇이 추종해야 하는 기준선을 추출하는 단계로 작물의 손상 없이 로봇이 정확하게 작물 열을 추종할 수 있도록 하는 중요한 과정이다. 즉 주행기준선의 정확도가 임무수행의 성공여부를 결정하는 중요한 요소가 된다. 특히 무논 환경의 경우 야외환경의 급격한 조명변화, 물 표면의 강한 조명반사, 그림자 등으로 작물 열 탐지에 많은 이미지 노이즈로 특징점 추출에 어려움이 있으며, 날씨 중 바람 및 비 등으로 인해 작물 열 탐지 및 주행기준선 추출의 정확성이 감소하게 된다. 또한 벼의 경우 여러 갈래의 가는 잎이 많은 형태로 인해 이미지상에서 주행기준선을 추출하기 어렵고 이에 따라 정확한 주행기준선 추출을 위해서는 모의 형태학적 특징에 의한 영향요소를 최소화 할 수 있는 주행기준선 추출 알고리즘이 요구된다. 그리고 작물 열의 끝 탐지는(End line detection) 다음 작업을 위한 방향전환을 위해 반드시 필요한 기술로 높은 탐지성공률을 필요로 한다. 이런 제한점을 해결 하기 위하여 본 논문에서는 조명불변(Illumination-invariant) 작물 열 탐지 방법과 작물의 형태학적 특징에 기반한 새로운 주행기준선 추출과 모열 끝 탐지 알고리즘을 제안하였다. 조명불변 작물 열 탐지 방법은 영상화소 컬러 모델의 센서응답 기반으로 만들어진 특징함수를 이용하여 조명불변의 새로운 색 공간으로 사상시킴으로써 조명변화에 강인한 실시간 작물 열 탐지 알고리즘을 제안하고 기존의 방법들과의 비교를 통해 성능의 우수성을 입증하였다. 주행기준선 추출 연구는 인식된 모열 이미지의 형상 특성을 이용하여 모의 줄기 방향을 기준으로 하는 직선추출 알고리즘을 제안하고자 하였으며, 심플하면서 실시간성 확보가 가능한 방법을 제안하였다. 이를 위해 분할된 이미지에서 벼의 곡선형태 잎을 허프변환(Hough transform)을 이용하여 분절된 직선들의 결합으로 표현한 후, 분절된 직선을 연장하여 가상의 연장직선을 만들고 각 이미지 픽셀에서의 연장직선간 교점을 구하였다. 이렇게 구해진 교점분포를 기반으로 강화 회귀분석(Robust regression) 방법을 수정 적용하여 주행기준선을 추출하였다. 산출된 2~3개의 주행기준선은 최종적으로 중앙기준선과 보조기준선간의 관계에 의해 주행기준선의 정확도를 평가하였다. 실험결과 중앙기준선의 정확도는 1도 이내로 매우 정밀한 결과를 보였으며 벼의 생장에 따른 형태변화에도 큰 오차를 보이지 않았고 기존의 대표적인 방법과 비교할 때 매우 우수한 정확도를 보였다. 그리고, 신경망 학습 기반의 모열 끝 탐지 알고리즘과 방향전환 시 이동거리 추정을 위한 작물 열 이동 탐지 알고리즘을 개발하여 실제 환경 실험을 통해 알고리즘의 활용성을 추가적으로 검증하였다.