Heave 운동을 고려한 강화학습 기반 UAV의 자율 함상착륙 유도 기법 연구

Abstract

오늘날 무인항공기는 군사 작전 분야에서 중추적인 역할을 수행하고 있으며, 특히 해상에서 UAV의 운용을 통한 작전적 이점으로 인해 관련 연구가 지속적으로 수행되고 있다. 그러나 해상에서 UAV의 운용을 위해서는 우선적으로 모함으로의 착륙 단계에서 선박의 운동을 고려함과 동시에 자율성이 보장된 유도 기법이 요구된다. 최근 무인 전력의 자율성을 확보하기 위한 방안으로 기계학습 기법을 활용한 많은 연구가 이루어지고 있으며, 본 연구에서는 대표적인 기계학습 기법 중 하나인 강화학습을 활용하여 UAV의 자율 함상착륙 유도 기법을 구현하고자 한다. 제안된 기법은 연속적인 행동 영역에 적용이 가능한 강화학습 기법인 TD3 알고리듬을 이용하여 파도에 의한 선박의 상하 운동인 heave 운동을 고려한 유도 법칙을 설계하며, 기존 강화학습 기법 대비 제약조건에 대한 요소를 보완하기 위해 세이프티 필터를 설계하여 알고리듬을 개선하였다. 또한, 제안하는 기법의 경우 기존 함상착륙 문제에서 적용된 선박 운동의 예측 모델에 기반한 유도 기법과 비교하여, 유도 명령 산출을 위한 연산 시간 측면 및 선박 운동의 예측 모델에 의존되지 않는다는 점에서 상대적인 이점이 있다. 이는 동일한 환경에서 비선형 모델예측제어 기반 유도 기법과의 비교를 통해 입증되며, 본 연구의 결과 및 우수성은 시뮬레이션을 통해 보여진다.