강화 학습을 이용한 다중 무인 항공기의 실시간 에너지 효율적 경로 탐색

Abstract

UAV 그 중에서도 드론은 그 사용의 편리함으로 인해 그 활용 방법이 무궁무진하다. 하지만 드론에 할당된 임무의 차이로 인해 발생하는 충돌 회피 및, 경로 간섭 등 드론 간의 실시간 상호작용을 고려한 다수의 드론을 운용 문제를 푸는 것은 매우 어렵다. 이 논문에서, 우리는 강화학습을 이용한 에너지 효율적인 드론의 운용법을 소개한다. 우리는 에너지 효율적인 드론의 운용을 위하여 실제 드론의 비행을 통해 데이터를 수집한 후 드론의 파워 소비 모델을 생성한다. 우리는 여러 대의 드론을 운용할 수 있는 환경을 제작하고 policy gradient 의 SOTA 인 twin-delayed deterministic policy gradient 방법을 이용하여 드론의 강화 학습을 시도했다. 이 논문은 드론으로 강화학습을 진행할 때 필요한 입력 정보,보상,신경망 정보 등을 제공한다.우리는 강화 학습을 통해 드론에게 주어진 미션을 수행 한 후 소모한 에너지를 오프라인에서 도출한 드론의 에너지 최적 경로와 비교한다. 제안한 방법은 외력이 적용되는 환경에서 다수 드론의 실시간 에너지 효율적인 운용 결과를 보여주며, 오프라인에서 도출된 최적의 에너지 경로 대비 5.53%의 추가 에너지 소비를 달성하였다.