사전확률 갱신을 수행하는 교차 엔트로피 계획법

Abstract

본 논문에서는 사전확률 갱신을 수행하는 교차 엔트로피 계획법에 관해 기술한다. 교차 엔트로피 계획법은 실시간 계획법(online planning)에서 많이 사용하는 방법론으로 가상환경으로부터 표본(sample)을 추출하고 추출된 표본으로부터 평가된 가치를 기반으로 최적의 행동(action)을 선택한다. 기존 교차 엔트로피 계획법은 최적화 과정에서 이전에 얻어진 탐색결과를 활용하지 않고 매번 새롭게 탐색을 수행한다. 따라서 정해진 시간 내에 탐색을 수행해야 할 경우, 도달할 수 있는 성능이 제한되어 있다. 본 논문에서는 행동 차원에 대한 교차 엔트로피 계획법의 결과물을 활용하여 최적화 과정에서의 사전확률을 갱신하고, 이를 통해 점차 높은 성능을 보일 수 있는 방법론을 제안한다. 또한, 실험에서는 물리 기반 가상환경(OpenAI Gym)에서 교차 엔트로피 계획법과 비교를 통해 제안된 방법론을 평가한다.