심층 강화학습기반 연속상태공간 제어를 위한 보상 함수 분석

Abstract

연속상태공간에서 주어진 태스크의 제어를 위해 심층 신경망을 사용하여 가치함수와 정책함수를 근사하는 심층 강화학습(Deep Reinforcement Learning) 알고리즘은 최근 유망한 결과들을 보여 주었다. 그러나 함수근사를 위해 사용되는 심층 신경망의 비-컨벡스 특성이 최적화 알고리즘의 이론적 분석을 종종 어렵게 만들어 왔으며 이로 인하여 심층 강화학습 알고리즘의 점근적 전역 최적해로의 수렴과 같은 이론적 보장이 부족하다. 강화학습에서의 보상함수는 학습 에이전트의 전체적인 특성을 결정짓는 중요한 요소 중 하나라는 사실에 기인하여, 본 논문에서는 심층 강화학습 알고리즘의 비-컨벡스 최적화 과정의 이론적 수렴과 같은 측면보다는 작지만 중요한 측면 중 하나로써, 심층강화학습에서 널리 사용되는 보상함수들의 구조와 이들이 학습 알고리즘에 미치는 영향에 대해 분석한다. 심층 강화학습에서 보상함수가 흔히 시행착오법에 기반하여 설계되어온 것을 고려했을 때, 본 논문에서 제안하는 분석이 심층강화학습의 보상함수 설계에 유용한 가이드가 될 수 있을 것으로 기대한다.