확률적 시뮬레이션을 이용한 모델 기반 강화학습

Abstract

본 논문은 상태천이에 불확실성이 있는 동적 환경에서도 안정적인 학습이 가능한 model-based 강화학습 전략을제안한다. 기존의 강화학습 알고리즘은 보상의 기대치 최대화에 초점을 둔 model-free 방식으로 환경의 불확실성을경험적으로 습득하므로 적응 속도가 느리다. 이에 비해 환경 모델을 학습하는 model- based 방식은 아직 경험하지못한 상황에 대한 시뮬레이션 결과를 보상의 기대치 학습에 적용함으로써 환경변화에 빠른 적응이 가능하다. 본연구에서는 환경의 상태천이에 대한 확률 모델을 온라인 학습하고, 학습된 모델을 이용하여 확률적으로 시나리오를시뮬레이션하며, 이를 바탕으로 보상의 기대치를 최대화하는 전략을 찾아내는 model-based 강화학습 방식을구현하였다. OpenAI의 FrozenLake 시뮬레이터를 이용하여 불확실성을 내포한 동적 환경을 구현하였으며, 제안한모델과 기존 방법의 성능을 다양한 측면에서 비교하였다. 제안된 모델은 상태천이의 불확실성과 환경변화의 불안정성이모두 존재하는 극한 상황 속에서도 변화에 강인한 전략 탐색의 기틀을 제공한다.