AWS DeepRacer를 활용한 강화학습 기반 자율주행 모델 성능 비교

Abstract

최근 강화학습에 딥러닝을 접목하여 문제를 해결하는 노력이 활발히 이루어지고 있으나 실세계에서 강화학습을 학습하기에는 비용과 난이도 측면에서 많은 어려움이 있다. 이를 위해, AWS 는 실제 환경과 유사한 가상 환경 시뮬레이션을 제공하는 DeepRacer를 서비스하고 있다. DeepRacer를 이용하여 온라인 상에서 자율 경주용 자동차의 훈련 데이터를 모으고 강화학습을 통해 훈련할 수 있다. 본 연구에서는 DeepRacer 모델 훈련에 사용하는 알고리즘인 Proximal Policy Optimization (PPO)와 Soft Actor Critic (SAC)를 비교하는 실험을 진행한다. 실험을 통해, PPO 알고리즘을 사용한 모델은 SAC에 비해 비교적 안정적으로 훈련하는 반면 SAC 알고리즘을 사용한 모델은 데이터 샘플링 효율이 좋으며 PPO 알고리즘 보다 모험적으로 훈련함을 입증한다.