베스트 에이전트의 정책으로 안내되는 다중 에이전트 PPO 알고리즘

Abstract

본 발명은 다중 에이전트 시스템에서 베스트 에이전트의 정책으로부터 안내되는 효율적인 정책 매개변수 탐색 방법을 이용한 PPO 알고리즘에 관한 것이다. 복수의 에이전트(agent) 각각의 정책 매개변수의 훈련을 제어하는 방법에 있어서, 상기 복수의 에이전트 각각을 대상으로 미리 공유된 안내 정책에 기초하여 독립적으로 훈련하도록 제어하는 정책 훈련 단계, 매 훈련 마다 다음 훈련에서 사용할 변수들을 획득하도록 하기 위해, 상기 복수의 에이전트 각각의 정보를 해당 에이전트로부터 수신하는 단계, 매 훈련 마다 각 에이전트의 정보를 기반으로 결정된 다음 훈련에 사용할 변수를 상기 복수의 에이전트에게 전송하는 단계, 미리 정의된 번의 훈련이 수행됨에 따라 각 에이전트의 성능 정보를 해당 에이전트로부터 수신하는 단계, 및 수신된 상기 각 에이전트의 성능 정보에 기초하여 결정된 베스트 에이전트의 정책 매개 변수를 상기 복수의 에이전트들이 공유하도록 제어하는 단계를 포함할 수 있다.