엣지 환경에서 이기종 프로세서 간의 간섭을 고려한 다중 DNN 스케줄링 기법

Abstract

기계학습 연산 가속화에 관한 관심이 높아지면서, 복수 개의 서로 다른 프로세서를 탑재한 이기종 엣지 디바이스가 등장하고 있다. 이처럼 작은 엣지 디바이스에서 다수의 기계학습 작업을 동시에 처리한다면, 공유 자원 경쟁으로 인한 수행 시간 변동성과 같은 문제를 겪을 수 있다. 본 연구는 기존 기계학습 스케줄러 연구와 달리, 프로세서 간의 간섭 효과를 고려해 스케줄링 정책을 결정한다. 먼저, 본 연구는 이기종 엣지 시스템에서 간섭과 관련된 요인을 색출하고, 이를 기반으로 간섭을 예측하는 간단한 인공신경망 모델을 디자인한다. 앞서 언급한 간섭 예측 모델은 실제 기계학습 워크로드와 관련된 정보 없이, 무작위로 생성된 기계학습 모델의 프로파일링 데이터만으로 훈련된다. 끝으로, 본 연구는 간섭 모델링을 적용한 시뮬레이션을 통해 입력된 스케줄링 목표에 가장 적합한 스케줄링 정책을 출력하는 다목적 스케줄링 기법을 제안한다. 상용 엣지 시스템에서의 스케줄러 성능 비교 실험은 간섭 모델링이 스케줄러의 처리 속도를 최대 19% 개선함을 보여준다.