메모리 지역성의 활용을 위한 다중 심층 신경망 가속기 아키텍처

Abstract

심층 신경망은 기존의 기계학습 방법론으로 해결하지 못했던 복잡한 패턴을 찾는 문제에서 더 좋은 성능을 보여주고 있고, 이를 활용하는 애플리케이션의 수가 점차 증가하고 있다. 하지만 이 과정에서 심층 신경 망의 추론 지연시간이 다양해 지면서 기존의 가속기가 하드웨어의 성능을 전부 활용하지 못하는 문제가 발생하고 있다. 심층 신경망을 효율적으로 가속하고, 하드웨어의 사용률이 떨어지는 문제를 해결하기 위 해서는 한 번에 여러 개의 모델을 실행하는 다중 유저 실행 모델이 필요하다. 하지만 이를 지원하기 위한 선점형 스케줄링 기반의 심층 신경망 가속기는 컨텍스트 스위치 오버헤드와 외부 메모리 접근에 대해 상충 관계를 가진다. 본 학위논문에서는 다중 심층 신경망의 가속을 위해 공유 자원의 일종인 컨텍스트 스위치 오버헤드와 스크래치패드 메모리에 대해 고찰하고, 이를 효율적으로 관리하는 방법에 대해 다루고자 한다.