다중 GPU 환경에서 이웃 GPU의 여분 메모리를 활용한 딥러닝 가속화

Abstract

딥러닝 모델들이 파라미터가 많아짐에 따라 딥러닝 모델을 학습시키는 데에 필요한 메모리가 늘어나고 있다. 하지만 GPU의 메모리는 큰 딥러닝 모델을 학습시키기에는 용량이 부족하여 배치사이즈를 줄여서 학습을 시키거나 여러 대의 GPU를 사용하여 분산트레이닝을 하는 등의 차선책을 택하고 있다. 최근 하나의 GPU가 NVLINK로 연결이 되어있는 이웃 GPU의 여분 메모리를 활용하는 HUVM (Hierarchically Unified Virtual Memory) 시스템이 배치사이즈를 줄이지 않고 원하는 배치사이즈로 큰 딥러닝 모델을 하나의 GPU에서 학습시키는 연구가 진행되어졌다. HUVM 시스템에서 큰 딥러닝 모델을 학습시킬 때 하나의 GPU의 메모리보다 초과 사용을 하되 데이터가 PCIe를 통해 호스트 메모리로 이동하는 것이 아니라 이웃 GPU와 연결되어 있는 NVLINK를 통해 빠르게 이웃 GPU의 메모리로 이동이 된다. 본 연구에서는 기존에 연구되어진 HUVM 시스템을 바탕으로 다중 GPU간의 여분 메모리 활용을 위한 메모리 활용 기법을 다룬다. 기존 HUVM 연구는 2개의 GPU에서 밖에 동작을 못하여 다중 GPU간의 여분 메모리 활용 기회가 있어도 1개의 이웃 GPU의 여분 메모리 밖에 활용을 못하는 단점이 있다. 기존 HUVM 연구에서 2개의 GPU 시스템에서 동작하던 메모리 활용 기법을 발전시켜 4개의 GPU 시스템에서 여분 메모리 활용 기회를 포착하여 최대 3개의 이웃 GPU의 여분 메모리를 활용하여 딥러닝 모델을 학습시킬 수 있도록 발전시켰다. 텐서플로우의 딥러닝 벤치마크를 통해 실험한 결과 다중 GPU 시스템에서 선행연구와 비교하여 2.3배의 성능 향상을 보여주었다.