인공 신경망 모델에서 메모리 효율성 및 학습 속도 향상을 위한 드롭아웃 방법과 이를 이용한 학습 방법

Abstract

인공 신경망 모델에서 메모리 효율성 및 학습 속도 향상을 위한 제어된 드롭아웃(controlled dropout) 방법은 레이어를 포함하는 인공 신경망 모델에서 수행될 수 있다. 제어된 드롭아웃 방법은 드롭아웃 비율(dropout rate)에 따라 열 단위 또는 행 단위로 레이어의 행렬에서 활성화될 행렬 요소들을 선택할 수 있다. 제어된 드롭아웃 방법은 행렬에서 비활성화된 행렬 요소들을 열 단위 또는 행 단위로 탈락시켜, 행렬을 선택된 열 또는 행의 활성화될 행렬 요소들로만 구성되는 축소된 크기의 행렬로 변환하여 축소된 인공 신경망 모델을 구성할 수 있다. 제어된 드롭아웃 방법은 이전 단계에서 형성한 축소된 신경망 모델을 이용하여 전방 전파(forward propagation)를 진행하여 신경망 모델 학습을 수행할 수 있다. 또한, 이전 단계에서 형성한 축소된 신경망 모델을 이용하여 역 전파(back propagation)를 통해 신경망 모델 학습을 수행할 수 있다. 축소된 인공 신경망 모델의 역전파 진행 과정에서 산출된 가중치 행렬과 바이어스 벡터 값을 원래의 인공 신경망 모델의 가중치 행렬과 바이어스 벡터에서의 원래의 자리에 갱신할 수 있다.