Integration of convolutional neural networks using convolutional restricted boltzmann machine and dropout

Abstract

콘볼루션 뉴럴 네트워크는 기존의 뉴럴넷에 비해 상대적으로 적은 수의 파라미터와 지역적인 연결을 갖는 특징 때문에 비전 분야에서 활발하게 사용되고 있다. 최근에는 콘볼루션 뉴럴 네트워크의 이러한 장점을 살려 입력 데이터를 여러 종류로 변형시킨 후 각 변형마다 하나씩의 콘볼루션 뉴럴 네트워크를 학습한 뒤 테스트시에 여러 결과를 종합하는 방법으로 성능을 올리고 있다. 이러한 모델 조합으로 학습된 모델은 학습 데이터의 유사함으로 인해 비슷한 특징들을 학습하여 파라미터의 낭비가 있다. 또한 각 네트워크마다 최적의 설정 값을 찾는 것은 네트워크의 개수만큼 시간이 많이 걸리게 된다. 이런 단점을 해결하기 위해 단순히 여러 네트워크를 합친 것만큼 큰 새로운 콜볼루션 뉴럴 네트워크를 만들게 되면 기존의 뉴럴 네트워크처럼 역전파 알고리즘이 과적합을 발생시킬 수 있다. 뉴럴 네트워크의 과적합을 막기 위해 널리 쓰이는 방법 중 한 가지는 제한 볼츠만 머신을 사용하여 네트워크에 사전훈련을 하는 것이다. 네트워크의 각 층을 제한 볼츠만 머신으로 간주하고 아래층부터 하나씩 학습된 뉴럴 네트워크는 역전파 알고리즘을 사용해도 과적합에 이르지 않게 된다. 또한 최근에 발표된 드랍아웃은 학습 도중 임의로 비저블 유닛과 히든 유닛을 제거하여 히든 유닛이 서로 배타적인 특징을 학습하게 한다. 이렇게 배타적인 특징을 학습한 뉴럴 네트워크는 과적합에 강인한 것으로 나타났다. 이 논문에서는 콘볼루션 제한 볼츠만 머신과 드랍아웃을 사용하여 큰 콘볼루션 뉴럴 네트워크를 과적합 없이 사전훈련 하는 방법을 제시하였다. 또한 기존의 뉴럴 네트워크에서 사용하던 드랍아웃의 의미를 그대로 반영시키기 위해 콘볼루션 네트워크를 위한 드랍아웃을 제시하였다.