신경 회로망의 일반화 성능 향상을 위한 가중치 최적화 기법

Abstract

다층 퍼셉트론은 패턴 인식, 신호 처리, 적응 제어 등의 다양한 분야의 문제를 푸는데 사용되어 왔다. 다층 퍼셉트론의 학습은 대부분 지도 학습 방식으로 이루어지며, 주어진 학습 데이터에 대한 목표값과 실제 네트워크 출력의 차이를 최소화하는 방향으로 진행된다. 일반적으로 모든 학습 데이터에 대한 오차 합을 최소화하는 경사 강하 알고리즘이 자주 이용되며, 대표적인 알고리즘으로는 오차역전파 알고리즘, 준뉴턴 알고리즘, 레벤버그-마쿼트 알고리즘이 있다. 경사 강하 알고리즘은 초기 변수값에 따라 시작점에서 가장 가까운 최소점을 찾고, 다목적 함수 최적화에 이용하기 어렵다. 신경 회로망은 학습한 데이터에 대해서 좋은 성능을 보이더라도 학습되지 않은 데이터에 대해서는 과도 학습 현상이 발생할 수 있다. 과도 학습은 주로 네트워크의 복잡도가 주어진 문제의 복잡도보다 큰 경우 발생한다. 본 논문에서는 과도 학습을 방지하기 위해 모의 담금질에 기반하여 적절한 크기의 파라미터를 찾는 알고리즘을 제안한다. 제안된 알고리즘은 모의 담금질의 수렴 속도 향상을 위해 학습 속도가 빠른 경사 강하 알고리즘과 결합한 하이브리드 알고리즘으로 수렴성이 증명되었다. 파라미터의 동적 범위는 네트워크의 일반화 성능에 큰 영향을 주므로 제안된 하이브리드 알고리즘에서는 두 개의 목적 함수 최적화를 이용한다. 실험 결과 제안된 알고리즘이 과도 학습 방지에 효과적임을 확일 할 수 있었다.