신경 회로망의 일반화 성능 향상을 위한 가중치 최적화 기법 = Optimization of weights for good generalization performance of neural networks

Cited 0 time in webofscience Cited 0 time in scopus
  • Hit : 840
  • Download : 0
다층 퍼셉트론은 패턴 인식, 신호 처리, 적응 제어 등의 다양한 분야의 문제를 푸는데 사용되어 왔다. 다층 퍼셉트론의 학습은 대부분 지도 학습 방식으로 이루어지며, 주어진 학습 데이터에 대한 목표값과 실제 네트워크 출력의 차이를 최소화하는 방향으로 진행된다. 일반적으로 모든 학습 데이터에 대한 오차 합을 최소화하는 경사 강하 알고리즘이 자주 이용되며, 대표적인 알고리즘으로는 오차역전파 알고리즘, 준뉴턴 알고리즘, 레벤버그-마쿼트 알고리즘이 있다. 경사 강하 알고리즘은 초기 변수값에 따라 시작점에서 가장 가까운 최소점을 찾고, 다목적 함수 최적화에 이용하기 어렵다. 신경 회로망은 학습한 데이터에 대해서 좋은 성능을 보이더라도 학습되지 않은 데이터에 대해서는 과도 학습 현상이 발생할 수 있다. 과도 학습은 주로 네트워크의 복잡도가 주어진 문제의 복잡도보다 큰 경우 발생한다. 본 논문에서는 과도 학습을 방지하기 위해 모의 담금질에 기반하여 적절한 크기의 파라미터를 찾는 알고리즘을 제안한다. 제안된 알고리즘은 모의 담금질의 수렴 속도 향상을 위해 학습 속도가 빠른 경사 강하 알고리즘과 결합한 하이브리드 알고리즘으로 수렴성이 증명되었다. 파라미터의 동적 범위는 네트워크의 일반화 성능에 큰 영향을 주므로 제안된 하이브리드 알고리즘에서는 두 개의 목적 함수 최적화를 이용한다. 실험 결과 제안된 알고리즘이 과도 학습 방지에 효과적임을 확일 할 수 있었다.
Advisors
박철훈researcherPark, Cheol-Hoonresearcher
Description
한국과학기술원 : 전기및전자공학전공,
Publisher
한국과학기술원
Issue Date
2008
Identifier
297207/325007  / 020063422
Language
kor
Description

학위논문(석사) - 한국과학기술원 : 전기및전자공학전공, 2008.2, [ vii, 55 p. ]

Keywords

neural network; generalization performance; dynamic range of parameters; multiobjective optimizaation; hybrid algorithm; 신경 회로망; 일반화 성능; 파라미터의 동적 범위; 다목적 함수 최적화; 하이브리드 알고리즘; neural network; generalization performance; dynamic range of parameters; multiobjective optimizaation; hybrid algorithm; 신경 회로망; 일반화 성능; 파라미터의 동적 범위; 다목적 함수 최적화; 하이브리드 알고리즘

URI
http://hdl.handle.net/10203/38590
Link
http://library.kaist.ac.kr/search/detail/view.do?bibCtrlNo=297207&flag=dissertation
Appears in Collection
EE-Theses_Master(석사논문)
Files in This Item
There are no files associated with this item.

qr_code

  • mendeley

    citeulike


rss_1.0 rss_2.0 atom_1.0