초해상도 영상 복원을 위한 패치 분류 기반의 deep convolutional networks

Abstract

단일 영상 super-resolution (SR) 은 low-resolution (LR) 영상을 high-resolution (HR) 영상으로 만드는데 그 목적이 있다. SR 은 적은 양의 정보로 많은 양의 정보를 추정해야 하는 ill-posed inverse problem으로 문제를 풀기 위한 많은 알고리즘들이 제안되었다. 최근에는 convolutional neural network를 이용한 SR (SRCNN) 방식이 LR-HR 관계를 비교적 정교하게 모델링 하는 것을 확인 할 수 있었다. 하지만 SRCNN은 입력 패치의 다양성을 고려하지 않아 그 성능에 한계가 존재할 가능성이 있다. 본 논문에서는 DCN기반의 새로운 SR 알고리즘을 제안하고자 한다. 제안하는 알고리즘은 다중 DCN들을 패치 classification에 따라 최적화 함으로써 SR 성능을 향상시키고자 하였다. Train 단은 다중 regressors 학습과 classifier학습의 두 단계로 구성되어 있다. 전단에서는 패치 classification과 해당 regressor의 학습이 번갈아 수행되어 각 패치 class를 위한 다중 DCN 기반의 regressors가 최적화 된다. 후단에서는 DCN기반의 classifier가 LR 패치가 각 regressor에 속할 확률을 주도록 학습되었다. 본 알고리즘의 test 단에서는 학습된 다중 regressors와 classifier를 이용하여 복원된 결과 영상을 얻는다. 영상은 다중 regressor의 출력 영상을 classifier로 부터 얻은 확률로 weight 를 주어 더함으로써 얻는다. 본 논문에서 제시하는 실험결과는 제안하는 알고리즘이 기존의 방법대비 개관적인 측면과 주관적인 평가 측면에서 모두 향상 되었음을 보여준다.