Frame rate Up conversion algorithm for effective occlusion handling

Abstract

프레임율 상향 변환 기법은 홀드 타입 디스플레이에서 흔히 발견되는 잔상 효과(motion blur)를 줄이기 위한 신호 처리 방법이다. 단순한 프레임율 상향 변환 기법은 비정지 프레임에 motion jerkiness와 흔들림 현상을 야기시키기 때문에, 물체의 움직임을 보상해줄 수 있는 기법이 다양하게 개발되었다. 하지만 폐색영역에서 잘못 추정된 움직임 벡터 때문에 이러한 알고리즘들의 성능에는 한계가 있다. 그러므로 프레임율 상향 변환 기법의 성능을 최대화시키기 위해서는 폐색 영역 문제를 해결하는 것이 필수적이다. 폐색 영역 문제를 해결하기 위해 전후방으로 추정된 다수의 움직임 벡터를 이용하는 알고리즘들이 개발되었다. 이러한 알고리즘들은 프레임 내삽을 위하여 추정된 여러 움직임 벡터를 적응적으로 결합하고, 내삽 시 사용되는 가중치는 움직임 벡터의 신뢰도에 기반하여 효과적으로 선택된다. 그러나 프레임율 상향 변환 기법의 성능을 더욱 향상시키기 위해서는 내삽에 이용되는 가중치를 최적으로 선택할 필요가 여전히 있다. 본 학위 논문에서는 variational 영상 융합 기법을 기반으로 최적으로 선택된 적응적 가중치를 적용하는 새로운 움직임 보상 프레임율 상향 변환 기법을 제안한다. 제안하는 알고리즘은 임시 내삽 프레임 생성 단계와 영상 융합 단계로 구성된다. 첫 번째 단계에서 이웃한 네 장의 프레임을 이용하여 네 장의 움직임 벡터장을 추정한다. 추정된 네 장의 움직임 벡터장을 이용하여 네 장의 임시 내삽 프레임을 생성한다. 여기서 움직임 추정에 있어서 생기는 폐색 영역 문제를 해결하기 위해 여러 장의 움직임 벡터장을 사용된다. 두 번째 단계에서 variational 영상 융합을 통해 네 장의 임시 내삽 프레임을 한 장의 프레임으로 융합한다. 효과적인 영상 융합을 위해, 각 임시 내삽 프레임에 해당하는 융합 가중치는 가중치 L1-rnom 기반 데이터 에너지와 경사 추진 제약 에너지로 구성된 에너지를 최소화함으로써 결정한다. 실험 결과는 제안한 프레임율 상향 변환 기법이 기존의 알고리즘과 비교하여 향상된 성능을 보여줌을 증명한다.