CUDA$^2$: 경쟁 학습을 통한 연속적 비지도 도메인 적응

Abstract

자율 주행 분야에서 자동차가 마주하는 도로 이미지에 대해 물체별로 구분하여 인식하는 의미적 분할(semantic segmentation)은 중요한 역할을 한다. 전통적 의미적 분할 기법에서는 이미지의 픽셀별로 라벨이 주어지는 지도 학습을 필요로 한다. 그러나 실제 도로 이미지에 대해 픽셀별로 라벨링하는 것은 많은 노동력과 시간을 요구한다. 이에 따라, 비교적 라벨링이 수월한 시뮬레이션 데이터를 이용하여 라벨이 없는 실제 도로 데이터에의 비지도 도메인 적응(UDA

Unsupervised Domain Adaptation)에 대한 연구가 활발히 진행되어 왔다. 기존 비지도 도메인 적응 기법들은 실제 데이터들이 한 번에 모두 소개된다고 가정한다. 하지만 실제 세계에서는 시간 순서에 따라 연속적으로 실제 데이터들을 마주하게 된다. 따라서 기존 기법들을 이러한 실제적인 상황에 이용하게 되면, 이전에 학습한 데이터들에 대한 지식을 잊는 치명적 망각(catastrophic forgetting) 현상이 일어나게 된다. 본 논문에서는 기존 비지도 도메인 적응에서 나타나는 치명적 망각 현상을 보완하는 최초의 기법인 경쟁 학습을 통한 연속적 비지도 도메인 적응(CUDA$^2$: Continual Unsupervised Domain Adaptation with Adversarial Learning) 프레임워크를 제안한다. 제안된 프레임워크에서는 목표 도메인별로 목표 특정 메모리(TM

Target-specific Memory)를 생성하여 의미적 분할 네트워크의 치명적 망각을 완화한다. 또한, 더블 힌지 경쟁 비용 함수(DHA loss

Double Hinge Adversarial loss)를 제안하여 의미적 분할 자체의 성능 또한 향상시킨다. 본 프레임워크는 경쟁 학습을 통해 비지도 도메인 적응을 하는 모든 기법들에 보편적으로 적용이 가능하다. 연속적으로 데이터가 소개되는 환경에서 CUDA$^2$ 프레임워크가 적용된 모델은 다른 최신 모델들을 성능 면에서 압도한다.