비디오 내 음원 위치 추정 모델의 성능 향상을 위한 클래스 인지 대조 학습 기법 제안

Abstract

비디오 상의 음원 위치를 추정하는 신경망 모델 학습은 이미지 및 오디오 멀티 모달 연구의 중요 분야 중 하나이다. 최근 연구들은 대조 학습법(contrastive learning)을 사용하여 음원 위치 추정 모델을 지도하는 방법을 제안하는데, 이 방법은 서로 다른 비디오는 서로 다른 클래스의 객체를 표현한다고 가정한다. 그러나, 일반적인 학습 데이터셋에는 동일한 객체를 담은 비디오가 존재하기 마련이다. 기존의 학습 과정에는 이러한 비디오들이 학습 배치 내에 함께 존재하여 모델에게 잘못된 지도를 제공할 수 있다. 이러한 문제를 바로잡고자, 본 논문은 음원 위치 추정 모델이 비디오 상의 객체 클래스를 미리 예측하여 데이터를 재배치하는 정확한 대조 학습법을 제안한다. 제안하는 방법은 추가적인 레이블 없이도 기존의 음원 위치 추정 모델의 성능을 개선하였다. 음원 위치 추정 연구 분야의 성능 검증 실험을 통해 이를 뒷받침한다.