비디오 분류를 이용한 가상 피아노

Abstract

기계학습, 특히 딥러닝 기법이 컴퓨터 비전 분야에 적용되면서 기술적으로 많은 발전을 가져오고 있다. 또한 디지털 음악 분야에서는 시각적으로 음악을 분석하려는 시도들이 이루어지고 있다. 본 논문에서는 압력센서를 이용해 피아노 건반을 직접 제작하고, 이를 통한 연주 동영상에서 연주자의 손 동작을 검출하여 연주하는 피아노 건반의 위치, 길이, 세기 등을 분석해 낼 수 있는 방법을 제시하며 이후 연구의 방향과 가능성을 제시한다.