심층 인공신경망 기반 자동 악보 채보를 이용한 연주 및 악보 정렬 방법 및 시스템Method and System for Audio and Score Alignment of Music Using Neural Network-Based Automatic Music Transcription
심층 인공신경망 기반 자동 악보 채보를 이용한 연주 및 악보 정렬 방법 및 시스템이 제시된다. 본 발명에서 제안하는 심층 인공신경망 기반 자동 악보 채보를 이용한 연주 및 악보 정렬 방법은 입력으로 오디오 데이터를 수신하여 단 시간 푸리에 변환(Short Time Fourier Transform; STFT)을 계산하는 단계, 단 시간 푸리에 변환을 통해 전처리된 오디오 데이터에 대하여 복수의 노트 또는 복수의 크로마를 예측하는 네트워크 및 복수의 크로마 온셋을 예측하는 네트워크를 포함하는 신경 네트워크를 사용하여, 오디오 데이터에 대한 순차 데이터의 시간 종속성을 학습하는 단계 및 순차 데이터의 시간 종속성을 학습하여 MIDI 레벨 기능을 반환하고, 크로마 온셋 특징에 대해 감쇠 가중치를 갖는 프레임 동안 연장하는 단계를 포함한다.