코어텐션 네트워크에서 대답 선택 문제를 위한 2차원 팽창된 합성곱 신경망 디자인

Abstract

자연 언어 처리 분야에서 대답 선택(answer selection)은 중요한 문제 중 하나이다. 대답 선택 문제에서 질문 문장과 대답 후보 문장 표현을 위한 모델링이 필요하다. 기존의 합성곱 신경망(convolutional neural network) 결과 기반 코어텐션(co-attention) 모델링은 각 문장의 장기 의존성(long-term dependency)을 반영하기 어렵다. 이 논문에서는 장기 의존성을 반영하기 위해 2차원 팽창된 합성곱 신경망(2-dimensional dilated convolutional network)을 이용한다. 또한, 코어텐션과 잔여 연결(residual connection)을 통해 대답 선택 문제를 위한 학습모델을 제시한다. 대답 선택 문제를 위해 이 논문에서 제안한 모델은 WikiQA 데이터에서 단어들의 사전훈련(pre-training)이 없어도 기존의 사전학습과 합성곱 신경망 결과 기반 코어텐션 모델보다 좋은 성능을 가진다.