장거리 상호참조해결을 위한 BERT와 군집화 방법-한국어와 영어 문서 적용

Abstract

상호참조해결은 자연언어 문서 내에서 같은 개체를 나타내는 언급들을 연결하는 문제다. 대명사, 지시 관형사, 축약어 등의 사용과 동음이의어의 혼동으로 인한 동일 지시를 하는 언급들을 파악함으로서, 다양한 자연언어처리 문제의 성능 향상에 기여 할 수 있다. 본 논문에서는 현재 영어권 상호참조해결에서 좋은 성능을 내고 있는 BERT 기반 상호참조해결 모델에 개체명, 대명사 사전을 사용한 자질을 추가하고 표층형을 이용한 장거리 군집화를 적용했다. 또한 한국어 데이터셋을 사용할 때 발생하는 문제점을 해결하고 한국어, 영어 데이터에서 본 논문의 모델과 기존의 모델들을 실험하여 성능을 비교하였다. 한국어 데이터에서 기존의 연구들보다 높은 정밀도 75.7%, 재현율 68.1%, CoNLL F1-score 71.7%의 성능을 보였다. 모델들의 결과를 분석하여 기존 딥러닝 모델에 비해 문맥적 요소를 잘 파악하는 것을 확인했다.