독해 보조로서의 자동 생성 요약문 평가

Abstract

지금까지 요약모델은 사람이 주석한 요약문과 겹치는 단어의 수를 비교함으로써 평가되어왔다. 하지만 이는 요약문의 다양한 측면을 반영한 평가라고 보기 어렵다. 요약문을 정확도 기준으로 평가한 선행연구와 다르게, 본 연구는 독해 보조 기준으로 평가하는 시각을 사용자 평가를 통해 처음으로 보인다. 실험에서 참가자는 한국어 경제 뉴스 기사 관련 네 개의 이해력 시험을 보고, 그 후 설문조사에 답한다. 실험 결과, 추출요약문은 문서를 이해하는 데에 문장 간의 연결성과 간결성을 제외한 유창성과 대표성 척도에서 좋은 성능을 보였으며, 생성 요약문은 많은 정보를 추상화하며, 낮은 유창성과 대표성의 한계를 보인다는 것을 확인하였다. 또한, 참가자들이 독해를 위해 요약을 받아들이고 부정적으로 평가하는 방식을 통해 기존 자동 평가 지표가 반영하지 못하는 독해 보조로서의 측면들을 분석하여, 자동문서 요약 과제가 나아가야 할 방향을 제시한다.