지식 추출을 위한 효율적인 다중 작업 크라우드소싱 기법

Abstract

지식 추출이란 자연언어 문장으로부터 컴퓨터가 이해할 수 있는 지식 형태의 정보를 추출하는 작업으로, 지식베이스를 생성 및 확장하고 이를 이용해 질의 응답, 대화 에이전트 등 다양한 응용 분야에 활용된다. 지식 추출을 위해서는 주어진 자연언어 문장 내에 지식베이스에 연결 가능한 개체를 발견하고 그 개체들 간의 의미적 관계를 파악하는 과정이 필수적으로 수반된다. 본 논문에서는 크라우드소싱으로 개체 연결과 관계 추출을 위한 데이터 셋을 효과적으로 제작하는 방법을 제안한다. 지식 추출에는 다중 작업 설계가 필요한데 효율적인 데이터 주석 작업 틀을 설계하고, 또한 양질의 데이터를 수집하기 위해 작업자들을 교육, 데이터 품질을 지속적으로 자동 검수, 그리고 악성 작업자를 걸러내는 장치들을 도입하였다. 본 논문에서 수집한 데이터와 방법의 우수성을 입증하기 위해, 지식 추출에 필요한 여러 가지 모델들을 학습하고 평가한 결과, 본 논문의 크라우드소싱 데이터가 성능 향상에 기여했다는 것을 확인하였다.