저자 판별 기법을 활용한 일관된 스타일의 채팅 메시지 생성

Abstract

입/출력 쌍을 바탕으로 대화 서비스를 제공하는 오락성 채팅 로봇의 경우, 사용자로부터 이를 학습 받는 방법을 통해 다양한 입력에 대해 자연스러운 출력을 제공할 수 있다. 하지만, 이러한 학습 과정에서 다양한 사용자의 스타일이 반영된 입/출력 쌍들이 축적되기 때문에 차후 일관되지 못한 스타일의 메시지들을 제공하여, 사용자의 흥미를 떨어뜨리는 문제점이 발생한다. 본 논문에서는 한 사람과 대화하는 것 같은 느낌을 주는 일관된 스타일의 채팅 메시지를 제공하여 사용자의 흥미를 유발하고 만족도를 높이는 것을 목표로 한다. 위의 목표를 달성하기 위해 여러 후보 채팅 메시지의 스타일을 분석하여 특정 스타일과 유사도가 가장 높은 메시지를 선정하여, 일관된 스타일의 메시지를 생성하는 방법을 제안한다. 먼저, 본 논문에서 제안하는 방법과 유사하게 텍스트의 스타일을 분석하여 작성한 사용자에 따라 분류하는 저자 판별 기법을 적용하여 채팅 메시지의 스타일을 분석하는 방법론을 구성한다. 이 가운데 분석 효율이 높은 방법론을 바탕으로 특정 스타일과 출력 후보 메시지들과의 유사도를 측정, 가장 유사도가 높은 메시지를 생성한다. 메시지의 스타일을 분석하는데 활용한 언어 자질들로는 문체에 기반을 둔 자질들과 내용을 표상할 수 있는 자질들을 모두 고려하였다. 이러한 자질들을 바탕으로 지도학습 방식과 비 지도학습 방식의 기계 학습을 통해 사용자 판별 실험을 진행한 결과, k 근접이웃 기반 분류기에서 문체 기반 자질들을 바탕으로 분석한 방법론이 가장 높은 효율을 보였다. 최대 100명의 사용자가 작성한 텍스트를 각각 62.8%의 높은 정확도로 분류할 수 있었다. 위의 분석 효율이 가장 높은 방법론을 바탕으로 일관된 스타일의 메시지를 출력하는 채팅 로봇 시스템을 구현, 유사도 측정 실험과 사용자 평가를 통해 생성된 메시지의 일관성 향상 과 그에 따른 사용자의 만족도 향상을 살펴보았다. 그 결과, 후보 메시지들 가운데 임의의 메시지를 출력하는 베이스라인에 비해 통계적으로 유의미한 수준으로 스타일의 변화 폭이 감소하는 것을 볼 수 있었다. 또한, 생성된 메시지의 스타일 일관성이 향상된 것은 사용자가 인지할 수 있는 수준이며, 사용자가 선호하는 스타일의 메시지를 일관되게 출력함으로써 사용자의 만족도를 높일 수 있음을 확인하였다.