감성 분석에서의 어텐션 메커니즘을 위한 마스크 모델링

Abstract

감성 분석 (Sentiment Analysis)와 같이 텍스트를 인풋으로 다루는 모델의 경우, 인풋을 구성하는 단어들 중 예측에 영향을 미치는 부분에 대해 가중치를 줌으로써 성능을 향상시키는 어텐션 메커니즘(Attention Mechanism)이 많이 사용된다. 길이에 제약이 없고, 노이즈가 많은 텍스트 데이터의 특성에도 불구하고, 기존 어텐션 메커니즘 모델들은 가중치를 계산함에 있어 주어진 인풋 단어들을 모두 반영하여 가중치를 계산한다. 본 논문에서는 베르누이 샘플링(Bernoulli Sampling)을 기반으로 한 어텐션 마스크(Attention Mask)를 이용하여 인풋 단어들 중 노이즈를 제거함으로써, 어텐션 메커니즘으로 하여금 가중치를 더욱 정교하게 계산하고자 한다. 본 모델은 감성 분석에 많이 사용되는 Yelp 데이터를 이용하여 실험을 진행하였으며, 기존 어텐션 메커니즘을 적용한 모델들에 비해 우수한 성능을 보였다.