잠재 공간 분리 및 반사실적 생성을 통한 단어 임베딩 내 성편향성 제거 알고리즘

Abstract

단어 임베딩 (Word embedding)은 각 단어가 가진 의미론적 (Semantic), 통사론적 (Syntactic) 정보들을 특정 임베딩 공간에 실수 형태의 벡터로 맵핑시킨 것을 의미한다. 이러한 단어 임베딩이 가진 특수성과 효율성 덕분에 다양한 자연어 처리 (Natural Language Processing) 분야에서 단어 임베딩을 활용하고 있지만, 최근 다양한 연구를 통해 단어 임베딩이 사회적 편견 (Social stereotype)을 임베딩 공간 내에서 학습하는 것으로 관찰되었다. 그 중에서도 성 편향성 (Gender bias)은 직업, 감정, 학문과 같은 다양한 주제의 단어들과 연관 관계 (Correlation) 를 지니며, 단어 임베딩 공간 내에 만연해있는 것으로 잘 알려져 있다. 본 연구에서는 단어 임베딩이 가진 정보를 잠재 공간 내에서 성 편향적 정보와 이를 포함하지 않는 의미론적 정보로 분리시키는 방법론을 통해, 각 단어가 가진 의미론적 정보를 훼손시키지 않으면서 불필요한 성 편향적 정보를 중립화하는 방법론을 제안한다. 또한, 각 단어의 성 편향성 제거 과정에서 단어의 이동 경로를 성 방향 벡터 (Gender Direction Vector)와 선형 정렬시킴으로써 의미론적 정보 손실은 최소화하되 성 편향적 정보를 더욱 정교하게 제거할 수 있는 방법을 추가로 제안한다. 본 방법론은 단어 임베딩으로 널리 활용되는 GloVe 단어 임베딩을 기반으로 편향성 제거 (Debiasing)에 대한 다양한 정량적, 정성적 실험을 진행하였으며 기존 연구 대비 우수한 성능을 보였다. 또한, 자연어 처리 분야의 대표적인 기반 실험 (Downstream Task)에 대한 성능을 기존 연구와 비교한 결과 편향성 제거로 인한 성능 손실을 최소화하는 것으로 나타났다.