학습 기반 혐오 표현 댓글 필터링 장치 및 이의 동작 방법

Abstract

혐오 표현 댓글 필터링 장치는, 혐오 표현 단어들을 저장하는 혐오 표현 사전, 단어 임베딩 모델을 이용하여, 수집한 댓글들에 포함된 혐오 표현 후보 단어들과 상기 혐오 표현 단어들 각각의 임베딩 벡터들을 생성하고, 벡터 간 유사도 판단 알고리즘을 이용하여 상기 혐오 표현 후보 단어들 중에서 상기 혐오 표현 사전에 저장된 단어들과 유사한 유사 단어들을 추출하고, 상기 유사 단어들 중 결정된 신규 혐오 표현 단어를 상기 혐오 표현 사전에 저장하는 사전 구축 장치, 상기 혐오 표현 사전을 기초로 혐오 표현 댓글과 비혐오 표현 댓글로 라벨링된 분류 학습용 댓글들을 이용하여, 혐오 표현 분류 모델이 입력 댓글을 혐오 표현 댓글 또는 비혐오 표현 댓글을 구별하도록 학습시키는 학습 장치, 그리고 판별 대상 댓글을 상기 혐오 표현 분류 모델로 입력하고, 상기 혐오 표현 분류 모델로부터 상기 판별 대상 댓글이 혐오 표현 댓글로 판별된 경우, 상기 판별 대상 댓글을 미리 설정된 텍스트로 치환되도록 설정하는 필터링기를 포함한다.