편향된 데이터세트로부터 편향 정보 없이 편향을 제거하는 적대적 학습 알고리즘

Abstract

최근 수년 동안 지도적 심층 신경 네트워크는 수많은 응용에서 훌륭한 성능을 보여 왔다. 그러나 지도적 심층 네트워크는 학습 데이터 분포에 의존하므로 훌륭한 성능을 보장하기 위해서는 학습 데이터의 분포가 잘 분포되어 있어야 한다. 그러나 학습 데이터가 편향된 경우 훈련 정확도는 높지만 편향되지 않은 테스트 데이터세트에서의 정확도는 낮아진다. 이를 막기 위한 여러 가지 연구가 현재까지 연구자 커뮤니티에서 활발히 진행되고 있다. 우리는 지도적 심층 분류 네트워크가 편향된 데이터를 학습할 때 편향에 관한 정보가 없어도 편향을 제거하는 새롭고 참신한 알고리즘을 제안했다. 이 알고리즘에서 우리는 중간 특징으로부터 편향을 추출하는 역할을 하는 추가적인 신경 네트워크를 도입했다. 그리고 학습 과정에서 편향을 학습하지 않기 위해 편향 특징의 평균-분산 손실을 도입하여 적대적으로 학습했다. 그 결과 우리의 알고리즘을 이용하여 편향을 제거하여 학습한 경우가 그렇지 않은 경우보다 눈에 띄는 테스트 정확도 향상을 보였다. 실험 결과를 통해 우리의 알고리즘이 편향을 성공적으로 제거하고 있음을 알 수 있다.