FairCIL: fair few-shot class-incremental learning

Abstract

다양한 분야에서 퓨샷 클래스 증분 학습의 필요성은 점점 대두하고 있지만 실세계에서 사용하기에는 여전히 몇 가지 문제를 가지고 있다. 먼저 일반적인 기계 학습을 이용한 이미지 분류 모델과 달리 퓨샷 클래스 증분 학습 환경에서는 파괴적 망각에 의해 인공 신경망이 기존에 학습했던 지식을 잊어버려서 타 분류 모델보다 상대적으로 낮은 정확도를 보인다. 그 때문에 현재 퓨샷 클래스 증분 학습 환경에서 모델의 성능을 향상하기 위한 많은 연구가 발표되어 발전을 이루고 있다. 하지만 인공 신경망을 이용한 기계 학습 모델을 실세계에서 사용하기 위해선 모델의 공정성이 보장되어야 하는데, 아직까진 퓨샷 클래스 증분 학습 환경에서 공정성을 다룬 연구가 이루어지지 않았다. 특히 기존 공정성을 고려하지 않은 퓨샷 클래스 증분 학습 기법을 사용하면 기존에 알려진 파괴적 망각 뿐만 아니라 차별적 파괴적 망각이 발생해 증분 단계가 지속될수록 공정성이 악화되는 현상을 관찰하였다. 본 논문에서는 슈퍼클래스에 대한 종합적 정확도 동등성을 공정성 지표를 사용한다면 실세계의 퓨샷 클래스 증분 학습 환경에서 사용하기 적절함을 제시하였고, 정확도를 최대로 하면서 주어진 공정성 기준을 만족하는 프레임워크인 FairCIL를 제안하였다. 증분 이전 단계에선 기존 규제화 손실 함수를 슈퍼클래스에 대해 선택적으로 적용하여 공정한 백본을 학습했고, 증분 단계에서는 슈퍼클래스에 따라 선택적으로 별도 저장 장치에 저장하는 샘플 수를 다르게 하는 기억 재현 방법을 통해 슈퍼클래스간 정확도 차이를 감소시켰다. FairCIL의 성능을 확인하기 위해 MNIST와 Fashion-MNIST 데이터셋을 함께 사용하는 Mixed-MNIST 데이터셋을 사용하였다. 이는 MNIST가 Fashion-MNIST보다 정확하기에 슈퍼클래스 간 정확도 차이를 명확히 확인할 수 있기 때문이다. 학습 결과 여러 퓨샷 클래스 증분 학습 모델 중 FairCIL이 유일하게 목표하는 공정성 기준을 만족할 수 있음을 확인하였다. 또한 기억 재현에서 목표로 하는 공정성 기준을 조절하여 정확도와 공정성 사이 트레이드-오프 관계가 있음을 확인하였다.