장기 의존성 증류를 통한 소형 이상 탐지 모델 생성

Abstract

시계열 데이터 이상탐지란 정상적인 데이터와는 다른 특징을 갖는 데이터를 탐지하는 것이다. 이상 데이터는 정상 데이터와 다른 범위의 값이나 패턴 등을 가질 수 있다. 이를 위해 선행 연구들은 어텐션 기반의 오토인코더 모델을 사용했다. 그런데 이러한 모델은 어텐션 계산을 위하여 많은 파라미터가 필요하고 입력 데이터의 길이에 따라 필요한 시간과 메모리가 증가할 수 있다. 이를 위해 모델의 크기를 줄이는 방법을 사용하거나 혹은 입력 데이터의 길이를 제한하는 방법인 슬라이딩 윈도우 기법을 사용하게 된다. 그런데 모델의 크기를 줄이면 모델의 복잡도가 떨어지고, 슬라이딩 윈도우의 길이가 짧으면 모델이 장기 의존성을 학습할 수 없다. 본 연구에서는 적은 레이어 수를 가진 어텐션 모델이 짧은 길이의 입력 데이터를 사용하면서도 장기 의존성 정보를 학습할 수 있는 방법을 제안하였다. 이를 위하여 지식 증류 기법을 적용하고 장기 의존성 정보를 가진 장치를 추가하였다. 실험을 통해 기존 모델과 비교하여 제안 방법의 성능이 향상되었고 모델의 자원 사용량이 낮아졌음을 확인하였다.