딥러닝 모델과 대형 언어 모델에서의 차분 프라이버시 완화 기법

Abstract

딥 러닝에서 개인정보 보호는 신뢰 가능한 인공지능을 생각할 때 중요한 이슈 중 하나이다. 그를 위해 차분 프라이버시는 인공 지능 모델에서 개인 정보 보호를 위한 개념으로 널리 활용되고 있지만, 각 데이터에 대해 균일한 수준의 개인정보 보호를 제공하기 때문에 과도한 보호를 하게 되고 성능이 떨어지게 된다. 본 논문에서는 차분 프라이버시의 완화된 정의들을 통해 개인 정보 보호를 과도하게 하지 않고 성능을 올리는 기법 2가지를 소개하고자 한다. 첫번째로, 딥러닝에서 균일한 보호 수준 대신에 사용자들의 개인 정보 보호 요구사항을 맞춰 불필요한 보호를 줄이고 성능을 올리는 연구를 하였다. PDP-SGD는 널리 쓰이는 차분 프라이버시 기법 DP-SGD를 확장한 것으로, 개인화 차분 프라이버시를 통해 사용자 개인의 개인정보 보호 요구를 만족시킬 수 있는 기법이다. 두번째로, 대형 언어 모델에서 다운스트림 데이터에 대한 개인정보를 보호하고자 할 때, 개인정보의 비중은 전체 텍스트 데이터에 비하면 극히 일부이기 때문에 그 개인정보들만 선택적으로 보호하는 연구를 하였다. SDPPrompt는 대형 언어 모델에서 선택적 차분 프라이버시를 프롬프트 튜닝을 통해 달성함으로써 훈련하는 데 드는 비용은 줄이고 성능은 늘리는 기법이다.