3D 캐릭터의 얼굴 표정 리타게팅 방법 및 이를 위해 신경망을 학습하는 방법

Abstract

실시예는, 3D 캐릭터의 얼굴 표정 리타게팅 방법 및 이를 위해 신경망을 학습하는 방법에 대한 것이다. 리타게팅 방법은, 소스 얼굴 모델의 제1 표정에 대응하는 소스 블렌드쉐입 가중치를 수신하는 단계; 소스 블렌드쉐입 가중치에 기초하여 소스 얼굴 모델을 렌더링함으로써, 소스 얼굴 모델의 제1 표정에 대응하는 소스 얼굴 이미지를 생성하는 단계; 소스 얼굴 이미지를 타깃 얼굴 모델에 대응하는 영상을 생성하는 제1 신경망에 인가함으로써, 소스 얼굴 모델의 제1 표정에 대응하는 타깃 얼굴 이미지를 생성하는 단계; 및 타깃 얼굴 이미지를 타깃 얼굴 모델의 표정에 대응하는 블렌드쉐입 가중치를 추정하는 제2 신경망에 인가함으로써, 타깃 얼굴 모델의 제1 표정에 대응하는 타깃 블렌드쉐입 가중치를 추정하는 단계를 포함할 수 있다.