2D RGB 비디오 기반 3D 한국어 수어 애니메이션 생성 및 사용자 경험을 통한 디자인 가이드라인 제시

Abstract

본 연구에서는 3D 수어 애니메이션의 전반적인 니즈와 사용자 선호도를 조사하고, 2D 비디오에서 이러한 데이터 집합을 생성하는 효율적인 방법을 모색한다. 수어는 청각장애인이거나 난청인 사람들 사이의 중요한 의사소통수단이다. 하지만 디지털 콘텐츠 소비를 위해 기존 시스템들은 많은 한계점을 가지고 있다. 이를 극복하기 위해 3D 수어 애니메이션이 필요하지만 데이터셋이 적고 한국어 수어 애니메이션(KSL)을 제작하기 위한 디자인 가이드라인의 부재 등으로 인해 많은 어려움이 있는 상황이다. 본 연구에서는 3D SL 애니메이션이 필요한 이유, 최종 사용자가 3D SL 애니메이션을 어떻게 수용하는지 등을 조사하고, 2D 동영상에서 3D SL 애니메이션을 추출할 수 있는 시제품 SL 생성 시스템을 제공한다. 본 연구의 시스템을 통해 15개의 한국수어(KSL) 애니메이션을 제작하여 11명의KSL 사용자를 대상으로 수어 애니메이션의 정확도와 사용자 경험을 평가 하였다. 실험 결과는 우리의 시스템이 기존의 3D 포즈 추정 기법에 대한 정확도를 향상시킬 수 있었다는 것을 보여준다. 본 연구는 또한 3D KSL 애니메이션을 구축하는 데 있어 다양한 시사점을 제시한다.