본 발명은 깊이 이미지에서 적외선 이미지로의 도메인 전이학습을 기반으로 빠른 손 동작에 대한 3차원 손 자세를 추정하는 손 자세 추정 방법 및 시스템에 관한 것으로서, 손 움직임에 대한 깊이 이미지 및 적외선 이미지를 처리하는 단계, 손 이미지 생성기(HIG)를 이용하여 상기 적외선 이미지에서 깊이 맵을 합성하며, 상기 깊이 맵 및 적외선 맵 각각에서 손 관절의 골격 위치를 추정하는 단계 및 상기 골격 위치와 손 깊이 이미지의 중심을 이용하여 3차원 손 자세를 산출하는 단계를 포함한다.