본 논문에서는 실시간 영상에서 얼굴의 방향을 추정하는 방법을 제안한다. 제안된 방법은, 보다 빠르고 정확하게 얼굴 방향을 추정해 낼 수 있는 얼굴 구조 모델 기반 방법을 바탕으로하고 있기 때문에, 눈과 입등 얼굴 특징 영역의 위치를 정확하게 파악할 수 있는 방법이 필요하다. 실시간으로 얼굴의 방향을 효율적으로 추정하기 위하여, 제안된 방법은 입력되는 연속 영상에서 얼굴 특징을 추출하여 추적 정보와 결합함으로써 얼굴 특징의 위치를 파악한다. 이 경우 얼굴 방향을 추정할 수 있는 각도의 범위에 무관하게 연속적으로 얼굴의 방향을 추정할 수 있다. 제안된 방법은 사용자의 변화 및 거리, 위치, 방향등의 변화에 무관하게 실시간 영상에서 얼굴의 방향을 추정하는 것이 가능하며, 조명 및 배경, 사용자의 개인 차이 등에 의한 영향을 상당부분 흡수할 수 있다. 이러한 특성으로 인하여, 제안된 방법은 얼굴의 방향을 이용한 실시간 사용자 인터페이스를 구현하는데 유용하게 사용될 수 있다.