본 발명은 컴퓨터 비전 혹은 로봇 비전에서 물체를 인식하여 물체에 대한 정보를 얻고 이를 바탕으로 물체의 위치를 추적하는 방법에 관한 것이다. 본 발명에 따른 물체 인식 및 추적방법은, 물체를 촬영한 모델영상과 상기 물체의 외형인 캐드모델 사이의 대응관계를 설정하고, 상기 모델영상의 제니케모멘트를 계산하여 데이터베이스로 구축하는 데이터베이스구축단계와; 물체가 포함된 영상이 입력되면, 상기 입력영상의 제니케모멘트를 계산하는 입력영상처리단계와; 상기 데이터베이스에 구축된 모델영상의 제니케모멘트와 상기 입력영상의 제니케모멘트 사이의 매칭확률을 계산하여, 상기 입력영상에 포함된 물체를 인식하는 물체인식단계와; 상기 입력영상에 캐드모델을 매칭시켜서 초기 자세를 추정하는 초기자세추정단계와; 상기 입력영상과 상기 캐드모델의 대응쌍으로부터 상기 물체의 움직임을 추적하는 물체추적단계를 포함한다.