본 발명은 문자의 부분형태 모델을 이용하여 자연 영상에서 문자를 인식하는 장치 및 방법에 관한 것으로, 복수의 영상으로부터 외곽선을 추출하고, 추출된 외곽선 정보로부터 직선 및 곡선 성분을 검출하는 제1 전처리 모듈; 입력 영상으로부터 외곽선을 추출하고, 추출된 외곽선 정보로부터 직선 및 곡선 성분을 검출하는 제2 전처리 모듈; 상기 검출된 직선 및 곡선 성분을 이용하여 문자의 부분형태를 학습하는 부분형태 학습 모듈; 상기 학습된 문자의 부분형태를 저장하는 부분형태 코드북; 상기 입력 영상으로부터 검출된 직선 및 곡선 성분과 상기 학습된 문자의 부분형태를 비교하여 상기 입력 영상에 상기 문자의 부분형태가 존재하는지 여부를 탐지하는 부분형태 탐지 모듈; 및 상기 입력 영상에서 상기 탐지된 문자의 부분형태들을 조합하여 문자를 찾아내는 부분조합 모듈을 제공한다.