본 발명은 다차원 데이터 세트를 위한 하이퍼사각형 기반의 세그먼테이션을 이용한 다차원 데이터 시퀀스에 대한 유사성 검색 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 비디오 스트림과 같이 다차원 데이터 시퀀스(Multidimensional Data Sequence)로 표현될 수 있는 데이터 세트에 대하여, 주어진 질의 시퀀스와 유사한 다차원 데이터 시퀀스를 프레임 사이의 기하학적 정보 및 의미적인 정보를 고려하여 비디오 세그먼트(Video Segment)로 나눈 후, 데이터베이스에서 효율적으로 검색하는 장치 및 방법을 제공한다.