비디오로부터의 색상 스키마 추출 방법 및 장치가 제시된다. 일 실시예에 따른 비디오로부터의 색상 스키마 추출 장치에 있어서, 입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 준-마스터 샷 세분화부; 분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 베이스 팔레트 추출부; 및 각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 색상 스키마 병합부를 포함하여 이루어질 수 있다.