본 발명은 고화질 동영상 워터마킹의 비가시성 향상을 위한 복합 마스킹 시스템 및 그 방법에 관한 것으로서, 보안성 향상을 위해 비밀키를 이용하여 이차원 기본 워터마크 패턴 을 생성하고, 크기 변환 및 다양한 영상처리 공격에 강인하게 하기위해 확장된 워터마크 패턴 을 생성하는 워터마크 생성모듈; NVF 마스킹 수단을 통해 NVF(Noise Visibility Function) 마스크 를 생성하고, 적응 디더링 마스킹 수단을 통해 적응 디더링 마스크 를 생성하며, 윤곽 마스킹 수단을 통해 윤곽 마스크 를 생성하는 마스크 생성모듈; 및 NVF 마스크 , 적응 디더링 마스크 및 윤곽 마스크 를 곱하는 연산을 수행하여 복합 마스크 를 생성하고, 복합 마스크 와 워터마크 패턴 를 곱한 후, 원본이미지의 휘도채널에 삽입하는 워터마크 삽입수단;을 포함한다.