내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치

Abstract

내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단 방법 및 그 장치는 유해 동영상 분류 모델과 비유해 동영상 분류 모델로 이루어지는 판별모델을 구축하는 단계; 동영상 컨텐츠에서 비디오 스트림과 오디오 스트림으로 분리하는 단계; 상기 분리된 비디오 스트림에 대하여 소정의 비주얼 특징값을 추출하여 샷(shot) 경계를 검출한 후 각 샷에서 적어도 하나 이상의 키 프레임을 추출하고 상기 샷과 키 프레임정보를 생성하는 단계; 상기 비디오 스트림에 대하여 소정의 선처리를 수행한 후 상기 샷과 키 프레임 정보를 기초로 상기 키 프레임의 멀티 모달 특징값을 추출하는 단계; 상기 멀티 모달 특징값을 상기 판별모델에 입력하여 샷의 유해성을 판단하는 단계; 및 상기 샷 기준의 판단 결과를 종합하여 상기 동영상 컨텐츠의 유해성을 판단하는 단계;를 포함하는 것을 특징으로 하며, 키프레임 기반 판단 엔진과 프레임 기반 판단 엔진을 이용한 점진적 차단 방법을 이용하고, 멀티모달(multi-modal) 특징값들을 이용함으로써, 인터넷을 통한 유해 동영상 차단, P2P를 통한 유해 동영상 유통 제어, 디지털 방송 스트림의 실시간 유해 정보 감시 시스템에 적용될 수 있다.내용 기반 차단, 유해 정보 판별, 멀티 모달 특징