딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템이 개시된다. 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 시스템은 미리 정의된 검출 딥 러닝 네트워크를 이용하여 감시 카메라 영상에 대해 미리 설정된 적어도 하나의 객체를 검출하는 검출부; 미리 정의된 인식 딥 러닝 네트워크와 상기 객체에 대한 검출 결과에 기초하여 상기 검출된 객체에 대한 정보를 인식하는 인식부; 및 미리 정의된 추적 딥 러닝 네트워크와 상기 검출된 객체에 대한 검출 결과에 기초하여 상기 검출된 객체를 추적하는 추적부를 포함하고, 상기 검출부는 컨볼루션 신경망(CNN; convolution neural network) 기반의 히트 맵(heat map) 생성 방법을 포함하는 영역 제안 추출(region proposal extraction)을 이용하여 상기 객체를 검출할 수 있다.