소셜 미디어 데이터에 대한 준 지도 멀티 모달 딥 임베디드 클러스터링을 이용한 인간 활동 인식 방법

Abstract

본 발명의 일 실시예에 따른 소셜 미디어 데이터에 대한 준 지도 멀티 모달 딥 임베디드 클러스터링을 이용한 인간 활동 인식 방법은, 훈련 데이터로 제공된 이미지 및 텍스트를 포함하는 멀티 모달 소셜 미디어 데이터를 전처리하여 이미지 특징 및 텍스트 특징을 추출하는 멀티 모달 데이터 전처리 단계; 상기 이미지 특징에 대한 이미지 임베딩 네트워크 및 상기 텍스트 특징에 대한 텍스트 임베딩 네트워크의 초기화를 수행하는 임베딩 네트워크 초기화 단계; 상기 훈련 데이터 중 레이블이 있는 데이터를 사용하여 상기 이미지 임베딩 네트워크 및 텍스트 임베딩 네트워크를 학습하는 지도 학습 단계; 및 상기 훈련 데이터에 포함된 레이블이 없는 데이터 및 레이블이 있는 데이터를 모두 사용하여 상기 이미지 임베딩 네트워크 및 텍스트 임베딩 네트워크를 학습하는 비지도 학습 단계를 포함할 수 있다.