이 발명은 영, 유아기의 아기가 사용하는 베이비사인의 의미를 인식하는 방법에 관한 것이다. 또한, 이 발명은 이 베이비사인을 인식하여 양방향 멀티미디어 동화를 구현하는 시스템 및 방법에 관한 것이기도 하다.이 발명은 양방향 멀티미디어 동화 구현 시스템은, 서버로부터 멀티미디어 동화 컨텐츠 정보를 수신하는 수신부와; 아기의 영상을 획득하는 카메라영상획득부와; 상기 아기의 영상으로부터 베이비사인을 인식하는 베이비사인 인식부와; 상기 인식된 베이비사인별 의미를 저장하는 인식모델데이터베이스와; 상기 베이비사인 인식부에서 인식된 베이비사인의 의미에 따라 상기 멀티미디어 동화 컨텐츠를 선택하는 화면제어부와; 상기 화면제어부의 제어를 받아 화면에 멀티미디어 동화를 표시하는 디스플레이부를 포함한 것을 특징으로 한다.동화, 베이비사인, 멀티미디어, 인터랙티브, 영유아