ODYS 병렬 DBMS/검색엔진을 위한 \linebreak Fault Tolerance와 Load Balancing 모듈의 설계 및 구현

Abstract

최근 인터넷 상의 데이터의 양이 폭발적으로 증가함에 따라 분산 저장된 대규모의 데이터에 대한검색을 병렬적으로 수행하는 병렬 검색 엔진의 역할이 중요해 지고 있다. 웹 검색 엔진은 대표적인 대형 병렬 검색 엔진이므로 이를 구성하는 머신의 수가 많다. 따라서 일부 머신이 고장 날 가능성이 높고, 각 머신들의 부하에 불균형이 발생하기 쉽다. 그러므로 병렬 웹 검색 엔진은 안정적인 정보 검색 서비스를 제공할 수 있도록 하는 fault tolerance 기능과 시스템의 부하를 균형화 하여 전체 시스템의 성능을 최적화하는 load balancing 기능이 필요하다. Google, Yahoo!와 같은 상용 검색 엔진은 질의를 병렬로 처리하는 과정에서 fault tolerance와 load balancing 기능을 지원한다. 그러나 이에 대한 구체적인 방법은 공개되어 있지 않다. 한편, 병렬 처리 프레임워크인 MapReduce는 질의를 병렬로 처리하는 과정에서 많은 수의 머신에 대해 fault tolerance와 load balancing 기능을 지원한다. 따라서 병렬 검색 엔진에 MapReduce 방식의 fault tolerance와 load balancing 기능을 적용할 수 있다.

본 논문에서는 한국과학기술원 전산학과 데이터베이스 및 멀티미디어 연구실에서 개발한 병렬 검색 엔진인 ODYS를 위한 fault tolerance 및 load balancing 모듈을 병렬 처리 프레임워크인 MapReduce에서 제공하는 fault tolerance와 load balancing 방법에 기반하여 설계하고 구현한다. 특히, 처리 시간이 짧은 수 많은 질의를 동시에 처리해야 하는 병렬 검색 엔진의 요구조건을 만족시키기 위해 적은 오버헤드로 fault tolerance 및 load balancing 기능을 수행할 수 있는 프로세스 및 통신 구조를 제안한다. 그리고 질의를 처리하는 다수의 slave 머신의 상태 및 부하와 slave 프로세스의 상태를 효과적으로 관리할 수 있는 색인 자료구조를 제안한다. 마지막으로 실험을 통해 본 논문에서 설계하고 구현한 모듈이 효율적으로 fault tolerance 기능을 수행하고, 효과적으로 load balancing 기능을 수행함을 보인다. 실험 결과, fault tolerance와 load balancing 모듈을 적용한 ODYS가 5million queries/day의 질의 부하에서 fault가 발생하지 않은 경우에 비해 slave 프로세스(400개의 slave 프로세스 중 1개를 fault 시킴)에 대해 약 0.4\%, slave 머신(4대의 slave 머신 중 1대를 fault 시킴)에 대해 약 86.13\%의 추가적인 질의 수행 시간으로 fault tolerance 기능을 수행할 수 있으며, load balancing 기능으로 인해 9million queries/day의 질의 부하와 2개의 node가 복제된 환경에서 load balancing을 하지 않는 na\"{i}ve한 구성의 ODYS에 비해 평균 질의 수행 시간이 약 16.89\% 향상되었음을 보인다.