Dynamic node activation을 사용한 저전력 분산처리 클러스터 아키텍처

Abstract

빅 데이터 개념의 등장으로 이를 처리하기 위한 Hadoop, Storm 등의 분산처리 시스템과 GlusterFS, HDFS 등의 분산 스토리지가 등장하였으며 이들 시스템을 설치하고 운용하는 것에 따른 어려움을 해결하기 위해 클라우드 서비스 모델을 도입한 DAaaS 가 대두되고 있다. DAaaS 는 대규모 서버들로 구성된 데이터센터에서 운영하게 되며 이로 인해 기존의 데이터센터에서 논의되어 왔던 Power management 문제가 발생한다. 하지만 현재 존재하는 분산 처리 시스템의 특성상 클러스터가 한번 하드웨어 위에 구성된 후부터 계속해서 전원이 켜진 상태로 유지되어야 하며 자기 자신이 언제 꺼지고 켜져야 할 지를 알 수 없기 때문에 기존 클라우드 데이터센터에서 사용되어 왔던 Power management 에 대한 방법론을 DAaaS 에 그대로 적용하는 데에는 어려움이 존재한다. 본 연구는 이 어려움을 해결하기 위하여 기존의 빅 데이터 처리를 위한 과정이 I/O 위주인 데이터 획득 (Data acquisition) 단계와 CPU 위주인 데이터 처리 (Data processing) 단계로 나누어져 있다는 점에 착안, 데이터 획득 단계는 소수의 큰 네트워크 가용성을 가진 서버에서 처리하고 실제로 데이터를 처리할 때에만 필요한 별도의 컴퓨팅 노드들에게 전원을 공급하여 빠르게 분산처리 후 전원을 다시 차단함으로써 Power cost 를 절감하는 것을 목표로 한다.