Virtualized security appliance based rootkit detection algorithm in cloud computing

Abstract

클라우드 컴퓨팅 환경이 널리 사용되면서, 기업 등에서 중요한 데이터를 클라우드에 저장하는 사례가 증가하고 있다. 이러한 데이터가 클라우드 컴퓨팅 환경에 축적되면, 축적된 데이터의 탈취를 목적으로 하는 사이버 공격이 증가할 것으로 예상된다. 예상되는 사이버 공격 방법 중 루트킷을 사용하면서 장기적인 잠복을 통하여 공격을 수행하는 형태의 APT 공격이 위협적일 것으로 보인다. 따라서 루트킷 탐지 기술을 개발함으로써 이에 대한 방어책을 수립할 필요가 있다. 가상화 시스템에서의 루트킷 탐지 연구는 기존에도 진행되고 있으나, 대부분의 기존 연구는 탐지 대상 가상머신 1개만 포함하는 가상화 환경을 대상으로 한다. 기존 방법은 여러 가지 제한점 및 성능상 오버헤드가 많다. 이러한 오버헤드의 대표적인 예로, 다수의 가상머신이 동시에 바이러스 검사를 진행하여 I/O 시스템 등에 병목 현상을 불러일으키는 A/V storm 현상이 존재한다. 본 논문에서는 가상화 시스템에서 루트킷을 탐지하기 위하여 VMI (Virtual Machine Introspection) 기술을 적용하였고, 효과적이며 효율적인 루트킷 탐지 시스템을 제시하였다. VMI 기법의 장점을 극대화하고 단점을 보완하기 위하여 VSA 기법을 적용하였으며, 루트킷의 주 공격대상의 시그니처를 보전하고, 연관성 있는 자료구조 간의 대조를 통한 방어 기법을 제안하였다. 또한, 다수의 가상머신이 공존하는 클라우드 컴퓨팅 환경을 고려하여, 가상화 시스템의 워크로드를 고려하여 루트킷 검사 스케줄을 조절하는 방식으로 병목 현상을 방지하는 스케줄러를 제안하였다. 더불어 이를 기반으로 한 루트킷 탐지 시스템의 프로토타입을 구축하였다. 본 논문에서 제안한 시스템의 성능을 검증하기 위하여, 구축된 프로토타입 시스템을 사용하는 실험을 수행하였다. 실험결과로 본 논문에서 제안한 시스템이 다양한 종류의 루트킷을 탐지할 수 있음을 증명하였다. 또한, 단순한 루트킷 탐지 시스템에서 다수의 가상머신을 동시에 검사함으로써 일어나는 병목 현상이 본 논문에서 제안한 시스템에서는 발생하지 않음도 확인하였다.