Integration of DBMS and distributed file system for big data management and analytics

Abstract

관계형 DBMS (RDBMS)는 O/S 파일 시스템에서 제공하지 않는 SQL, 스키마, 색인 및 트랜잭션과 같은 높은 수준의 다양한 기능성(functionality)을 갖고 있으므로 널리 사용되어 왔다. 하지만, 최근 들어 빅 데이터가 나타남에 따라 DBMS의 기능성은 갖지 않으나 대용량의 데이터를 효율적으로 관리할 수 있는 새로운 시스템들이 등장하게 되었다. NoSQL 시스템이라 불리는 이들은 확장성(scalability)과 신뢰성(reliability)을 지원하는 분산 파일 시스템을 사용한다. NoSQL 시스템은 다수의 값싼 상용 하드웨어에 데이터를 저장함으로써 확장성을 지원하고, 데이터를 중복하여 저장함으로써 신뢰성을 지원한다. 또한 이들은 대용량의 데이터로부터 효율적으로 유용한 정보를 추출하기 위해 MapReduce 프레임워크를 사용한다. MapReduce 프레임워크는 빅 데이터의 병렬 처리를 위한 확장성과 신뢰성을 제공한다. NoSQL 시스템은 확장성과 병렬성을 극대화하기 위해 DBMS 기능성을 많이 희생하였다. 그러나, 대용량 데이터의 관리를 위해 DBMS의 높은 기능성 또한 중요하므로 NoSQL 시스템을 위한 DBMS 기능성을 지원하는 다양한 활동이 나타나게 되었으며, 이러한 활동의 결과들을 Scalable SQL이라 부른다. 본 학위 논문에서는 DBMS와 분산 파일 시스템의 통합을 통해 대용량 데이터의 관리를 위한 두 가지 시스템들을 제안한다. 먼저 빅 데이터의 트랜잭션 처리를 수행하는 시스템을 제안하고, 그 다음 빅 데이터 분석을 수행하는 시스템을 제안한다. 본 학위 논문의 첫 번째 파트에서는 DBMS가 분산 파일 시스템을 저장소로 사용하는 구조를 제안한다. 이러한 새로운 구조를 통하여 분산 파일 시스템의 확장성과 신뢰성 및 DBMS의 높은 기능성을 동시에 지원하게 된다. 즉, DBMS는 분산 파일 시스템이 제공하는 사실상 무한정의 저장 공간을 활용할 수 있게 된다. 제안한 구조는 Odysseus/DFS로 구현하였다. Odysseus/DFS는 KAIST에서 24년간 개발하여 온 Odysseus DBMS와 분산 파일 시스템을 통합한 것이다. 이를 위해 첫째로 DBMS가 분산 파일 시스템을 효율적인 삽입, 삭제, 갱신이 가능한 저장소로 사용할 수 있도록 하는 meta DFS file의 개념을 제안하고, 둘째로 파손 회복과 동시성 제어를 포함한 트랜잭션 관리 방법을 제안한다. 트랜잭션 처리에 대한 실험 결과, Odysseus/DFS는 높은 기능성을 바탕으로 Hbase보다 좋은 성능을 보였으며, 로컬 저장소를 사용하는 RDBMS에 비해서는 비슷하거나 약간 저하된 성능을 보였다. 이는 Odysseus/DFS에서 로컬 저장소 대신 분산 파일 시스템을 저장소로 사용함으로써 발생하는 성능 오버헤드가 크지 않음을 보인 것이다...