OLAP에서 순위 질의의 효율적인 처리

Abstract

OLAP(Online analytical processing) 시스템은 의사지원시스템을 효과적으로 지원하기 위한 핵심 요소이다. OLAP 환경에서는 빠른 트랜잭션에 주안점을 두었던 기존 OLTP 환경과는 달리 방대한 자료에 대한 집단함수들이 포함된 분석질의의 빠른 처리를 필요로 한다. 기존의 연구들은 다양한 선계산 방식을 통하여 효율적으로 집단함수 질의를 수행하는 것을 제안해왔다. OLAP 의 데이터 표현 모델인 데이터 큐브 상에서 특정 범위 안의 집단함수들을 효과적으로 처리하는 여러 방법들이 제시되었지만, 연속된 범위로 표현되지 않는 부분에 대한 질의에 대해서는 적용되지 못하는 방법들이었다. 본 논문에서는 연속된 범위로 한정되지 않은 임의의 부분에 대한 순위 질의의 효율적인 처리방법을 제안한다. 우선적으로 가장 일반적인 순위질의인 MAX/MIN 질의를 효율적으로 처리하는 방법으로 순위 색인(Ranking Index)과 순위 결정 트리(Ranking Decision Tree)를 제안한다. 최대/최소값을 구하기 위해, 비트맵 노드로 이루어진 균형 이진 트리 형태인 순위 결정 트리를 사용하여 결과의 순위를 구하고, 순위 색인을 통하여 질의의 결과를 얻는다. 디스크 접근 비용의 분석 및 성능 평가를 통하여 제안된 방법이 어떠한 종류의 질의에 대해서도 안정적(robust)인 좋은 성능을 보임을 확인한다. 이후 Top-k와 Bottom-k 질의를 처리하기 위한 여러 가능한 방법들을 나열해 보고, 순위 결정 트리의 역추적(backtracking)없는 탐색을 통해 Top-k 질의를 효율적으로 처리 하는 방법을 제안한다. 순위 결정 트리가 하부 노드 탐색에 따라 결과 비트벡터의 위치정보는 손실되지만 여전히 순위 정보를 모두 포함하고 있는 구조이기 때문에, 손실된 위치 정보를 복원하는 비트맵 연산자를 사용하여 상위 k 개의 선택된 비트를 결과 비트벡터로 복원 시키는 형태로 질의 처리가 가능하다. 제안된 방법을 실제 구현함에 있어서, 저장 구조와 메모리 사용량, 그리고 비트맵 연산의 최적화 등에 따라 처리 성능에 많은 영향을 미칠 수 있기 때문에 이들에 대한 최적화 방안을 제시한다. 이후 실험을 통하여 제안한 방법이 다양한 형태의 부분 순위 질의에 대해서도 안정적인 좋은 성능을 보임을 확인한다. 이 실험에서는 디스크 접근 비용만을 기준으로 삼지 않고 질의에 대한 응답속도를 위주로 평가하였으며, 실제 필드에서 발생하는 데이터를 활용하여 실험을 수행하였다. 이러한 실험의 결과로 다른 방법에 비해 가장 적은 양의 선계산 공간을 사용하면서도 프로젝션 인덱스 보다 12배 이상의 빠른 응답속도를 보였다. 제안된 부분 Top-k 질의 처리 방법은 적은양의 단일 선계산만으로 모든 형태의 MAX, MIN, Bottom-k 등 순위 질의에 효율적으로 적용될 수 있으며, 질의 비트벡터에 대해 결과 비트 벡터를 구하는 형태의 인터페이스를 가지고 있기 때문에, 관계형 DBMS를 이용한OLAP 시스템에서 주로 사용하는 비트맵 인덱스와 자연스럽게 연동되어 순위 질의 처리를 위한 인덱스로 적용될 수 있을 것이다.