하드웨어 모니터 및 소형 하이퍼바이저를 융합한 커널 불변값 보호 체계

Abstract

커널을 직접 공격하여 커널 권한을 얻는 것을 수단이나 목표로 하는 악성코드 루트밋의 등장으로 인해, 운영체제와 그 중심에 있는 커널의 무결성을 보호하는 것은 시스템 보안에 있어 최중요 사안이였다. 이에 루트킷이 커널의 무결성을 침해하기 위해 변조하는 값들인 커널 불변값들을 보호하는 것이 자연히 관심사로 떠올랐다. 이를 보호하기 위해 많은 종류의 접근이 있었지만, 소프트웨어 기반의 접근은 성능이 나쁘고 확장 성이 떨어지는 편이였으며, 하드웨어 기반의 접근은 시맨틱 갭으로 인해 시스템의 정확한 상태를 알아내는 것이 불가능한 형국이였다.본고에서는 소프트웨어와 하드웨어 기반 커널 불변값 보호 연구를 혼합함으로써, 양자의 장점을 모두 취하는 하이퍼커널 시스템을 제안한다. 하이퍼커널 시스템은 소프트웨어 컴포넌트인 하이퍼-에이전트와 하드웨어 모니터를 결합함으로써 하드웨어의 성능과 소프트웨어의 엄밀성을 모두 취할 수 있었다. 또한 본고에서는 하이퍼커널 시스템에 적절한 정책을 사용함으로써 주요 커널 불변값인 가상 파일 시스템 (VFS) 포인터, 프로세스 크레덴셜 및 시스템 콜 테이블을 보호하여 하이퍼커널 시스템의 보안성을 실증하였고, UnixBench 벤치마크 결과 평균 1.6% 내외의 성능 부하를 보이는 것으로부터 하이퍼커널 시스템의 성능을 실증하였다.