복합특성벡터를 이용한 웹 로봇 실시간 탐지 연구

Abstract

웹 비즈니스에서 웹 로봇을 탐지하는 것은 최근에 가장 주목 받고 있는 이슈 중의 하나이다. 웹 로봇이 생성한 트래픽은 안정적인 서비스를 위한 웹 캐시, 사용자 패턴 분석, 네트워크 트래픽 관리에 걸림돌이 된다. 또한, 웹 로봇은 보안이 유지되어야 하는 정보의 유출과 저작권 침해라는 문제를 야기하기도 한다. 이러한 문제에도 불구하고 테스트 데이터 셋의 확보의 어려움과 웹 로봇이 보이는 행동 패턴이 다양성 때문에 웹 로봇 탐지에 대한 연구가 많이 이뤄지지 못했다. 기존의 연구에서는 소규모 데이터에서 오는 신뢰도 문제가 있었으며, 다양한 웹 로봇 탐지와 실시간 운영의 어려움이라는 한계가 있었다. 본 연구에서는 상업용 웹 사이트인 Microsoft의 대용량 웹-로그를 이용한 실험 및 분석을 통해 다양한 종류의 웹 로봇을 실시간으로 탐지할 수 있는 효과적인 방법을 제안 한다. 웹 로봇의 특성화 연구와 세션별 분석을 바탕으로 정상 사용자와 웹 로봇을 차별화할 수 있는 7 가지의 특성을 선정하였으며, 본 연구에서 제안하는 웹 로봇 탐지 알고리즘인 복합특성벡터를 통해 이들 특성을 종합하여 나타낸다. 복합특성벡터는 2 차원-유클리드 평면상의 극좌표 계에서의 각도에 따라 정상 사용자와 웹 로봇을 결정하며, 길이에 따라 그 탐지 결과의 신뢰도를 나타낸다. 이 방법으로 실험 환경에서 초당 50,000건 이상의 요청을 처리할 수 있었으며, 메모리 공간은 Microsoft의 대용량 웹-로그에서 최대 200MB만을 필요로 하여 실시간 운영이 가능하였다. 대부분의 웹 로봇이 13회의 HTTP 요청만으로도 탐지가 조기에 이뤄졌고, 긍정 오탐이 약 2.5%, 부정 오탐이 약 4.5%로 나타났다.