이기종 프로세서 기반 엣지 시스템에서 SLO 달성을 위한 인공지능 추론 스케쥴러 기술이 개시된다. 일 실시예에 따른 스케쥴러에 의해 수행되는 머신러닝 추론 작업을 위한 스케쥴링 방법은, 이기종 프로세서로 구성된 엣지 시스템에 다중 머신러닝 모델의 추론 작업 요청을 수신하는 단계; 및 상기 수신된 추론 작업 요청에 따라 서비스 수준 목표(Service-Level Objective; SLO) 인식 기반의 스케쥴링 정책에 기초하여 상기 엣지 시스템의 이기종 프로세서 자원을 운영하는 단계를 포함할 수 있다.