서비스 산업에서 널리 사용되는 설문조사 형태의 정성적 평가방법은 서비스 품질을 평가하는 주요한 평가 수단으로 활용되는데, 이때 설문조사 결과에 응답자의 주관적 판단이 개입될 수 있는 여지가 존재한다. 본 연구에서는 이러한 정성적 평가 결과에 포함될 수 있는 주관적 판단을 최대한 배제하고 객관성을 확보하기 위한 방안을 제시한다. 특히 같은 종류의 정성적 평가도구가 여러 사람에 의해 반복적으로 사용되는 상황에서의 객관성 확보 방안에 대해 연구하였다. 이를 위해, Ordered Probit 모델 및 제3자 평가 결과를 함께 활용하여 주관성 개입 여부를 판단하고, 주관성을 보정한 후, 최종 결과에 대해 통계적으로 검증하는 절차를 수행하였다. 본 연구에서 분석한 어플리케이션은 의료서비스 분야이며, 특히 특정 의료서비스 제공 환경에서 해당 서비스 제공자가 자가 진단한 실제 평가 결과를 본 연구에서 제안하는 방법론을 통해 어떻게 객관성이 확보될 수 있는지 구체적으로 설명하였다.