Earticle

초록

영어

We designed this study to examine the applicability of receiver operating characteristic (ROC) analysis to educational assessment and to investigate the characteristics of ROC-based cut-score setting for identifying students at risk of academic underachievement. We conducted a simulation study by manipulating prevalence rates, effect sizes, sample sizes, and score distribution shapes. ROC-based cut scores derived from the Youden Index and the Euclidean distance method were compared with expert-established cut scores, and classification performance was evaluated using the area under the ROC curve (AUC), sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV). We found that AUC remained relatively stable across prevalence conditions, whereas PPV decreased substantially as the prevalence of at-risk students declined. ROC-based cut scores also differed from expert-established cut scores under skewed score distributions and small sample conditions. These findings demonstrate that ROC analysis can complement expert-based standard-setting procedures by providing empirical evidence for evaluating classification performance and the practical validity of cut scores in educational decision-making.

한국어

본 연구는 교육평가에서 주로 사용되는 전문가 중심 준거 설정의 분류 타당성을 검증하기 위한 방법으로 ROC 분석의 활용 가능성을 탐색하고, 기초학력 미도달 학생 선별 상황 등에서 ROC 기반 분할 점수 설정 방법의 특성을 분석하는 데 목적이 있다. 이를 위해 기저율, 효과 크기, 표본 크기, 점수 분포 형태를 조합한 54개의 모의실험 조건을 구성하였다. 가상의 전문가 집단이 설정한 준거점과 ROC 분석을 통해 산출된 Youden 지수 및 유클리드 거리 지수 기반 분할 점수를 비교하고, AUC, 민감도, 특이도, 양성예측도(PPV), 음성예측도(NPV)를 중심으로 분류 성능을 평가하였다. 연구 결과, AUC는 기저율 변화에 비교적 안정적으로 유지되었으나, PPV는 기저율이 감소함에 따라 현저하게 낮아지는 것으로 나타났다. 또한 점수 분포가 비대칭적이거나 표본 규모가 작은 조건에서는 ROC 기반 분할 점수가 전문가 설정 준거점과 상당한 차이를 보였으며, 이는 위양성 및 위음성 오류 증가로 이어질 가능성이 있음을 의미한다. 본 연구 결과를 통해 ROC 분석이 전문가 중심 준거 설정을 대체하기보다, 준거 설정 결과의 분류 정확성을 검증하고 정책적 목적에서 분할 점수의 실질적 타당성을 점검하기 위한 보완적 도구로 활용될 수 있음을 확인하였다.

저자

• 이문수 [ Moonsoo Lee ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  The Journal of the Convergence on Culture Technology (JCCT) [문화기술의 융합]

• 간기

  격월간

• pISSN

  2384-0358

• eISSN

  2384-0366

• 수록기간

  2015~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 600 DDC 700