Earticle

초록

영어

This study examines the reliability and validity of an analytic rubric used in classroom-based Korean writing assessment. Writing samples from 42 tasks produced by 21 foreign undergraduate students were evaluated by three trained Korean language instructors using the same rubric. Inter-rater and intra-rater reliability were examined using intraclass correlation coefficients (ICC), while the functioning of the rubric was analyzed using the Many-Facet Rasch Model (FACETS). The results indicated that the rubric demonstrates acceptable rating reliability and construct validity in a classroom assessment context. However, several rating descriptors required refinement. Based on the findings, a revised rubric was proposed. The study provides practical implications for improving rubric-based Korean writing assessment in classroom settings.

한국어

본 연구는 교실 기반 한국어 쓰기 평가에서 사용된 분석적 루브릭의 신뢰도와 타당도를 실증적으로 검증하는 데 목적이 있다. 이를 위해 외국인 학부생 21명의 쓰기 과제 42편을 대상으로 한국어교육 전공 채점자 3인이 동일 루브릭을 적용하여 채점한 자료를 분석하였다. 채점자 간･내 신뢰도는 급내상관계수(ICC)를 통해 검증하고, 루브릭의 작동 양상은 다면 Rasch 모형(FACETS)을 활용하여 분석하였다. 분석 결과, 본 루브릭은 교실 기반 평가 맥락에서 높은 채점 안정성과 구성타당도를 확보하고 있음을 확인하였다. 다만 일부 평가 준거에서는 문구의 구체화 필요성이 나타나 분석 결과를 반영한 수정 루브릭(안)을 제안하였다. 본 연구는 교실 기반 한국어 쓰기 평가에서 루브릭의 실천적 활용 가능성과 자료 기반 개선 방향을 제시하였다.

목차

Abstract
1. 서론
2. 이론적 배경
2.1. 교실 기반 평가의 개념과 한계
2.2. 쓰기 평가와 루브릭의 역할과 구조
2.3. 루브릭 신뢰도･ 타당도 검증과 ICC･FACETS의 활용
3. 연구 방법 및 절차
3.1. 연구 설계 및 평가 도구
3.2. 채점 절차 및 자료 분석
4. 연구 결과
4.1. 기술통계 및 채점 분포
4.2. ICC 기반 채점자 신뢰도 결과
4.3 FACETS 결과
4.4. 논의: 교실 기반 쓰기 평가 루브릭의 타당도와 실천적시사점
5. 결론
참고문헌
국문초록

키워드

교실 기반 평가 한국어 쓰기 평가 분석적 루브릭 채점자 신뢰도 다면 Rasch 모형 Classroom-Based Assessment Korean Writing Assessment Analytic Rubric Rater Reliability Many-Facet Rasch Model FACETS

저자

• 안미홍 [ Ahn, Mi-hong | 고려대학교 ]

참고문헌

발행기관

간행물