This paper aims to analyze the scores assigned to compositions of Korean as a foreign language (KFL) in terms of the many-facet Rasch measurement (MFRM) model. The MFRM computer program Facets has recently been updated and this research uses it in order to investigate the scoring reliability of KFL writing test. For the research data the Korean compositions written by 270 KFL learners were collected and rated by eleven Korean raters. At first a brief theoretical basis for the Facets is introduced based on the MFRM model. Then focusing on the raters’ characteristics such as rating consistency and fitness in terms of the rating scheme of content/organization and language, the collected scores of KFL compositions are analyzed and the analysis results are interpreted. As a result, a few cases of unreliable scoring of Korean raters are identified, but it appears that the ratings of Korean raters for a standardized KFL writing test are generally reliable. Finally it is suggested that the Facets program of MFRM offer many potential advantages for validating the scoring reliability of Korean writing assessment.
목차
I. 서론
II. 다국면 Rasch 측정 모형의 이론적 배경과 최근의 Facets 프로그램
III. 다국면적 Rasch 측정 모형을 이용한 선행 연구
IV. 연구방법
1. 수험자
2. 시험문제
3. 채점자 및 채점
V. 분석결과
1. 데이터 요약(Data Summary)
2. 모든 국면의 분석 결과(All Facet Vertical “Rulers”)
2. 채점의 부적합(misfit) 및 과적합(overfit)
3. 사용된 단계의 적합성(Category Statistics)
4. 채점결과 비신뢰성의 검증(Unexpected Responses)
VI. 결론
참고문헌
<부록> 한국어 서술문 시험 채점 기준표
한국외국어교육학회 [The Korea Association of Foreign Languages Education]
설립연도
1995
분야
인문학>언어학
소개
본 학회는 외국어 교육 분야 상호간의 연구 성과 교류를 통하여, 외국어 교육의 이론과 실제를 발전시키고, 회원 상호간의 친목을 도모함으로써 외국어 교육 분야간의 학문적 교류를 활성화하는 것을 그 설립 목적으로 한다. 그리고 더 나아가서는 국제 협력 차원에서 다양한 언어 및 문화의 이해를 증진시키는 동시에 언어 정책과 관련하여 국제 관계 개선을 위한 가교 역할을 담당하고자 한다.