Earticle

컴퓨터 기반 적응적 검사는 이전에 제시된 문항에 대한 반응을 기반으로 피검사자의 잠재 특질 수준을 추정하기에 가장 적절한 다음 문항을 선택해 출제함으로써 피검사자별 맞춤형 검사를 제시하는 컴퓨터 기반 검사형태다. 컴퓨터 기반 적응적 검사 제작의 핵심 요소 중 하나는 문항 선정 알고리즘이라 할 수 있으며, 최근 결정-트리를 이용한 적응적 심리 검사 구성에 대한 관심과 적용 사례가 늘어나고 있다. 결정-트리는 기계학습 분야에서 주로 연구되어온 예측 모형 중 하나로서 쉽게 해석 가능한 트리-구조를 가진다는 장점에도 불구하고 과적합 문제에 매우 취약하다는 것이 알려져 있다. 본 연구의 목적은 기계학습 분야에서 결정-트리의 대안으로 제시된 앙상블 모형 중에서 해석 가능한 트리-구조를 지닌 Alternating Model Tree (AMT)가 컴퓨터 기반 적응적 심리 검사 제작에 활용될 수 있는지 탐색하는 데 있다. 이를 위해 먼저 AMT의 작동 방식을 적응적 검사의 특징에 비추어 상술하였고, 검사 점수를 예측하는 AMT 기반의 적응적 검사와 결정-트리 기반의 적응적 검사의 예측 성능을 두 개의 심리 검사를 대상으로 비교하였다. 그 결과, AMT는 적응적 검사의 특징을 가지는 것으로 확인되었고, AMT 기반 적응적 심리 검사의 성능은 결정-트리 기반 적응적 심리 검사의 성능과 유사하거나 더 나은 결과를 보였다. 이러한 결과를 바탕으로 본 연구의 의의와 한계, 후속연구에 대한 제언 등을 논의하였다.

Computerized adaptive testing (CAT) is a computer-administered test where the next question for estimating the examinee’s trait level is selected depending on his or her reponses to the previous items, resulting in tailored testing for each individual examinee. A defining feature of CAT stems from its item selection algorithms, among which both research interest and practical applications of decision-tree based CAT (DT-based CAT) have been rising recently. In the field of machine learning, however, it is well known that decision-trees, as a form of predictive models with simple and interpretable tree structures, can be vulnerable to the problem of overfitting or the problem of creating overly complex trees that do not generalize to newly observed data. Among various ensemble techniques developed to adequately address this problem, we the authors paid attention to the Alternating Model Tree (AMT) due to its interpretable tree-like structure. The purpose of this article is to investigate the viability of the Alternating Model Tree (AMT) as an item selection algorithm for constructing CAT. To this end, we first presented a detailed exposition of how AMT-based CAT can be constructed and then compared its performance with DT-based CAT using two sets of publicly available psychological test scores. The results provided supportive evidence that AMT-based CAT is viable, and that AMT-based CAT can predict test scores at least as accurate as DT-based CAT does. Based on our findings, we discuss implications, limitations, and directions of future studies.

For the personalized learning, a good testing method, which can effectively estimate a learner’s proficiency, is required. In this paper, we propose a novel testing method, Bayesian network-based approach to Computerized Adaptive Testing (CAT). Our novel approach can estimate proficiency of the examinee effectively and efficiently because it reflects complicated relationships between all items and their categories, and can estimate detailed proficiency about each specific category. In experimental results, we show that our approach can improve accuracy and speed of estimating examinee’s proficiency as compared with classical testing methods like paper-based test and conventional IRT-based CAT.

In the era of information and communication technology, where computerized adaptive language testing continues to draw a keen attention from language testers, the present research attempts to develop a reliable and efficient algorithm of computerized adaptive language testing (CALT) and to investigate the extent to which the algorithm results in reliable and valid outcome. Employing an eclectic approach to analyzing real data as well as simulation data, the research has developed a highly reliable and valid algorithm on the basis of fundamental considerations including the difficulty level of initial items, the estimation method of the ability parameter, the item selection, the test length, the measurement error, the context effect, the item-based response time, etc. Focusing on the concurrent validity, the overall research findings suggest that the CALT version of the TEPS (Test of English Proficiency developed by SNU) accommodating the itembased response time factor is superior to the paper-based language test (PBL T) version of the TEPS in terms of measurement accuracy of overall English proficiency. Furthermore, the correlational analyses based on test-takers' performance of CALT, PBLT, and TOP (the Test of Oral Proficiency) strongly support the plausibility of the test methods of the TEPS in which the grammar test is administered in a speeded manner and the listening comprehension test input is presented in a purely oral mode.

Application of computerized adaptive testing (CAT) in medical education is still spare in the high stakes examination or in the school-based examination. In the medical school in Belgium, CAT was used for an assessment tool in general practice as pilot test was reported. In Hallym University, CAT has been introduced in the evaluation of the students' performance as in-course general evaluation test and parasitology test. Another examples of application of CAT for high stakes examination are Medical Council of Canada Qualifying Examination - Part 1 in Canada and National Council Licensure EXamination - Registered Nurse in USA. CAT has some merits such as accurate estimation of the ability parameters of the examinees and the shorter period of examination. To apply the CAT in medical education more actively, medical teachers should have an interest in the modern measurement theories such as item response theory and technologies. It is still uncertain if CAT may be prosperous in the medical education as a tool for the measurement of the examinees' ability. However, we should prepare the era of application of CAT in high stakes examination such as medical licensing examination.

본 연구는 대학생의 영어 기초학력을 효율적이고 정확하게 진단하기 위한 컴퓨터 기반 적응형 검사 (Computerized Adaptive Testing, CAT) 시스템을 구축하고 그 효과성을 검증하는 데 목적이 있다. 이를 위해 TOEIC 모의평가 문항 100개(듣기 50문항, 읽기 50문항)를 활용하여 문항반응이론(Item Response Theory, IRT) 분석을 실시하여 문항은행을 구축하였다. 또한 CAT 구성요소를 결정하여 진단 시스템을 구축하였고, 고정 길이와 가변 길이 CAT를 유연하게 운영할 수 있도록 설계하였다. 이후 H대학 영어 교양 수업 2개 분반의 대학생 60명을 대상으로 효과성 검증을 진행하였다. 그 결과, 듣기 영역에서는 CAT를 실시한 집단이 실시하지 않은 집단에 비해 더 강한 점수 향상을 보였으나(상호작용 효과), 읽기 영역에서는 CAT 실시집단과 실시하지 않은 집단이 동시 상승하였으나(학습효과) CAT를 실시한 집단의 점수 향상만이 유의하였다(단순효과). 본 연구는 IRT 기반 CAT 시스템이 영어 기초학력 진단에서 측정의 정밀도와 운영 효율성을 동시에 확보할 수 있는 도구로 활용될 수 있으며 학습 보조 도구로 반복 사용 시 영어 능력 향상에 긍정적 영향을 줄 수 있음을 실증적으로 제시했다는 점에서 의의가 있다.

This study aims to develop a Computerized Adaptive Testing (CAT) system for efficiently and accurately diagnosing the general English proficiency of college students, and to empirically validate its effectiveness. To this end, an item bank was constructed by applying Item Response Theory (IRT) analysis to 100 TOEIC practice items (50 listening, 50 reading). The CAT system was subsequently designed with clearly defined components, allowing flexible administration in both fixed- and variable-length formats. The effectiveness of the system was then evaluated with 60 college students enrolled in two sections of a general English course at H University. The results indicated that, in the listening domain, the CAT group demonstrated significantly greater score gains compared to the non-CAT group (interaction effect). In the reading domain, both groups showed score improvement (learning effect); however, only the score gains of the CAT group reached statistical significance (simple effects). These findings provide empirically support for the utility of an IRT-based CAT system as a diagnostic tool capable of achieving both measurement precision and administrative efficiency in assessing general English proficiency. Furthermore, the results suggest that repeated use of the system as a supplementary learning tool may contribute positively to the development of English language ability.

목적 본 연구에서는 중학생의 기초학력을 예측할 수 있는 사전 정보를 활용하여 CAT의 측정 정확성과 효율성을 검증하였다. 방법 이를 위하여 CAT의 알고리즘 중 초기 문항 제공 방법, 응시자 집단, 검사 종료 기준 등에 대하여 다양한 조건을 설정하여 CAT 모의실험 연구를 실시하였다. 결과 무작위 문항, 중간 수준 난이도의 문항 제공에 비해 기초학력 예측 변수들을 활용하여 초기 문항을 선정하였을 때 CAT의 측정 정확성 및 효율성이 유의미하게 향상되었다. 특히, 저수준 성취 집단에서 가장 효과가 크게 나타났다. 결론 다양한 교육적 맥락에서 기초학력 예측 변수의 적용 가능성을 추가로 검토하여 CAT 시스템의 정확성 및 효율성을 개선할 수 있는 방안 모색이 필요하다.

Objectives This study investigates the accuracy and efficiency of Computerized Adaptive Testing (CAT) by utilizing prior information to predict students' basic academic levels. Methods To achieve this, a simulation study was conducted with varied conditions, including initial item, participant groups, and test stopping rule. Results Results indicate that selecting initial items based on predictors of basic academic levels significantly improved the accuracy and efficiency of CAT measurements, with the most substantial improvements observed in low-achieving groups. Conclusions The findings suggest the need for further exploration of the applicability of basic academic level predictors across different educational contexts to identify strategies for improving the precision and efficiency of CAT systems.

본 연구의 목적은 본 연구의 목적은 ‘컴퓨터 적응 검사’(Computerized Adaptive Testing, CAT)를 활용한 독서 능력 평가 시스템을 개발하는 데에 있다. 이 평가 시스템은 학생이 글을 읽고 의미를 구성하는 능력을 평가한다. 컴퓨터 적응 검사는 문항에대한 학생의 응답을 바탕으로 독서 능력을 추정하고, 이 능력에 맞는 문항을 제시하는과정을 반복하여 최종적인 독서 능력을 산출한다. 이 시스템은 기존의 지필 검사를 통한 독서 능력 평가에 비하여 효율성과 정확성 측면에서 장점을 지닌다. 이를 위하여400문항으로 이루어진 문제은행을 구축한 후에, 독서 능력 평가 시스템을 만들었다. 3∼6학년 학생들은 평가 문항에 응답한 후에, 자신의 독서 능력을 확인할 수 있다.

The purpose of this study The purpose of this study is to develop a reading ability evaluation system using ‘Computerized Adaptive Testing’ (CAT). This assessment system assesses students’ ability to read and construct meaning. The computer adaptation test estimates reading ability based on the student’s responses to questions, and repeats the process of presenting questions appropriate to this ability to calculate the final reading ability. This system has advantages in terms of efficiency and accuracy compared to the existing paper-and-pencil test for reading ability evaluation. To this end, after building the item bank with 400 items, a reading ability evaluation system was created. Students in grades 3-6 can check their reading ability after answering the assessment items.

본 연구는 2단계 학습자 개별 적응 평가시스템을 설계하고 구현한 것이다. 2단계 학습자 개별 적응 평가시스템이란 학습자의 학습 상태에 따라 필요한 문제지를 추출하여 동적으로 제공할 수 있도록 단원별 진단평가를 시행하고 학습된 결과를 저장하였다가 그 결과에 따라 기본, 보통, 심화 문제지군(群)을 구성하여 제공하는 단계형 학습자 개별적응 평가(CAT)를 설계하여 구현한 평가 시스템을 말한다. 본 학습자 개별 적응 평가시스템은 웹을 기반으로 하였으므로 지역적으로 흩어져 있는 교사들이 공동으로 문항을 제작함으로써 문항제작에 필요한 노력을 줄일 수 있고 학습자는 이를 이용해 개별학습의 효과를 얻을 수 있다.

The purpose of this study is to design and implementation of the Web-based Individual Computerized Adaptive Testing(CAT) system. The Web-based Individual CAT is a kind of test system to present a set of the problems divided into basic level, intermediate level and advanced level according to the saved results after doing a diagnostic test related to each unit. The diagnostic test is done to pull out the necessary items which learners have to study. The strong points of the web-based computerized adaptive testing system are to reduce the problems of distributed teachers and to have the effect of individual learning by using this system.

본 연구의 목적은 웹 기반 학습 환경에서 학생들의 자기주도적 학습계약이 학습 과정과 결과에 어떠한 영향을 미치는지를 알아보는 것이다. 이를 위해 수집된 자료들은 학습 사이트에 대한 주당 접속 회수, 1회 접속 시 학습 시간, CAT 평가에서의 합격점 설정 등의 항목에 대해 학생들이 스스로 학습계약을 체결하고 변경하는 과정들, 그에 따라 학습을 진행하는 과정들, 그리고 CAT 평가 결과 등이었고 이들은 모두 웹 기반 데이터베이스에 저장되고 분석 되었다. 본 연구의 결과는 다음과 같다; 1) 학습계약을 한 집단은 학습계약을 하지 않은 집단보다 접속 횟수와 학습시간이 많았고, 최종 CAT 평가에서의 합격률도 높게 나타났다. 2) 주당 접속 회수와 1회 접속 시의 학습 시간 설정 여부는 최종 CAT 합격률에 영향을 미치지 않았다. 하지만 CAT 합격 결정점을 높게 설정한 학생일수록 최종 CAT 평가에서의 합격률도 높게 나타났다. 3) 자기주도적 학습계약 이행률이 높은 학생들의 경우 학습계약 이행률이 낮은 학생들보다 최종 CAT 평가에서의 합격률이 높게 나타났다.

This study was implemented to investigate the influences of the learning contract as one of the self directed learning strategies, on the processes and results of the learning made by students in a web based learning environment. All procedures for making the learning contract including connection times in a week, learning time per each connection, and cutoff-score in CAT, revising that contract and ongoing learning processes initiated by the student, and the results of the web based CAT tests were recorded on a web based database and analysed. The results of this study are as follows; 1) Those who made learning contract revealed much more connection time and learning time than those who didn't make learning contract. 2) The grade of connection time in a week and learning time per each connection didn't effect on final mater ration in CAT. But, The grade of cutoff-score in CAT made effect on final mater ration in CAT. Thus, the higher cutoff-score they set as a learning contract, the higher ratio of master in CAT they revealed. 3) Those who made higher advanced ratio in their learning contract showed much more master ration in CAT than other group. As a conclusion, we can say that the learning contract itself and the various kinds of factors of learning such as connection times in a week, learning time per each connection, and cutoff-score in CAT can have a large effect on learning motivation as a self directed strategy and they can be also a strong mechanism to enhance interaction between instructor and learners.