Earticle

빈칸 채우기 문제는 학생들이 학습 내용을 제대로 이해했는지 확인하기 위해 널리 사용되어 왔다. 이런 유형의 문제를 컴퓨터 알고리즘에 의해 자동으로 생성하는 많은 방법들이 제안되어 왔지만, 대부분 어떤 부분을 빈칸으로 만들면 좋을지에 대해 집중했기 때문에 적절한 보기를 자동으로 생성하는 연구는 미흡했다. 본 논문에서는 빈칸이 주어졌다고 가정하고, 이에 어울리는 보기를 자동 생성하는 알고리즘을 제안한다. 본 알고리즘은 통계 언어 모델에 기반하여 보기를 생성하기 때문에, 사람이 생성하는 경우보다 출제자에 편향되지 않은 보기를 제공할 수 있다. 또, 확률값에 기반하여 난이도를 자동으로 조절하는 것이 가능하기 때문에, 직접 사람이 문제를 만드는 것에 비해 상당한 비용 절감 효과가 있다. TEPS 문법, 어휘 시험에 대해 적용하여 실험한 결과, 사람과 유사한 결과를 생성함을 확인하였다. 향후 스마트 교육 분야에서 높은 활용도를 보일 것으로 기대한다.

A fill-in-the-blank with choices are widely used in classrooms in order to check whether students’ understand what is being taught. Although there have been proposed many algorithms for generating this type of questions, most of them focus on preparing sentences with blanks rather than generating multiple choices. In this paper, we propose a novel algorithm for generating multiple choices, given a sentence with a blank. Because the algorithm is based on a statistical language model, we can generate relatively unbiased result and adjust the level of difficulty with ease. The experimental results show that our approach automatically produces similar multiple-choices to those of the exam writers.

In this paper, we proposed a system to generate randomly relocated multiple choice questions using ready-made arrays instead of random functions in order to reduce the time to make test set. Before making the test set, such as, multiple choice questions consisting of questions, their correct answers and their distractors, first predefined multiple choice questions sets are chosen and then the selected questions are relocated randomly using a ready-made array. Finally, multiple choices for each question are relocated using another ready-made array. The relocated answers for each question are sent to a correct answer array to check applicant’s answers later. Applicants take the tests to choose answers for multiple choice questions to evaluate applicants’ abilities. Thus, the method to make randomly relocated tests set using arrays is executed faster than one using random functions.

Purpose: This study investigates the characteristics of different item types to assess learning outcomes and explore the educational implications that can be obtained from the results of learning outcome assessments.Methods: Forty-five second-year premedical students participated in this study. Multiple choice question (MCQ) and short essay question (SEQ) scores and pass rates for 10 learning outcomes were analyzed. Descriptive statistics and correlation analysis were used to analyze the data.Results: The correlation analysis indicated that there was a significant correlation between SEQs and pass rate but there was no significant correlation between MCQs and pass rate. Some students with identical scores on the MCQs had different scores on the SEQs or on the learning outcomes.Conclusion: This study showed that students’ achievement of learning outcomes can be assessed using various types of questions in outcome-based education.

Purpose: There is a substantial gap in the scientific literature about specific, evidence-based guidelines for optimal word count (length) in multiple-choice question (MCQ) “stems” and “options” and validated time management strategies for MCQ test-takers. This dearth of research indicates a potential need for more studies to develop and validate these significant aspects of MCQ assessment and strategy. This was the first study which formulated guidelines for the word count of scenario-based MCQ (SB-MCQ) “stems” and “options,” along with justifications, from the perspective of medical education experts. The present research also developed specific, validated time management guidelines to assist test-takers effectively navigate MCQ examination.Methods: A mixed-methods design was implemented where quantitative data from a validated structured questionnaire and qualitative (focus group discussion) data were collected from 76 medical education professionals across multiple Indian provinces, and then analyzed using SPSS and NVivo software.Results: A recommended best practice for writing SB-MCQs was reported to have question stems between 35?50 words followed by 20?35 words, with three-option formats being preferred over four and five options. Nearly 92.73% of participants reported that, during 1-minute timeframe, maximum time must be spent on “analyzing question stem” followed by on “eliminating options.” The study developed succinct, “eight-step guide” to empower test-takers complete MCQ tests proficiently.Conclusion: Scenario based MCQs with stems between 35?50 words and options between 1?10 words can improve item quality. Three-option MCQs can be preferred over four- or five-option formats. An emerged “eight-step structured guide” can assist test takers to tackle multiple-choice tests more efficiently and effectively.

This study aims to identify factors that affect the discrimination of reading assessment questions. Item difficulty determinants were used an analytical framework to achieve this. The analysis resulted in the following: when a text was composed of two opposing concepts, a discrimination point between a normal academic achievement group and a basic academic achievement group was formed. Also, because it is difficult to understand a classic essay text, discrimination points were formed in the sections of outstanding- normal and normal-basic. On the contrary, when the content and construction of a text were very plain, the gap between basic-level students and below- basic level students widened. In the case of the questions, when the thinking required by them expanded outside of the text, the gap between outstanding students and normal students increased. Also, when the thinking process of deciding on answers became complex, the gap between the students with different academic levels widened. In particular, when the students completed the answers, the statement themselves were not wrong, but when they did not coincide with text or data interpretation required by the questions, the gap in the outstanding-normal-basic level sections increased. This study is meaningful as it focused on the item discrimination and closely analyzed rates of correct answers, which differed by the students’ levels of academic achievement.

Influence of formats and contents of questions in national university entrance exam on the field of high school education can be evaluated to be absolute and works as an important factor deciding the direction of teaching-learning. Recent assessors and researchers maintain that assessment not only plays the role of measuring tool for (assessment of) examinees' abilities but also can have converse effect on learning contents and methods of learners and they have defined overall phenomenon of assessment having effect on teaching-learning as 'washback effect' (of assessment). Due to this washback effect of assessment on teaching-learning, questions in university entrance exam become the direction for Korean History education and standard of questions in the exams and actual questions in the exam become important factors which teachers should teach with their great influence in the field of teaching and teaching-learning activities. Thanks to washback effect of multiple-choice questions format in Korean History, it is apparent that teachers have prepared students for university entrance exams through respective school exams which fit the question format in university exam. In addition, thanks to washback effect of multiple-choice question contents in Korean History, repeated exam questions are perceived by teachers to be important contents to teach and by students to be contents to learn. Directions of Korean History class in high schools have been decided by the questions in university entrance exams each year and Korean History class has been conducted centering on the contents with high frequency of appearance in exams. Moreover, even the questions beyond the limit of curriculum become the contents to be learned once they are included in the university exam because questions once in the exams have the possibility to be applied again as questions from previous exams. Although assessment questions are important factors which decide the direction of teaching-learning in Korean History and improvement of assessment questions is effective and fast method to change teaching-learning, it is necessary to improve teaching-learning method at the same time to achieve the goal of Korean History education.

변호사시험은 법학전문대학원에서의 교육과 공부 방법을 좌우한다. 법학전문대학원과 그 학생들이 정상적인 법학 교육과 공부를 하도록 하기 위해서는 그러한 교육을 받고 공부한 사람들이 합격하고 좋은 점수를 받을 수 있도록 변호사시험을 출제해야 한다. 현재 변호사시험에 너무 많은 문제가 있고, 시험과목의 축소 등 많은 개선이 이루어져야 하지만, 가장 시급한 해결책 중 하나가 변호사시험의 문제를 정상적인 법학 교육과 공부를 유도할 수 있도록 개선하는 것이다. 변호사시험에는 복잡다기한 법적 분쟁을 전문적･효율적으로 해결할 수 있는 지식 및 능력을 측정할 수 있는 문제를 출제해야 하고, 학설이나 판례를 단순 암기해야 하는 문제를 출제하는 것은 바람직하지 않다. 이러한 문제의식에 따라 이 글에서는 2020년 시행된 제9회 변호사시험 문제 중 형법 선택형 문제를 중심으로 변호사시험 기출문제의 형식, 질문, 예문, 지문 등의 문제점과 개선방안을 모색하였다. 이 글에서는 문제점 뿐만 아니라 대안으로서 바람직한 출제의 예까지 제시한다는 점에서 선행연구들과 차이점이 있다. 이 글에서 변호사시험의 형식상 문제점으로 분량의 과다, 질문 형식의 혼란 등을 지적하고 구체적인 개선방안을 제시하였다. 또한 내용상의 문제점으로 판례의 결론만을 묻는 문제들을 지적하고, 판례 문제, 학설 문제, 판례와 학설의 연계 문제의 바람직한 출제의 예를 제시하였다. 또한 변별력있는 문제를 출제하기 위한 난이도의 인하, 출제위원의 전문화, 복수정답에 대한 적극적 수용태도 등의 대안을 제시하였다.

The importance and the impact of the bar examination on the education by law professors and the study of the law students in the law schools cannot be emphasized too much. But the quality of the questions of the korean bar examinations has been so poor since the first bar examination in the year of 2011 that it is time to hurrily find out the ways to improve the questions in the bar examination. The purpose of this study is to find out the problems of the questions in korean bar examination and to suggest the improvement plans. The contents of this study is as follows ;Ⅰ. Introduction : The purpose, the scope and the objects of this study are presented in this part. Ⅱ. The Problems in the Format of the Qustions : The problems of the quantity and the asking forms are presented in this part. And then the improvement plans, of course, are also suggested. Ⅲ. The Problems in the Contents of the Questions : The various problems in the contents of the questions are presented in this part. For example there are too many Qustions which forced the students to memorize only the conclusions of the court decisions. And then the model qustions which can improve the legal mind or the right way of legal thinking of the law school students. Ⅳ. Conclusion : The urgent tasks of the korea ministry of justice, the law professors and the many criminal law and procedure associations are referred in this part.

목적: 본 연구는 특정 한국어 교육기관에서 사용되고 있는 성취도 평가 문항의 양호도를 분석한 사례 연구로 향후 한국어 성취도 평가 개선 및 한국어 교사의 평가 문식성 제고에 유용한 방안을 알아보고자 하는 데 그 목적이 있다. 방법: A기관의 수험자 응답 결과를 문항반응이론에 입각하여 문항의 신뢰도, 난이도, 변별도, 수험자 능력 모수 추정을 통해 문항의 양호도를 검증한 후 이상 문항을 선별하였다. 결과: A기관의 성취도 평가 문항은 대체적으로 신뢰도 있고 변별력 있게 제작된 것으로 확인되었다. 단, 문항의 계획 난이도와 실행 난이도가 불일치하는 결과를 보여 교사들이 난이도 조절에 어려움을 느낀 것으로 나타났다. 또 신뢰도 역문항이나 부적 변별력을 가진 이상 문항의 특징을 확인할 수 있었다. 결론: 문항반응이론에 따른 평가 분석을 통해 학습자 능력 수준에 적합한 문항을 개발하고 문제 은행으로 구축하는 과정을 통해 한국어 교사의 평가 문식성을 제고할 수 있을 것이다.

Purpose: This study is a case study that analyzed the satisfaction of achievement evaluation questions used in certain Korean language educational institutions, and aims to find useful ways to improve Korean achievement evaluation and improve Korean teacher’s assessment literacy. Methods: Based on the item response theory, institution A’s test takers’ response results were verified by estimating the reliability, difficulty, discrimination, and test takers' ability parameters, and then abnormal questions were selected. Results: Institution A’s achievement evaluation questions were generally found to be reliable and discriminating. However, it was found that teachers had difficulty in adjusting the difficulty level as the planning and execution difficulty of the questions were inconsistent. In addition, it was possible to confirm the characteristics of an inverse reliability question or an abnormal question with negative discrimination. Conclusion: A systematic achievement evaluation system can be proposed to improve evaluation literacy of Korean teachers by extracting questions suitable for the learner’s ability level and building them as a problem bank through evaluation analysis according to the question response theory.

본 연구는 한국어 듣기와 읽기 평가에서 세부 정보 파악하기 문항에 한정하여, 선택지 제시 방법이 평가에 어떠한 영향을 주는지를 살펴보고자 하였다. 이를 위해 외국인 학부생 160명을 대상으로 한국어 듣기와 읽기 평가를 시행하였다. 한국어능력시험의 중급 기출 문제 중 듣기와 읽기 영역에서 세부 정보 파악하기 문항을 10문항씩 선정하여 평가를 진행하였는데, 선택지를 문장 길이 순서와 정보 제시 순서로 구성하여 제시하였다. 평가 분석 결과, 듣기 영역이 읽기 영역보다 선택지 구성의 영향을 크게 받는 것으로 나타났다. 특히 듣기에서는 지문의 정보 제시 순서대로 선택지를 구성하는 것이 선택지의 문장 길이 순서대로 구성하는 것보다 평가 결과가 더 나은 것으로 나타났다. 또한 고급 학습자의 경우 읽기 평가에서는 선택지 구성의 차이가 평가 결과에 영향을 받지 않은 것으로 나타났으나, 듣기 평가에서는 선택지 구성에 따라 영향을 받는 것으로 나타났다. 중급 학습자는 듣기와 읽기 평가 모두 선택지 구성 방법에 따라 평가 결과에 차이를 보였으며, 듣기 영역에서 그 차이는 더 두드러지게 나타났다. 이러한 결과를 통해 듣기 및 읽기의 이해 영역에서 세부 정보 파악하기 유형의 경우, 학습자 본연의 한국어 이해 능력을 측정하기 위해서는 지문 정보 제시 순서대로 선택지를 구성할 필요가 있음을 제안하였다

This study examines how the method used to provide answer options for multiple choice questions in listening and reading tests of the Korean language affects test results by focusing on the questions that involve understanding specific information. In this study, 160 foreign undergraduate students took Korean listening and reading tests. For the evaluation, ten multiple choice questions that involved understanding specific information were selected from each of the listening and reading examinations of the intermediate-level Test of Proficiency in Korean. The answer options were provided in two different ways: the first was according to the length of each sentence, and the second was according to the order in which information was provided. The results showed that the listening test was more strongly impacted than the reading test by the composition of the answer options. In the case of the listening test, in particular, results were better when the answer options were listed in the same order as the information was provided in the passage than when listing the options according to the length of each sentence. Advanced learners’ results did not vary for the reading test, regardless of the way the multiple answer options were provided. However, the listening test showed different results depending on how the answer options were listed. Intermediate learners showed different test results depending on the listing method of the answer options in both listening and reading tests, but the difference was more prominent in the former. Based on the results above, this study suggests that listing the multiple answer options according to the order in which the information was provided to the participant in the passage is more effective for measuring the learners’ own ability to understand Korean.

본고는 이 글은 읽기 선다형 문항의 선택지에 대한 정오답 확률을 인공 지능을 이용하여 구하고자 하는 논문이다. 분석 대상으로 10년 간의 국가수준 학업성취도 읽기 문항과 20년 간의 대학수학능력시험, 모의 평가, 전국연합학력평가 읽기 문항 중 사실적 읽기와 추론적 읽기에 해당하는 813개 문항 4065개 선택지를 선정하였다. KoELECTRA 모델로 지문에서 관련 부분을 추출하고, KoBigBird 모델을 파인 튜닝하여 학습을 수행한 결과 정확도 83%의 언어 모델을 구축할 수 있었다. 구축된 언어 모델을 통해 개별 선택지의 정오답 확률을 예측할 수 있는 가능성을 확인할 수 있었다. 후속 연구를 통해 정확도를 제고하고 연구 대상을 확장할 필요가 있다. 이 연구는 읽기 선다형 문항의 개별 선택지에 대한 답지 반응 계량화 가능성을 탐색했다는 점에서 의의가 있다.

This study aims to obtain the probability of being correct or incorrect for the choice of multiple-choice questions using artificial intelligence. The subjects of analysis are the reading questions in 10 years of NAEA and 20 years of CSAT, MockCSAT, NAAT. As a result of performing learning by fine tuning the KoELECTRA model and KoBigBird model, a language model with an accuracy of 83% could be constructed. Through the established language model, the possibility of predicting the probability of correct and incorrect answers of individual options was confirmed. This study is significant in that it explored the possibility of quantifying the probability of response rate for individual options for reading multiple-choice questions.

본 연구에서는 국가수준 학업성취도 평가의 중등 쓰기 영역 선다형 문항을 살펴본 뒤, 이를 토대로 쓰기 간접평가 개선 방안에 대해 논의하였다. 내용 타당도는 일반적으로 전문가의 판단에 따라 좌우되며, 계량화하기 어렵다는 한계가 있다. 하지만 본 연구는 교육목표분류학에서 제시하고 있는 지식 유형 분류를 활용하여 평가 문항과 평가 내용을 개별적으로 판정한 뒤, 그 일치도를 계량적으로 확인하였다. 이를 통하여 실제로개발된 평가 문항이 본래의 평가 내용을 얼마나 충실히 측정하고 있는지를 확인하였다. 판정 결과, ‘지식’ 차원에서 접근할 경우 평가 내용과 실제로 개발된 쓰기 영역 선다형 문항의 일치도는 중학교 문항의 경우57.1%, 고등학교 문항의 경우 62.5%로 높은 수준으로 보기는 어려운 것으로 나타났다. 이러한 결과를 토대로, 쓰기 간접 평가를 개선시키기 위해서는 궁극적으로 쓰기 영역에 적합하게 설계된 교육목표분류 체계의개발이 필요하다는 점을 제안하였다. 그리고 이러한 틀이 개발되는 것은비단 쓰기 간접 평가 개선에만 활용되지 않고 쓰기 교육 전반의 발전에기여할 수 있다고 보았다.

This paper reviewed choice item of writing assessment in National assessment of educational achievement(NAEA) and explored how to improve the items. Generally, content validity of item determined by specialists, and it’s difficult to quantify. But in this paper, NAEA writing item’s content validity identified by comparing knowledge type of the items and assessment content. The result revealed that agreement degree of knowledge type of items and assessment content were not high. Based on these results, improvement was proposed to be set in the ‘knowledge type’ assessment framework.

This paper selected and analyzed debate-style multiple-choice questions on the Korean history, East Asian history and World History subjects of the College Scholastic Ability Test(including mock test) and the National academic evaluation for high school seniors from 2013 to 2020. The number of debate-style questions is rare. Debate-style questions are divided into cases in which people in the past argue about the facts persons etc of that period, and cases in which people in the present argue about the facts persons etc of the past, depending on the timepoint of the person participating in the debate. There are more cases of the latter. Debate-style questions may be typified in various ways depending on the intention of the question making. In order to maximize the historical educational effects through debate-style questions, it is necessary to question the persons, organizations, and events that most students take for granted. Debate-style history classes are not held in many schools due to teachers' abilities, school and student circumstances. Under these situation, debate-style questions of the nationwide history test provide many students with a variety of opinions at that time and today, providing an opportunity to expand their awareness of ‘historical’ events and persons. This allows students to question past events that appear to have taken place ‘without controversy’ and historical descriptions that appear to have been ‘agreed.’

목적：본 연구는 국어교육 평가를 계획하고 실행하는 과정에서 실제로 참조할 수 있는 이론이 체계화되지 못했다는 반성에 의해, 국어과 정체성을 확보하면서 국어과 평가 실행 과정에서 참조할 수 있는 중간 층위의 이론을 마련하고자 하였다. 방법：이를 위해 읽기 선택형 평가를 중심으로 하되, 국어 교사의 평가 실행 과정에서 도출되는 질문들을 가공, 추상화하여 핵심 질문을 구성하고 이를 토대로 국어과 평가의 이론적 모형을 체계화하고자 하였다. 결과：총 12개의 핵심질문 중 2개, 첫째, ‘국어과 평가의 대상은 자료인가, 능력인가’. 둘째, ‘선택형 평가로 발산적 사고가 평가 가능한가?’의 질문에 이론적으로 답하는 과정을 거쳤다. 결론：이를 통해 일반 교육학 이론 및 국어교육학 이론을 조회하면서 세부 쟁점들을 중심으로 국어과 평가론을 구체적으로 구성해 가는 과정을 보이고 국어과 평가의 이론적 모형을 가시화하고자 하였다.

Purpose：This study is proposed for theorizing Korean Language Assessment. Methods：For this purpose, it is focused on Korean teachers’ essential questions emerged during designing and implementing assessments. Results：From 12 essential questions, this paper focuses on two questions as follows：First, ‘What is assessment objectives of Korean Language, texts or competence?’ Second, ‘Can multiple-choice test item does assess divergent thinking?’ Conclusions：Through answering these two essential questions with inquiring pedagogical theories and existed Korean Language Education theories, we have theorized Korean Language Assessment and draw main issues in detailed.

이 논문은 읽기 평가에서 중심내용(main idea) 찾기 문항의 선택지(選擇肢) ‘객관식 평가 문항(multi choice (tests))’에 제공되는 가능한 답의 목록을 지칭하는 용어로 ‘선택항’, ‘답항’ 등이 있으나 ‘선택지’가 일반적으로 통용되고 있는 것으로 보인다. 그런데 <표준국어대사전>에 따르면 ‘선택지(選擇肢)’는 “『교육』 미리 제시된 여러 개의 답 가운데에서 물음이나 지시에 따라 알맞은 답을 고르도록 하는 시험 형식”으로 되어 있어 시험 형식을 의미하는 것으로 제한이 되어 있다. 반면 <고려대한국어사전>에서는 “또는 그런 형식에서 제시된 여러 개의 답.”이라고 하여 ‘선택지’가 시험 형식과 제시된 답을 모두 가리킬 수 있는 것으로 정의해 두고 있다. 시험 형식과 답항을 구별하여 용어를 세울 필요가 있으나 이 논문에서는 통용되는 용어로 ‘선택지’를 우선 사용하기로 한다. 가 어떻게 구성되어야 하는지 기준을 제시하기 위한 논의의 일환으로서, 텍스트 유형이 하나의 변인(變因)으로서 중심내용 ‘중심내용’과 ‘주제’ 모두 통용되는 용어이나 ‘중심내용’이 갖는 외연이 더 크다고 판단하여 해당 용어를 대표로 하여 사용한다. 그러나 이 논문에서는 엄격하게 두 용어를 구별하여 사용하지 않는다. 의 선택지 구성과 어떤 상관관계가 있는지를 살피고자 하는 것이다. 이를 위해 텍스트 유형과 중심내용 구성 간의 상관관계를 다룬 선행연구의 결과를 검토하고 이를 바탕으로 중심내용 선택지의 구성과 관련한 주요 연구문제를 제시하고자 한다. 더불어 대표적인 숙달도 평가 시험인 ‘한국어능력시험(TOPIK) Ⅱ 읽기’ 영역에서 출제된 중심내용 찾기 문항의 지문과 선택지를 대상으로 앞서 제시된 주요 연구문제를 적용하여 분석하고자 한다. 이 논문의 대략적인 구성은 다음과 같다. 2장에서는 텍스트 유형이라는 특성과 중심내용 구성이 갖는 상관관계에 대해 논의한 선행 연구를 검토하고 이를 바탕으로 주요한 연구 문제를 설정한다. 3장에서는 2장에서 제시된 연구 주제를 기출․공개된 <한국어능력시험(TOPIK)> Ⅱ 읽기의 중심내용 찾기 문항에 적용하고 분석한다. 4장에서는 3장에서의 분석 결과를 통해 중심내용 찾기 문항의 선택지가 어떻게 구성되어야 하는지에 대해 제언(提言)을 한다.

This paper is part of the discussion to set the standard of what well-constructed multiple choice answers should be for main idea questions in reading tests of the Korean Language. In particular, it is to examine how text type as a variable is related to finding the main idea. To do this, we reviewed the results of previous studies that dealt with the correlation between text type and main idea, and presented major research problems based on them. In addition, the major research issues were applied and analyzed for texts and answers of the questions presented in reading section on TOPIK(Test of Proficiency in Korean). As a result of the above research, the following could be suggested primarily. Brinker(1985) divided the main types of informative text into three categories: descriptive, explanatory, and demonstrative text. However, while the rheme of descriptive texts usually expand, the rheme of explanatory or demonstrative texts often converge into a single argument. According to this, it is natural to represent the main idea of a descriptive text in the form of a noun phrase, whereas it is natural to represent the main idea of explanatory or demonstrative text in the form of a sentence. It is suggested that constructing multiple choice answers based on this principle will help to build a valid question.

성취평가제 도입에 따라 교사들이 이에 부합하는 평가 문항을 제작하는 능력의 중요성이 강조되고 있다. 본 연구는 예비 물리 교사들의 학생평가 전문성 신장을 위한 기초 자료를 제공하기 위해 예비 물리 교사들이 제작한 형성 평가 문항을 살펴보았다. 물리교육학과 2학년에 재학 중인 17명의 예비교사들이 이 연구에 참여하였다. 이 연구를 위해 우리는 예비교사들에게 형성 평가도구로써 선다형 물리 개념 문항을 제작하게 하고 예비교사들이 제작한 문항을 서로 검토하는 과정을 관찰하였다. 예비교사들은 5시간의 검토 과정을 통해 그들의 문항을 수정해 갔으며 16명의 예비교사들이 최종 완성된 문항을 제출하였다. 연구 결과, 예비교사들은 다소 낮은 수행 능력을 보였다. 문항을 제작하고 검토함에 있어 예비교사들은 다양한 관점을 가지지 못하였으며 대부분이 학생들이 가진 개념에 가한 정보를 얻는 것을 고려하지 않았다. 이러한 연구 결과는 예비교사들이 문항 제작에 있어 어려움이 있음을 나타내 주고 성취평가제 도입의 성공적인 정착을 위해 예비교사들의 학생평가 전문성 신장을 위한 특별한 방안이 필요함을 보여준다.

According to instruction of standard-based assessment system, teachers with higher level of competence in student assessment are required. The purpose of this study is to offer the basic data to enhance pre-service physics teachers' competency in student assessment. 17 pre-service physics teachers, who are sophomore in department of physics education, participated in the study for a whole semester. To do this, we gave the assignment of multiple choice question construction in physics conceptest for formative assessment to pre-service teachers and observed review questions constructed by them. We also analyzed multiple choice questions of 17 pre-service teachers. They had 5 classes for the review process of the question and improved their questions through it. 16 of 17 pre-service teachers completed test design. Our results show that pre-service teachers had a little low competence in test design for classroom assessment. In addition to, constructing and revising questions, almost of them didn't have various perspectives and didn't consider to get information about the pre-conceptions of students. These findings indicate that they have difficulties with constructing multiple choice question and more specific plan needs to enhance the overall student-assessment competency levels of pre-service teachers for successful settlement of the standard-based assessment system.