Earticle

Objective To investigate the usefulness of the communication domain in the Korean version of Ages and Stages Questionnaire (K-ASQ), and short form of the Korean version of MacArthur-Bates Communicative Development Inventories (M-B CDI-K), as screening tests for language developmental delay. Methods Data was collected between April 2010 and December 2013, from children who visited either the Department of Physical Medicine and Rehabilitation or the Developmental Delay Clinic, presenting with language development delay as their chief complaint. All the children took the short form of M-B CDI-K and K-ASQ as screening tests, and received diagnostic language assessments including Sequenced Language Scale for Infants (SELSI) or Preschool Receptive-Expressive Language Scale (PRES).Results A total of 206 children, mean age 29.7 months, were enrolled. The final diagnoses were developmental language disorder, global developmental delay, autism spectrum disorder, cerebral palsy, etc. The M-B CDI-K short form and the communication domain of the K-ASQ had 95.9% and 76.7% sensitivity, and 82.4% and 85.3% specificity, with regards to diagnostic language assessments. The M-B CDI-K short form showed higher negative predictive value and better accuracy than the communication domain of the K-ASQ. Conclusion The screening ability of K-ASQ was not sufficient for children with language development delay, and the M-B CDI-K short form should be implemented for additional screening.

본 연구에서는 인공신경망 자연어 처리 플랫폼 GPT-2를 기반으로 일본어능력시험기출문제 데이터셋을 통해 파인튜닝을 수행하여, 인공지능을 통한 일본어능력시험 학습 및 교수를 위한 텍스트 생성의 가능성을 타진하고, 한발 더 나아가 생성된 텍스트에 대한 일본어능력시험 기준 난이도 분석을 수행할 수 있는 시스템의 개발을 수행했다. 이를 통해 인공지능을 통한 일본어 텍스트의 자동 생성에는 아직 한계가 있기는 하나, 머신러닝(파인튜닝)의 데이터셋의 양, 종류 그리고 학습 횟수 등 다양한 조건을 통제하여 적절한 실험을 수행한다면, 일본어 텍스트 자동 생성에 최적화된 파인튜닝의 초기 설정값을 찾아낼 수 있을 것이며, 이는 앞으로 인공지능이 더욱 정밀하게 사용자가 원하는 일본어 텍스트를 생성할 수 있게 하는 하나의 방안이 될 것이라는 점을 확인할 수 있었다. 또한 본고에서는 이와 같은 텍스트를 단순히 생성하는 것에서 그치지 않고 텍스트에 대한 어휘, 문법, 한자 차원의 JLPT 난이도 분석까지 실시할 수 있는 시스템을 개발할 수 있었는데, 앞으로 인공지능의 일본어학 및 일본어 교육 분야에 대한 응용 가능성이 크다는 점과 후속 연구의 필요성을 확인할 수 있었다.

In this study, we confirmed the possibility of generating textbooks for learning and teaching the Japanese Language Proficiency Test using artificial intelligence, based on GPT-2, which is a natural language processing flat form of an artificial neural network. In addition, we went one step further and developed a system that can perform difficulty analysis of the Japanese Language Proficiency Test for the generated text. Through such research, although there is still a limit to the automatic generation of Japanese text using artificial intelligence, it is possible to generate high-level Japanese text through machine learning (fine tuning) and control of its conditions. We were able to confirm the possibility of developing a “language model”. In addition to simply generating such texts, we were able to develop a system that can analyze the difficulty of vocabulary, grammar, and kanji in JLPT for texts. It was confirmed that the possibility of application to the educational field is immeasurable.

本研究では人工神経網の自然語処理フラットフォームであるGPT-2を基盤として，人工知能を利用して日本語能力試験の学習と教育のためのテキストの生成の可能性を確認し，そこからもう一歩進んで生成されたテキストに対する日本語能力試験の難易 度分析を遂行できるシステムの開発を遂行した。 このような研究を通じで，人工知能を利用した日本語のテキストの自動生成にはまだ限界があるものの，マシンラーニング(ファインチューニング)及びその条件の統制を通じてレベルの高い日本語のテキストを生成できる言語モデルの開発の可能性を確認できた。また，このようなテキストを単純に生成することに留まらず，テキストに 対する語彙･文法･漢字のJLPTにおける難易度の分析まで実施できるシステムを開発できた点で，人工知能の日本語学及び日本語の教育分野に対する応用の可能性は計り知 れないという点を確認できた。

This study aims to raise the needs for assessment tools that reflect the characteristics of marriage immigrants and to design a proficiency-oriented achievement test that can be used in the King Sejong Institute, which disseminates Korean language and culture and one of the official Korean language center for Korean immigrant visa. To this end, the language assessment tools for immigrants were reviewed, and advisory opinions were converged from experts. Based on this, test structure and test task specification is completed and piolt tests were administrated at King Sejong Institute in Vietnam and Philippine to prove validity and usefulness of this test. As a result, it was designed with two levels: beginner 1A and beginner 1B, and the test areas were set to listening, reading, and speaking with five types of test items. Each item evenly distributed in upper, middle and lower difficulty. Speaking test items consist of a short answer type and a narrative type, and it was conducted in two performance tests during one semester

이 연구의 목적은 다국면 Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 국어과 수업 실연 평 가 도구를 개발하는 것이다. 수업 실연 평가의 준거는 수업 전문성에 대한 개념과 수업 평가 관련 선행 연구들을 토대로 하여 ‘학습 목표와 교수-학습 과정의 연계성’, ‘교실 상호작용’, ‘교사의 언어· 행동 자질’의 3가지 하위 요인을 선정하고 그에 따른 14가지 준거의 5점 척도 평가 도구를 개발하 였다. 중등 예비 국어 교사 대상의 수업 실연 평가 도구의 타당성을 검증하기 위해 국어교육과 2학년 재학생 11명을 대상으로 현직 국어 교사 4인이 수업 실연에 대한 평가를 실시하였다. 평가 결과는 다국면 Rasch 모형을 근거로 제작된 Facets Minifac을 활용하여 분석하였다. 연구 결과, 수업 실연 평가에 나타난 평가자의 엄격성 차이는 –1.34 ～ -.99 logit까지로 통계적으로 유의했으 며 평가자간 신뢰도가 높은 것으로 드러났다. 또한 평가자 내 일관성은 내적합도 기준(0.5～1.5 logit)에 따라 적절한 점수를 부여하고 있음을 보였다. 수업 실연 평가 범주별 타당성에 대한 분석 결과, 난도의 차이는 통계적으로 유의하였으며(p<0.04) 피험자가 느끼는 곤란함은 모든 평가기준 에서 동일하였다. 평가자와 평가기준의 편향을 분석한 결과 유의미한 편향은 도출되지 않아 평가 기준을 해석 및 적용하는 기준이 신뢰할 수 있음을 밝혔다. 평가 도구 5점 척도 적합도를 분석한 결과 2점 척도의 적합도에 다소 문제가 있으나 피험자와 평가자 수가 극히 제한적이었으므로 추후 피험자 수를 확대하여 추가 검증을 수행할 필요가 있다. 본 연구는 국어 수업 실연의 신뢰할 수 있는 객관적이고 정량적인 수업 실연 평가 도구를 개발하고 타당화함으로써 예비 국어 교사의 수 업 전문성을 신장하고 학교 교육의 질적 제고를 가능하게 한다는 점에서 의의를 지닌다.

The purpose of this study was to develop a validated and reliable Korean language classroom performance evaluation tool using a multi-stage Rasch model. The criterion for classroom performance evaluation was selected based upon the concept of ‘class expertise' and previous research carried out concerning class evaluation. As a result, we selected three sub-factors: ‘linking learning objectives with teaching - learning processes', ‘classroom interaction', and the ‘language and behavior characteristics of teachers'. Motivation induction, presentation of learning goals, consistency of learning goals and contents, appropriateness of learning activities, explanations and demonstrations, footprints, inducing student interests, data utilization, evaluation, strengthening and feedback were examined. The ability to cope and the use of the classroom were also addressed. Four Korean language teachers were evaluated on their performance in Korean language education and 11 students in the second grade were also involved in this research. The results were analyzed using Facets Minifac, which was based on the multi-stage Rasch model.

This paper aims to address the necessity of structuring test items in order to develop language placement tests that reflect the course curriculum. The placement tests that this paper examined are ‘The Quick Placement Test by Oxford University Press and Cambridge ESOL’, ‘English Unlimited Placement Test by Cambridge University Press’, ‘ESL Placement Tests by ETS’, and ‘English Placement Test(EPT) by CaMLA. By analyzing categories of assessment and evaluation questions of foreign placement tests, this paper illustrated features of prominent placement tests used worldwide. Also, this paper made proposals on the basis of its findings that can enhance future placement tests development in the Korean language. These tests emphasized the importance of the reliability rating and that it is designed to quickly deliver objective test results. To achieve this purpose, the tests did not exclude test questions that gauge the test-taker’s vocabulary and grammar capabilities. That is, these tests many of the language skill categories such as vocabulary, grammar, short passage comprehension question are actively utilized.

In this study, we introduced a testing instrument that can be employed in a wide range of SLA research and practices, providing with substantial evidence for its usefulness. We report on the development and validation processes of a C-test. A C-test is a short, paperbased test to measure students’ proficiencies without time and space constraints. Due to this practicality it has been popularly used as a measure of linguistic proficiency in language research. However, previously developed and published tests were often criticized for not enabling researchers to discriminate among learners. The tests were either too difficult or easy for the test-takers, which made it difficult to discriminate among learners of various proficiency levels. In order to overcome this limitation, we developed a test employing texts representing various comprehensibility levels. The results showed that most of the test items exhibited desirable item discrimination values. Despite being a short test, the brevity was found to be practical and the researchers could rely on the results.

목적: 본 연구는 다양한 언어 및 문화적 환경에 놓인 아동들의 언어발달을 평가하여 위험군에 놓인 아동을 선별하기 위해 제작된 웹 기반 선별용 간편 언어발달검사의 내용타당도를 재검증함으로써 보다 신뢰롭고 타당한 검사를 완성하기 위한 목적으로 실시되었다. 방법: 기개발된 언어발달검사 문항들을 바탕으로 수정된 델파이 기법을 활용하여 언어치료 전문가 14명을 대상으로 문항 내용타당도와 단계타당도를 검토하였고, 이어 아동의 보호자 20인을 대상으로 문항에 대한 이해도 조사를 시행하였다. 결과: 전문가 의견 합의를 위해 내용타당도 지수(CVI)를 산출해 지수가 낮게 나타난 문항들을 수정하였고, 그 외 개방형 질문을 통해 수집한 기타 수정ㆍ보완 의견들도 내용 분석을 통해 반영하였다. 한편, 보호자 이해도 조사 결과는 문항 이해도, 타당도, 만족도 응답을 확인해 결과가 낮게 나타난 문항들의 난이도를 조정하였으며, 이 역시 개방형 질문을 통해 기타 수정ㆍ보완 의견들을 수집해 수정에 반영하였다. 전문가 및 보호자 의견 조사 후 최종 검사 문항은 언어병리학과 교수 및 석ㆍ박사과정 연구진에 의해 재검토가 이루어졌다. 그 결과 5개 영역(구문 11개 문항, 의미 14개 문항, 화용 19개 문항, 조음 7개 문항, 문해 15개 문항)의 총 66문항을 최종 문항으로 구성하였다. 결론: 본 연구는 전문가 및 보호자 의견을 통해 웹 기반 선별용 간편 언어발달검사 문항을 수정하고 내용타당도를 검증하여 현장 활용 가능성을 높였다는 점에서 의의가 있다.

Purpose: This study was conducted to reexamine the content validity of a web-based screening brief language development test designed to assess the language development of children in diverse linguistic and cultural settings to identify at-risk children, resulting in a more reliable and valid test. Methods: Based on the developed language development test items, a modified Delphi technique was used to examine the content validity and level validity of the items with 14 speech-language pathologists, followed by a survey of 20 parents to determine their understanding of the items. Results: The content validity ratio (CVR) was calculated for expert consensus, and questions with low scores were revised, and other revised and supplementary opinions collected through open-ended questions were also reflected through content analysis. On the other hand, the results of the parental understanding survey were checked for item understanding, validity, and satisfaction, and the difficulty level of the items that showed low results was adjusted, and other opinions were collected through open-ended questions and reflected in the modifications. The final test items were reviewed by a professor of speech-language pathology and a master’s and doctoral researcher. As a result, a total of 66 items in five domains (11 syntactic, 14 semantic, 19 pragmatic, 7 articulation, and 15 literacy) comprised the final test items. Conclusions: The significance of this study is that the Brief Language Development Test items for web-based screening were revised and content validated with input from experts and caregivers to improve their feasibility for field use.

This study aims to raise the needs for assessment tools that reflect the characteristics of marriage immigrants and to design a proficiency-oriented achievement test that can be used in the King Sejong Institute, which disseminates Korean language and culture and one of the official Korean language center for Korean immigrant visa. To this end, the language assessment tools for immigrants were reviewed, and advisory opinions were converged from experts. Based on this, test structure and test task specification is completed and piolt tests were administrated at King Sejong Institute in Vietnam and Philippine to prove validity and usefulness of this test. As a result, it was designed with two levels: beginner 1A and beginner 1B, and the test areas were set to listening, reading, and speaking with five types of test items. Each item evenly distributed in upper, middle and lower difficulty. Speaking test items consist of a short answer type and a narrative type, and it was conducted in two performance tests during one semester

이 연구는 국어과 서술형 평가 도입과 관련하여 학교 현장에서 교사들이어떻게 문항을 개발하고 채점을 하는지 사례를 통해 소개하였다. 평가에서 타당도와 신뢰도를 어떻게 확보하고 있으며 서술형 평가에 관한 교사들의 견해가 무엇인지를 살펴봄으로써 필요성 및 개선 방안에 관해 고찰하였다. 국어과 서술형 평가와 관련하여 평가 유형 및 평가 문항의 특성, 국어과서술형 평가의 문항 개발 및 채점 방법의 절차를 살펴보았다. 연구 대상은 경기 부천여고 자연계 4개 반 140명으로 2011년 11월 15일 실시한 2학기 독서 과목 지필평가를 통해 학교 현장에서의 3학년 독서과4명의 국어과 교사들이 실제로 국어과 서술형 문항 개발과 채점 과정의 절차를 사례에 주목하였다. 국어과 서술형 평가의 타당도 및 문항 변별도, 신뢰도를 파악하였다. 타당도와 관련하여 내용 타당도에서는 대체로 일반적인 문항 개발 절차에 따라 서술형 평가를 개발하면서 교과협의를 통한 문항 검토 및 수정・보완의과정을 수행함으로써 확보하고 있다고 판단할 수 있다. 문항 변별도와 관련하여 선택형 및 서술형 문항의 정오답표를 분석하였다. 그 결과 선택형에 비하여 서술형 문항에서는 난이도를 조절하지 못한 문항은 발견되지 않아 문항의 변별력을 갖추고 있음을 확인할 수 있었다. 이와 함께 선택형 및 서술형 평가 결과 간의 상관분석 및 평가 결과를바탕으로 하여 상・하위 집단의 서술형 및 선택형 평가 결과의 차이를 분석하였다. 상관분석 결과는 .561로 상관이 있는 것으로 나타났다. 이는 선택형 및 서술형 문항이 공통적인 평가 요소를 공유한다는 점에서 상관이 나타난다고 할 수 있지만, 한편으로 각각의 문항 유형들이 지필평가의 틀 안에서독립적인 역할을 수행하고 있음을 파악할 수 있었다. 이에 대한 근거로서 선택형 및 서술형 문항의 평가 결과가 상・하위 집단 간에 각각 유의한 차이를보이고 있는 것을 제시할 수 있다. 이를 통해 평가의 구인타당도를 확보하고있다고 할 수 있다. 평가의 신뢰도와 관련하여 교사들은 각자 출제한 문항에 대해 기본 답안 및 인정 답안을 작성하고 문항별로 1차 채점을 수행하였으며, 2차 채점을통해 학생들의 다양한 답안 반응에 대해 정답 여부를 확인하는 협의 과정,최종적으로 완료된 채점 결과를 학생들에게 설명하여 확인하는 절차를 통해평가의 신뢰도를 확보하고 있다고 할 수 있다. 국어과 서술형 평가에 관한 교사들의 견해를 파악하기 위해 교과협의회과정에서 면담을 실시하였다. 학교 현장에서는 평가의 타당성 및 필요성에대해 공감하고 있지만 평가를 시행하는 단계에서 어려움을 겪는 것이 사실이다. 문항 개발 및 채점 방법에 대한 체계적인 이론화와 평가 업무 부담을경감하는 방법에 대한 연구가 지속적으로 이루어질 필요가 있다.

This study introduces the development of test tools and scoring methods of Korean art essay assessment at high school. This research investigates how to ensure the validity and reliability in the assessment and teachers’ interviews about its necessity and improvement. 140 patients at Bucheon Girls’ High School conducted Reading art second semester final exam on Nov. 15, 2011. and 4 Reading art teachers carried out the development of test tools and scoring. This paper analyzed validity, item discrimination, reliability of Korean language essay assessment. Consequently, the assessment proved to have content validity through experts’ reviews and item discrimination through the analysis of correct and incorrect answer table. It also proved to have construct validity through correlation analysis(.561) between multiple-choice test score and open-ended test score. and it had reliability through raters(teachers) performing consultation process about scoring. Finally, this research conducted the interviews during the teacher concil to understand the teachers’ opinions about Korean language essay assessment. Teachers agreed to the necessity of the assessment, but they emphasized that the development of test tools and scoring method should be theorized systematically and the study of how to reduce assessment tasks should be conducted consistently.

본 논문은 2021년 10월부터 2022년 4월까지 필리핀에서 고용허가제 한국어능력시험(EPS-TOPIK)을 응시한 외국인근로자 511명 대상 한국어능력시험에 대한실태조사를 통하여 고용허가제 한국어능력시험의 발전방안을 도출하고자 하였다. 고용허가제 한국어능력시험의 발전방안으로서 첫째, 교육 접근성 제고를 위해필리핀 내 세종학당의 증설이 요구되고 둘째, 한국어능력시험의 효율화를 위해 고용허가제 한국어능력시험의 한국어능력시험(TOPIK)과의 연계가 요구되며 셋째, 의사소통과 작업능률 제고를 위해 고용허가제 한국어능력시험에 구술시험 도입이요구된다. 넷째, 외국인근로자의 한국 입국 후 한국어학습 요구에 부응하여 한국어교육 지원이 요구되고 다섯째, 한국어 표준교재를 활용한 워크북과 어휘집 등다양한 자가학습용 부교재 개발이 요구되며 마지막으로, CBT 시험장 일반적 점검및 듣기시험 평가의 적합성 제고 등 인프라 개선이 요구된다.

This paper aims to derive ways to improve the EPS-TOPIK through a survey of 511 foreign workers in the Philippines who took the EPS-TOPIK. The results are as follows: First, the number of Sejong Institutes in the Philippines should increase; second, the EPS-TOPIK should be linked to the Test of Proficiency in Korean (TOPIK); third, the EPS-TOPIK should introduce an oral exam; fourth, Korean language education should be linked to foreign workers after they enter Korea; fifth, the development of various supplementary teaching materials for self-study should be required; and lastly, the improvement of CBT testing site infrastructure should be implemented.

This research has been done as a part of the research on ‘Korean language skill diagnostic test for multicultural students’ in 2012, and is a summary of principles and practice of writing skill test development, and actual result from preliminary test. This research was initiated because there was an emerging needs for diagnostic tool to assess Korean language skills of young learners from multicultural families and those who immigrated recently. Also, this research is a follow up from KSL which aimed to develop Korean language skills of children from multicultural families. Through this research, Test Construct and Analytic Scale of writing test, and scaling methodology were developed. Test Construct and Analytic Scale include (1) Language Use Ability, (2) Content Organization Ability, (3) Metacognitive strategy Ability, and (4) Sociolinguistic Ability, and these were developed through study of advanced research and relevant theories. Pilot test from 202 samples of students (elementary, middle, and high school) showed stable coefficient across different criteria including item discrimination, Cronbach α reliability and inter-scorer reliability in grader confidence based on validity analysis against classical test theory.

이 연구는 思考力 伸張을 위한 評價 問項에 대하여 PISA에서 活用한 읽기 問項을 中心으로 하여 논의하였다. PISA의 읽기 문항은 선택형, 단답형, 폐쇄형 서술형 문항, 개방형 서술형 문항 등 다양한 문항을 활용하고 있는데, 특히 이 연구에서는 개방형 서술형 문항이 사고력 신장을 위한 국어과 평가 문항에 많은 시사점을 준다고 보았다. 우선 思考力 伸張을 위한 評價 問項은 思考의 過程과 水準을 强調할 필요가 있다. 그리고 다양하면서도 主體的인 思考를 강조할 필요가 있다. 이런 문항을 開發하기 위해서는 採點 基準을 어떤 방식으로 開發할 것인가가 核心인데, 採點 基準 開發 方式에 대해서는 크게 두 가지 項目이 중요하다. 채점 기준은 學業 成就度 確認을 위한 중요한 指標로서의 역할을 하는데, 우선 학생들의 反應을 位階化多樣化한 基準을 만들어야 하며, 自己 評價가 가능한 기준을 만들어야 한다는 것이다.

This study examines how to develop test items for thinking faculties in the Korean language education, focusing on PISA. PISA(Programme for International Student Assessment), organized by OECD(Organization for Economic Co-operation and Development), is aimed at producing reliable and internationally comparable indicators of 15-year old students' literacy in reading, mathematics, and science. In view of the research results, the characteristics of the test items for thinking faculties are as follows. ?To develop test items that focus on the process and level of thinking. ?To develop test items that bring about the thinking subjectively. And, this study suggests as follows about development of scoring rubric. ?To making scoring rubric that grouping response characteristics. ?To making scoring rubric that can assess myself. The results from this study help to make the methods of assessment in the Korean language education better, and improve assessment methods in the school.

이 연구는 기존의 확산적 사고 측정방법으로 문제발견능력을 측정하는 것에 대한 문제점을 제기하고, 통찰적 사고 기제인 재구조화를 활용한 대안적 문제발견능력 검사도구를 개발하고 타당화하였다. 문제발견을 통찰적 사고의 기제인 재구조화로 설명하는 이론적, 경험적 연구를 근거로 문제발견 능력 문항을 개발하고, 내․외적 타당성을 검증하였다. 내적 타당성을 위해 대학생을 대상으로 한 예비조사(n=350), 본조사(n=683)의 자료로 요인분석을 활용하여 언어, 수, 도형 세 요인으로 구성된 문제발견 능력검사의 구인 타당성을 검증하였다. 외적 타당성을 위해 기존의 공인된 문제발견 능력검사 K-RAT 와의 상관분석을 활용하여 수렴 타당성을 검증하고, 다중회귀분석을 활용한 분석문제와는 구분될 수 있는 인지능력변인들의 설명력 검증을 통해 수렴적 사고와 확산적 사고 모두를 요구하는 문제발견 능력의 변별 타당성을 검증하였다. 이 연구는 창의적 문제발견 능력을 통찰적 사고의 기제인 재구조화로 재해석하고 구체화하였다는 점에서 문제발견 연구범위를 확장함과 동시에 그 차별적 가치를 지닌다.

This research raised the problem of measuring the problem finding ability by using the existing divergent thinking measurement method and developed and validated the alternative problem finding ability test utilizing the restructuring which is the insight thinking mechanism. Based on the theoretical and empirical studies that problem finding can be explained by insightful thinking, we developed problem finding measurement items and verified internal and external validity. For internal validity, the validity of the test for the problem finding ability test consisting of three factors of language, number, and figure was verified by using the factor analysis as the data of the preliminary survey (n = 350) and the main survey (n = 683). For external validity, the validity of the convergence validity is examined by using the correlation analysis with the existing authorized problem finding test K-RAT and to test the discriminant validity of the problem finding as an insight problem requiring both convergent thinking and divergent thinking, And multiple regression analysis was used to verify the explanatory power of cognitive ability variables. This research extends the scope of problem finding research and has its discriminative value in that it reinterprets and realizes creative problem solving ability as a restructuring which is the basis of insight thinking.

본고는 ‘누리-세종학당 온라인 한국어 레벨 테스트’의 개발에 관한 연구로 이 시험은 학습자들의 한국어 능력을 평가하여 세종학당의 교육과정에 준하여 최적의 등급 판정을 내리는 것을 주된 목적으로 한다. 본 연구에서는 ‘누리-세종학당 온라인 한국어 레벨 테스트’의 평가 체제와 평가 구성의 틀을 설계하고, 평가 결과의 제시 및 활용 방안을 제안하는 것을 목표로 한다. 이를 위하여 본 연구에서는 세종학당에서의 한국어 교육 및 평가 현황, 세종학당 교원들에 대한 요구조사, 타 언어 온라인 레벨 테스트에 대한 분석적 연구를 실시하고, 이를 이 시험의 설계의 토대로 삼았다. 이 연구에서는 ‘누리-세종학당 온라인 한국어 레벨 테스트’의 평가 목표, 평가 영역, 평가 등급, 평가 내용, 평가 유형, 평가 문항 수, 평가 시간, 등급별 난이도 구성, 등급 판정 기준 등을 제시하였다. 또 학습자나 교사가 평가 결과를 향후의 학습과 교육에 활용할 수 있도록 구인별로 점수를 표시하는 방안을 모색하고, 누리-세종학당을 이용한 한국어 학습자를 위하여 차후에 학습할 만한 가치가 있는 누리-세종학당의 온라인 학습 과정이나 콘텐츠를 소개하는 방안 또한 설계하여 제시하였다.

The purpose of this study is to develop an online level test for King Sejong Institute(KSI). This test measures the level of ability of Korean learners so that they can be placed on an appropriate course within the standard curriculum of the KSI standard. To the end this study analyzes the curriculum and test of KSI and conduct needs analysis of teachers at KSI. To figure out the procedures of taking a test through online this study researches on other kinds of online tests. This study sets up the test objective and decides test area and level of test. Then the key components of test such as types and numbers of test item, proper time for the test, the level of difficulties of each test items and scoring method, and report of test result as well as test structure are suggested. In addition to this, the ways of reporting score of test depending on test constructs are investigated in order to contribute the upcoming teaching and learning at KSI. For those students who want to study by themselves through Nuri-Sejong website, this study considers the mechanism to recommend proper learning contents at Nuri-Sejong website.

본 연구의 목적은 청소년 학습자의 한국어 능력 평가 개발을 위한 기초 연구로서 청소년 대상 영어 능력 평가를 분석하여 한국어 능력 평가를 위한 적절한 주제 항목을 제시하는 데 있다. 한국어를 학습하는 청소년 학습자들에게 한국어 학습에 대한 동기 부여와 학습의 방향을 제시할 수 있는 청소년 대상 한국어 능력 평가 개발의 필요성은 매우 크다. 이러한 평가의 개발을 위한 연구 중 가장 선행되어야 할 부분 중 하나는 평가 내용을 구성하기 위한 적절한 주제를 선정하는 일일 것이다. 청소년 대상 영어 능력 평가를 분석해본 결과 학교와 일상생활과 관련된 주제가 주를 이루는 반면, 성인 대상 한국어 능력 평가(Test of Proficiency in Korean, TOPIK)의 주제에는 일상생활과 일, 직업, 시사관련 주제의 비중이 높게 나타났다. 이처럼 주제는 평가 대상에 따라 큰 차이가 있다. 따라서 의사소통 능력을 평가하고자 하는 언어 능력 평가 도구를 개발하고자 할 경우에는 평가 대상이 자주 접하는 상황과 관련된 주제에 대한 고려가 반드시 선행되어야 할 것이다.

The purpose of this study, as basic research for developing a Korean proficiency test for teenagers, is to analyze the English proficiency tests for teenagers(Cambridge YLE, SLEP Test and TOEIC Bridge) and TOPIK, leading to a proposal of an appropriate topic. There is a great need to develop a Korean proficiency test aimed at teenaged Korean language learners in order to motivate them to learn and to lead them in a desirable direction for learning. One of the first tasks to be done for the development of such a test may be research into the selection of appropriate topics for the composition of the contents of the test. As a result of analyzing the English proficiency tests, it was found that the topics were mainly concerned with school life and ordinary life. Meanwhile, the topics of TOPIK aimed at adults were mostly related to ordinary life, work·occupation, and current affairs. This shows that there is a great difference in topics depending upon the test takers, and first consideration should be given to situations that test takers often encounter as well as relevant topics during the development of a language proficiency test to evaluate communication skills.

This paper aims to examine the development principles of the Korean language proficiency test developed by the Korean Language Institute of Y University as a private qualification test, by focusing on combining it with self-directed learning archives. Chapter 2 introduced the IBT proficiency test and looked into the concept of archives and the need for archives for Korean learners' self-directed learning. In Chapter 3, the learner-centered assessment principles of this test tool were examined, and the development principles related to the Korean language proficiency level index were examined in terms of the hierarchy of grammatical knowledge, systematicity of vocabulary arrangement, and complementarity of discourse function constructs. In addition, it was discussed how this test tool could be linked with the self-directed learning archive in order to properly perform the diagnosis and feed-back, the original roles of assessment.

배경 및 목적: 본 연구는 언어발달지연 아동의 한국판 수용 · 표현 어휘력 검사에서 컴퓨터 기반(태블릿 PC) 매체와 종이 기반 매체를 이용하여 매체의 변화가 아동의 언어 수행력에 차이를 보이는지 알아보고자 하였다. 방법: 연구의 대상은 생활 연령이 만 3-7세의 언어발달지연 아동 27명을 대상으로 하였다. 언어발달지연 정도와 통합언어연령에 따라 각각 두 집단으로 구성하였다. 연구대상을 선정하기 위하여 취학 전 아동의 수용언어 및 표현언어 발달척도(Preschool Receptive-Expressive language Scale) 검사를 실시하고 매체를 다르게 하여 무작위 순서로 수용 · 표현 어휘력검사(REVT)를 일주일의 간격을 두고 실시하였다. 원점수, 총 반응시간, 문항별 평균 반응시간을 측정하여 검사 매체 간 차이를 살펴 보았으며, 언어발달지연 정도와 통합언어연령에 따라 검사 매체 간 수행력에 대해 비교 분석하였다. 결과: REVT검사 결과, 수용 및 표현 어휘 원점수 모두 종이 기반 검사보다 컴퓨터 기반 검사에서 통계적으로 유의하게 더 높은 점수가 나타났다. 한편, 언어지연 정도의 중증도에 상관없이 컴퓨터 기반 검사에서는 표현형 어휘검사에서 총 반응시간과 문항별 평균 반응시간이 통계적으로 유의미하게 짧았지만, 수용형 어휘검사에서는 총 반응시간만 현저히 짧게 나타났다. 논의 및 결론: 본 연구에서는, 모든 언어 발달 지연 아동군에서, 검사 결과는 매체의 종류에 따라 달라졌다. 특히, 컴퓨터 기반 검사는 언어 발달 아동의 집중도를 유지하며 반응 시간을 줄이고 어휘 성능을 향상시키는데 기여하였다. 따라서 각 매체 검사의 규준을 그대로 사용하는 것은 문제가 있을 수 있으며, 검사에 사용되는 매체에 대한 고려가 필요하다.

Objectives: The purpose of this study was to explore whether children with developmental language delays’ performance on the Korean Receptive and Expressive Vocabulary Test (REVT) changed depending on media type (computer-based (tablet PC) vs. paper-based). Method: A total of 27 children with developmental language delay, ages 3 to 7 years, participated. All children were divided into two groups according to the degree of language development delay and the age of integrated language using the Preschool Receptive-Expressive Language Scale (PRES) to evaluate language development. The REVT was conducted at weekly intervals using different media in a random order. Raw score, total response time (TRT), and average response time per question (ART) were measured between different media type and compared based on the degree of language development delay and the age of integrated language. Results: Our study found statistically higher raw scores in both receptive and expressive vocabulary test (REVT) in the computer-based test compared to the paper-based test. On the other hand, regardless of the severity of the language delay, TRT and ART were statistically significantly shorter in the computer based expressive vocabulary test, but only TRT was significantly shorter in the receptive vocabulary test. Conclusion: In this study, in all language development delayed groups, the test results varied depending on the type of media. In particular, computer-based tests, rather than conventional paper-based tests, maintained the concentration of language-delayed children and helped reduce reaction time and improve vocabulary performance. Thus, the type of media used for the test should be considered.

본 연구의 목적은 미래형 수능 체제로의 전환과 관련하여 국어과 서‧논술형 수능 평가 문항 개발 방안을 탐색하는 데 그 목적이 있다. 이를 위해 독일의 아비투어(Abitur), 영국의 GCE A-level(General Certificated of Education Advanced-level), 국제바깔로레아(IB)의 서논술형 평가 사례를 분석하고, 자국어 과목 내의 서·논술형 평가 문항을 분석함으로써 국어과 서·논술형 평가 문항 개발 방안을 다음과 같이 제안하였다. 첫째, 학문 문식성 평가를 위한 수능 서·논술형 평가의 목적과 평가 요소의 설계 차원에서 방안을 모색하였다. 대학의 학업 수행 과정에 요구되는 학문 문식성을 기반으로 하여 ① 자료의 이해력 및 분석력, ② 논증력, ③ 표현력을 평가 요소로 설정하였다. 둘째, 국어과 서·논술형 평가 문항으로 자료 통합형 쓰기 평가 문항으로 ① 자료 분석형 문항과 ② 자료 활용형 문항을 구성할 수 있다. 셋째, 자료 텍스트의 주제로 ① 언어 일반, ② 의사소통 일반, ③ 미디어나 인터넷 매체 특성, ④ 문학적 주제, ⑤ 학문적, 사회적 주제을 제안하였으며, 자료 텍스트의 구성 유형으로 ① 권위 있는 학문 텍스트, ② 문학 텍스트, ③ 여러 유형의 매체 자료, ④ ①-③을 참조한 가공 자료 등을 제안하였다.

The purpose of this study is to explore ways to develop essay test items for CSATs in relation to the transition to a future-oriented CSAT by analyzing the introductory evaluation cases of Germany's Abitur, the UK's GCE A-level, and the International Baccalaureate(IB). The following proposals were made for the development of essay test items. First, a plan was sought in terms of the purpose of the written and essay-type evaluation of the CSAT and the design of evaluation elements for the evaluation of academic literacy. Based on the academic literacy required for the academic performance of the university, ① data comprehension and analysis, ② argumentation, and ③ expressiveness were set as evaluation factors. Second, it is possible to compose ① data analysis-type questions and ② data utilization-type questions as data-integrated writing evaluation questions with Korean language essay and essay-type evaluation questions. Third, ① language, ② communication, ③ Characteristics of media or Internet media, ④ Literary themes, and ⑤ Academic and social themes were suggested as the themes of data texts, ③ various types of media data, and ④ processed data referring to ①-③ were suggested.

본 연구의 목적은 국어교사의 창의융합교수역량을 측정할 수 있는 검사를 개발하여 타당화 하는 것이다. 따라서 국어교사가 갖추어야 할 창의융합교수역량의 구성요인과 하위요인을 도출하고 타당화 과정을 거쳐서 완성하였다. 연구절차에서 첫째로 FGI를 통해 1차 도출된 국어교사 창의융합교수역량 개념 및 구성요인(15개 역량, 45개 하위역량)을 확인하였다. 둘째로 전문가 내용타당도를 통해 구성요인(4개 역량군, 7개 역량, 12개 세부역량)과 34개 측정 문항의 적절성을 확인하였다. 셋째로 측정문항의 타당화 작업으로 국어교사를 대상으로 수집한 200명 데이터는 탐색적 요인분석(EFA)으로 처리하였고, 202명 데이터는 확인적 요인분석(CFA)을 실시하였다. 본 연구의 결과, 측정모형의 통계적 적합도 수준이 확인되었고, 수렴타당도와 판별타당도를 확인함으로써 구인타당도를 확보하였다. 또한 성, 연령, 소속 집단 간의 교차타당도도 입증되었다. 따라서 본 연구에서 개발된 국어교사 창의융합교수역량 검사는 국어교사창의융합전문역량, 창의융합국어수업설계역량, 창의융합국어수업실행역량, 창의융합국어수업평가역량의 4개 역량군으로 확정되었고, 9개 하위역량과, 32개 측정문항으로 구성된 신뢰롭고 타당한 검사라는 것이 확인되었다.

The purpose of this study is to develop and validate a test to measure the creative confluence teaching competency of Korean language teachers. Therefore, the components and sub-variables of the creative confluence teaching competency that Korean language teachers should have were derived and completed through the validation process. First, the concept and components of the Korean language teacher's creative confluence teaching competency, which was first derived through FGI, were identified. Second, the validity of the components (four competency groups, seven competencies 12 sub-competency) and 34 measurement items were confirmed through the expert content validity. Third, the data of 200 students collected from Korean teachers were processed by exploratory factor analysis (EFA) and the data of 202 students was analyzed by confirmatory factor analysis (CFA). As a result of this study, the statistical fitness level of the measurement model was confirmed, and the construct validity was secured by confirming the convergent validity and discriminant validity. Cross-validity between sex, age and group of affiliation was also identified. Therefore, the test of the Korean language teacher's creative confluence teaching competency developed in this study was confirmed to be four competency groups: the Korean language teacher's creative confluence expertise, the creative confluence Korean language class design competence, the creative confluence Korean language class execution competence, and the creative confluence Korean language class evaluation competence.