Earticle

초록

영어

This paper aims to analyze the impact of generative language models on coding education and explore appropriate assessment methods. Generative language models have the ability to generate accurate and efficient code based on natural language prompts, making them increasingly utilized as tools in coding education. However, in coding exams that allow the use of language models, students may simply input the exam instructions as prompts and still achieve high scores. As a result, traditional assessment methods have become inadequate in distinguishing students' actual coding proficiency. We aim to analyze the correlation between understanding programming syntax and the ability to solve problems using generative language models. To do this, we examined the results of both a test assessing basic programming syntax and a coding test that involved utilizing generative language models, administered in a coding course at S University. Additionally, the paper discusses the need to develop new assessment items that comprehensively evaluate students' understanding of programming syntax and problem-solving abilities.

한국어

본 논문은 생성형 언어모델이 코딩 교육에서 미치는 영향을 분석하고, 이에 적합한 학습 평가 방식에 대해 고 찰하고자 한다. 생성형 언어모델은 자연어로 주어진 지시문을 바탕으로 정확하고 효율적인 코드를 생성할 수 있는 능 력을 가지고 있어 코딩 학습 및 교육의 도구로의 활용도가 증대되고 있다. 이러한 환경 변화에 따라 코딩 수업에서 학생들의 성취도 평가를 위한 코딩 시험에서도 생성형 언어모델의 활용을 허용하는 것이 피할 수 없는 상황으로 여 겨지고 있다. 그러나 언어모델을 활용한 코딩 시험에서 학생들이 지시문을 단순히 프롬프트로 입력하여 높은 점수를 받는 경우가 발생하면서, 기존 평가 방식만으로는 학습자의 성취도를 변별하기 어려워지고 있다. 우리는 프로그래밍 문법에 대한 이해도와 생성형 언어모델을 활용하여 문제를 해결하는 능력 간의 상관관계를 분석하고자 하며 S대학의 코딩수업에서 기본적인 프로그래밍 문법을 평가하는 시험과 생성형 언어모델을 활용한 코딩시험 결과를 통해 두 가 지 능력의 상관관계를 분석하였다. 이러한 결과를 바탕으로 학습자의 프로그래밍 문법 이해도와 생성형 언어모델을 활용하여 문제를 해결하는 능력을 종합적으로 평가하기 위한 새로운 평가 문항 개발의 필요성을 논의한다.

목차

요약
Abstract
Ⅰ. 서론
Ⅱ. 생성형 언어모델과 코딩
Ⅲ. 코딩 학습 성취도 평가
Ⅳ. 평가 결과 분석
Ⅴ. 결론
References

키워드

저자

• 김기백 [ Gibak Kim | 정회원, 숭실대학교 전기공학부 교수 ] 제1저자 및 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  The Journal of the Convergence on Culture Technology (JCCT) [문화기술의 융합]

• 간기

  격월간

• pISSN

  2384-0358

• eISSN

  2384-0366

• 수록기간

  2015~2025

• 등재여부

  KCI 등재

• 십진분류

  KDC 600 DDC 700