Earticle

본 연구는 LLM 기반 2단계 AI 서술형 평가 시스템의 운영 로그를 분석하여 단계별 교수자 개입 양상을 탐색하였다. 분석 대상은 A대학 12개 강좌의 제출물 383건과 개입 로그 생성 교수자 6명의 자료이며, 교수자의 수정과 승인을 모두 개입으로 정의하되 행위 유형은 구분하였다. 분석 결과, 단계별 완료 제출물 기준 전체 개입률은 1단계 34.2%, 2단계 16.3%였으며, 동일 제출물 기준에서도 2단계 개입률이 유의하게 낮았다. 수정 행위만을 기준으로 한 보조 분석에서도 수정률은 1단계 34.2%에서 2단계 9.0%로 감소하였다. 개입 사유 분포는 단계에 따라 달랐으며, 공통상위범주 기준의 탐색적 비교에서는 응답·맥락 해석 관련 개입의 상대적 비중이 1단계 2.5%에서 2단계 15.5%로 증가하였다. 이러한 결과는 AI 보조 평가 시스템 설계에서 교수자 개입을 단순한 오류 수정 절차로 보기보다, 평가 단계별로 필요한 인간-AI 협업 구조와 지원 방식을 함께 고려할 필요가 있음을 시사한다.

This study analyzed operational logs from a two-stage LLM-based AI essay assessment system to explore patterns of instructor intervention across assessment stages. The data included 383 submissions from 12 courses at University A and intervention logs generated by six instructors. Instructor intervention was defined as including both manual revision and approval, while the types of intervention were analyzed separately. The results showed that the overall intervention rates, based on stage-specific completed submissions, were 34.2 percent in Stage 1 and 16.3 percent in Stage 2. The intervention rate was also significantly lower in Stage 2 when the same submissions were compared. In a supplementary analysis focusing only on manual revisions, the revision rate decreased from 34.2 percent in Stage 1 to 9.0 percent in Stage 2. The distribution of intervention reasons differed across stages. In an exploratory comparison based on common higher-level categories, the relative proportion of response and context interpretation- related interventions increased from 2.5 percent in Stage 1 to 15.5 percent in Stage 2. These findings suggest that instructor intervention in AI-assisted assessment should not be viewed merely as an error-correction procedure, and that system design should consider stage-specific human-AI collaboration structures and support mechanisms.

본 연구는 생성형 인공지능(GenAI) 기반 중한 번역 수업에서 교수자의 개입이 학습자의 GenAI 협업 역량 발달에 미치는 효과를 검증하는 것을 목적으로 한다. 생성형 인공지능 기술의 급속한 발전에 따라 번역 교육은 기존의 언어 능력 향상 중심에서 GenAI 협업 역량 배양을 중심으로 하는 방향으로 전환되고 있다. 그러나 지금까지 교수자의 교육적 개입 효과에 대한 논의는 상대적으로 부족한 실정이다. 이에 본 연구는 중국 소재 Z대학 한국어학과 3학년 학생 21명을 대상으로 16주간 진행된 번역 수업을 전반기와 후반기로 구분하여 비교분석하였다. 정량적 및 정성적 연구 방법을 병행하여 학습자의 GenAI 프롬프트 디자인 능력과 기계번역 포스트에디팅(MTPE) 능력의 변화를 평가하기 위해 사전·사후 검사, 번역 결과에 대한 피드백, 과제 후기 등 다양한 자료를 수집하였다. 연구 결과 첫째, 학습자의 GenAI 프롬프트 디자인 능력이 향상되어 텍스트 유형과 번역 목적에 따라 보다 정교하고 다양한 프롬프트를 설계할 수 있게 된 것으로 나타났다. 둘째, MTPE 역량 또한 인지적·지식적 측면에서 개선된 것으로 확인되었다. 한편 본 연구는 프롬프트 설계 평가 기준의 미비, MTPE 역량 배양 범위의 제한, 단일집단 사전·사후 설계의 한계, 연구 대상 및 연구 환경의 제약이라는 네 가지 한계를 지닌다. 그럼에도 본 연구는 생성형 인공지능 시대에 적합한 중한 번역 교수 모형 설계를 위한 실증적 토대를 제공하며, ‘교수자-GenAI-학습자’의 삼원적 상호작용 체계를 기반으로 한 번역 교육 혁신의 방향을 제시한다는 점에서 의의가 있다.

This study examines the effects of instructor intervention on learners' GenAI-collaborative translation competence in Chinese-Korean translation classes using Generative AI (GenAI). With the rapid development of GenAI technology, translation education is shifting from a traditional focus on language proficiency toward fostering “GenAI collaboration competence.” However, discussions of the effects of instructors' pedagogical interventions remain relatively limited. Accordingly, this study conducted a comparative analysis of a 16-week translation course involving 21 third-year Korean language majors at Z University in China, dividing the course into early and late periods. To evaluate changes in learners' GenAI prompt design and machine translation post-editing (MTPE) skills, data were collected using quantitative and qualitative methods, including pre- and post-tests, translation feedback, and assignment reflections. The findings reveal two key outcomes. First, learners' GenAI prompt design skills improved, enabling them to design more sophisticated and diverse prompts according to text types and translation purposes. Second, it was confirmed that MTPE skills improved in terms of cognitive and knowledge-based aspects. This research provides an empirical foundation for designing Chinese-Korean translation teaching models in the GenAI era. It contributes to the innovative evolution of translation education through the "instructor-AI-learner" triadic interaction. Meanwhile, this study also has four limitations: the lack of evaluation criteria for prompt design, the limited scope of MTPE competence cultivation, a limitation of a single-group pretest-posttest design, and constraints regarding the research subjects and environment.

본 연구는 온라인 대학의 성인 학습자들이 지각한 교수자에 대한 사회적 실재감이 교수자의 사회적 촉진활동에 따라 어떻게 달라지며, 이것이 궁극적으로 학습만족도에 어떤 영향을 미치는지, 그리고 이와 관련된 학습자 변인은 무엇인지를 분석하는 데 목적이 있다. 이를 위하여 2014학년도 2학기 국내 한 온라인대학 재학생 119명으로부터 수집된 인구학적 정보, 상호작용, 교수자에 대한 사회적 실재감 및 과목 전반에 대한 사회적 실재감, 학업만족도에 대한 자료를 분석에 활용하였다. 연구목적에 따른 결과는 다음과 같다. 첫째, 교수자에 대한 사회적 실재감은 연령이 높은 집단에서, 자유게시판 활동에 참여한 집단에서 높았다. 둘째, 교수자의 사회적 촉진활동은 교수자에 대한 사회적 실재감을 높이는 데 기여했으나, 자유게시판 활동에 참여한 학습자들은 교수자의 개입이 없이도 교수자에 대한 사회적 실재감이 높았다. 셋째, 교수자의 사회적 촉진활동은 교수자에 대한 사회적 실재감과 유의미한 상관성을 보였으나 학습만족도에 대한 영향력은 교수자에 대한 사회적 실재감과 과목 전반에 대한 사회적 실재감에서만 나타났다. 본 연구를 통해 학습만족도를 높이기 위해서는 교수자의 사회적 촉진활동이 사회적 상호작용에 소극적인 학습자들에게 보다 체계적으로 제공되어야 한다는 점이 제안되었다.

This study aims to analyze differences in the social presence of instructor by instructor's social intervention, the effects of the social presence of instructor on learning satisfaction, and learner characteristics related to the social presence of instructor. Data including subjects' demographic information, interactions, social presence of instructor, social presence of the course, and learning satisfaction were collected from 119 adult learners in an online university in Korea. The main findings of this study are as follows. First, the social presence of instructor was higher in the higher-aged group or active group on intranet message board than the lower-aged group or inactive group on the board. Second, instructor's social intervention increased the level of perceived social presence of instructor. However, the active group on the board has shown the highest level of perceived social presence of instructor, without instructor's social intervention. Third, there was a high correlation between instructor's social intervention and the social presence of instructor, while the variables affecting learning satisfaction were the social presence of instructor and social presence of the course. From the results of this study, it is suggested that instructors' social interventions be provided systematically for those who are not active in social interaction to enhance their learning satisfaction.