Earticle

초록

영어

This study analyzed operational logs from a two-stage LLM-based AI essay assessment system to explore patterns of instructor intervention across assessment stages. The data included 383 submissions from 12 courses at University A and intervention logs generated by six instructors. Instructor intervention was defined as including both manual revision and approval, while the types of intervention were analyzed separately. The results showed that the overall intervention rates, based on stage-specific completed submissions, were 34.2 percent in Stage 1 and 16.3 percent in Stage 2. The intervention rate was also significantly lower in Stage 2 when the same submissions were compared. In a supplementary analysis focusing only on manual revisions, the revision rate decreased from 34.2 percent in Stage 1 to 9.0 percent in Stage 2. The distribution of intervention reasons differed across stages. In an exploratory comparison based on common higher-level categories, the relative proportion of response and context interpretation- related interventions increased from 2.5 percent in Stage 1 to 15.5 percent in Stage 2. These findings suggest that instructor intervention in AI-assisted assessment should not be viewed merely as an error-correction procedure, and that system design should consider stage-specific human-AI collaboration structures and support mechanisms.

한국어

본 연구는 LLM 기반 2단계 AI 서술형 평가 시스템의 운영 로그를 분석하여 단계별 교수자 개입 양상을 탐색하였다. 분석 대상은 A대학 12개 강좌의 제출물 383건과 개입 로그 생성 교수자 6명의 자료이며, 교수자의 수정과 승인을 모두 개입으로 정의하되 행위 유형은 구분하였다. 분석 결과, 단계별 완료 제출물 기준 전체 개입률은 1단계 34.2%, 2단계 16.3%였으며, 동일 제출물 기준에서도 2단계 개입률이 유의하게 낮았다. 수정 행위만을 기준으로 한 보조 분석에서도 수정률은 1단계 34.2%에서 2단계 9.0%로 감소하였다. 개입 사유 분포는 단계에 따라 달랐으며, 공통상위범주 기준의 탐색적 비교에서는 응답·맥락 해석 관련 개입의 상대적 비중이 1단계 2.5%에서 2단계 15.5%로 증가하였다. 이러한 결과는 AI 보조 평가 시스템 설계에서 교수자 개입을 단순한 오류 수정 절차로 보기보다, 평가 단계별로 필요한 인간-AI 협업 구조와 지원 방식을 함께 고려할 필요가 있음을 시사한다.

목차

요약
Abstract
1. 서론
2. 이론적 배경
2.1. LLM 기반 AI 서술형 평가의 특성
2.2. Human-in-the-loop와 교수자 역할
2.3. 교수자 개입 패턴 관련 선행연구
3. 연구 방법
3.1. 연구 맥락 및 시스템 구조
3.2. 분석 대상 및 데이터 구성
3.3. 변수 정의 및 자료 처리
3.4. 분석 방법
4. 연구 결과
4.1. 단계별 교수자 개입 현황
4.2. 동일 제출물 기준 단계 전환에 따른 개입 변화
4.3. 단계별 개입 사유 코드 분포 비교
4.4. 강좌별 개입 양상 편차
5. 논의
5.1. 단계별 개입 양상의 차이
5.2. 개입 사유 코드 분포의 단계별 차이
5.3. 강좌별 편차의 시사점
5.4. 설계 함의
6. 결론
참고문헌

키워드

저자

• 김성훈 [ Seonghun Kim | 총신대학교 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  정보교육학회논문지 [Journal of The Korean Association of Information Education]

• 간기

  격월간

• pISSN

  1229-3245

• 수록기간

  1997~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 374 DDC 375