Earticle

현재 위치 Home

생성형 AI를 이용한 통번역대학원생의 한영 영한 번역 평가 - 인간 평가자와 생성형 AI의 번역 평가 비교
Translation Quality Assessment Using LLMs : Comparing Human and LLM Ratings of Graduate Students’ Korean–English and English–Korean Translations.

첫 페이지 보기
  • 발행기관
    한국외국어대학교 통번역연구소 바로가기
  • 간행물
    통번역학연구 KCI 등재 바로가기
  • 통권
    제30권 3호 (2026.08)바로가기
  • 페이지
    pp.101-123
  • 저자
    김훈밀
  • 언어
    한국어(KOR)
  • URL
    https://www.earticle.net/Article/A490830

※ 기관로그인 시 무료 이용이 가능합니다.

6,000원

원문정보

초록

영어
This study examines the potential of large language models (LLMs) as translation assessment tools in graduate-level translator education by comparing human scores with those from ChatGPT-4o and Gemini 3.5. Utilizing a shared rubric, the study analyzes English-Korean and Korean-English translations produced by ten graduate students. Statistical analysis revealed strong, significant correlations between human and LLM mean scores in both directions (r = .785 for English-Korean; r = .863 for Korean-English). However, analysis by rubric category revealed significant differences in the terminology category, whereas content, syntax, and vocabulary & register showed none. Qualitative analysis suggests that LLMs tended to penalize proper-name, title, and spelling errors more strictly, while human assessors relied more on holistic judgment considering the broader translation and assessment context. The results suggest that LLMs can support preliminary scoring, formative feedback, and learner self-review, provided that explicit rubrics and carefully designed prompts are used with human oversight.

목차


1. 서론
2. 선행연구 검토
3. 연구 방법
3.1. 데이터 수집
3.2. 데이터 분석
3.2.1. 통계 분석
3.2.2. 정성적 분석
4. 분석 결과
4.1. 평가자간 신뢰도 (inter-rater reliability)
4.2. 항목별 비교 및 이상치(outlier) 분석
4.2.1. 세부 항목별 평가 비교
4.2.2. 개별 번역물 분석
5. 결론
참고문헌

키워드

평가자 신뢰도 번역품질평가 LLM 번역평가 번역 교육 번역방향에 따른 LLM 번역평가비교 inter-rater reliability Translation Quality Assessment (TQA) translation assessment using LLM translation education differences in LLMs’ translation assessment by language direction

저자

  • 김훈밀 [ Kim, Hoonmil | 국제언어대학원대학교 ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    한국외국어대학교 통번역연구소 [Interpreting and Translation Research Institute, Hankuk University of Foreign Studies]
  • 설립연도
    1997
  • 분야
    인문학>통역번역학

간행물

  • 간행물명
    통번역학연구 [Interpreting and Translation Studies]
  • 간기
    계간
  • pISSN
    1975-6321
  • eISSN
    2713-8372
  • 수록기간
    1997~2026
  • 등재여부
    KCI 등재
  • 십진분류
    KDC 717 DDC 400

이 권호 내 다른 논문 / 통번역학연구 제30권 3호

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.