Earticle

현재 위치 Home

인간번역의 자동평가에서 번역 텍스트 길이가 평가 타당성에 미치는 영향
Effect of Text Length on the Validity of Automatic Evaluation of Human Translation.

첫 페이지 보기
  • 발행기관
    한국외국어대학교 통번역연구소 바로가기
  • 간행물
    통번역학연구 KCI 등재 바로가기
  • 통권
    제27권 2호 (2023.05)바로가기
  • 페이지
    pp.145-164
  • 저자
    최지수
  • 언어
    한국어(KOR)
  • URL
    https://www.earticle.net/Article/A430819

※ 기관로그인 시 무료 이용이 가능합니다.

5,500원

원문정보

초록

영어
This study explores the influence of the length of human-translated text on the validity of automatic evaluations. To this end, the Brevity Penalty (BP) was replaced with the Length Penalty (LP) to better align the evaluation methodology with the characteristics of human translation. The study examined if this modification improved evaluation validity. The impact of the BP on the total score was ascertained via the coefficient of determination (R²) of the regression analysis. Validity was further investigated by comparing the correlation coefficient of the similarity between BLEU and LP-applied BLEU (lBLEU) scores and human evaluation scores. The findings indicated an overall improvement in validity, and an increase in the coefficient of determination. The qualitative analysis revealed that students were more likely to lose points for longer translations when compared to the three reference translations, particularly in the case of extensive, informative original texts on unfamiliar topics. Therefore, the length of the human-translated text significantly influences the validity of the automatic evaluation, and substituting BP with LP positively improved this validity. The implications of this study can potentially extend to educational scenarios and the utilization of automated assessments.

목차


1. 서론
2. 텍스트 길이와 평가 타당성
2.1. 짧은 길이 감점(Brevity Penalty)
2.2. 길이 감점(Length Penalty)
3. 실험
3.1. 자료
3.2. 실험 방법
4. 결과
4.1. 타당도 비교
4.2. 세부 분석
5. 결론 및 논의
참고문헌

키워드

번역평가 자동평가 완결성 텍스트 길이 BLEU translation quality assessment automatic evaluation completeness text length BLEU

저자

  • 최지수 [ Choi, Jisoo | 경북대학교 ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    한국외국어대학교 통번역연구소 [Interpreting and Translation Research Institute, Hankuk University of Foreign Studies]
  • 설립연도
    1997
  • 분야
    인문학>통역번역학

간행물

  • 간행물명
    통번역학연구 [Interpreting and Translation Studies]
  • 간기
    계간
  • pISSN
    1975-6321
  • eISSN
    2713-8372
  • 수록기간
    1997~2026
  • 등재여부
    KCI 등재
  • 십진분류
    KDC 717 DDC 400

이 권호 내 다른 논문 / 통번역학연구 제27권 2호

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.