Earticle

현재 위치 Home

Internet & AI Security

The Impact of Jejueo Normalization and Dual Retrieval Paths on RAG Question Answering

첫 페이지 보기
  • 발행기관
    국제인공지능학회(구 한국인터넷방송통신학회) 바로가기
  • 간행물
    International Journal of Internet, Broadcasting and Communication 바로가기
  • 통권
    Vol.17 No.4 (2025.11)바로가기
  • 페이지
    pp.109-116
  • 저자
    Gwangmi Cho, Jongbeom Ku, Hobyung Chae
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A486468

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
This paper measures the end-to-end impact of inserting a Jejueo→Standard-Korean normalization layer before a retrieval-augmented generation (RAG) QA system and of merging results from two retrieval paths. Under an identical stack, we compare: (i) the original-Jejueo retrieval path, retrieve with the unnormalized query (RAW), (ii) the normalized-to-Standard-Korean retrieval path, retrieve with the query rewritten by our Jejueo→Standard-Korean normalizer (NORM), and (iii) the merged path, deduplicate and re-rank the union of RAW and NORM candidates (DUAL). Using the Jejueo Interview Transcripts, lightweight preprocessing, and a compact LoRA-based normalizer, we evaluate retrieval/ranking (Hit@5, MRR@5), evidence attribution (Attrib-F1), answer quality (Token-F1/ROUGE-L), diversity (ILD@5), and hallucination. Normalization alone improves top-rank concentration and citation precision over RAW (Token-F1 +6–7; Attrib-F1 +0.09; Hit@5 ≈ +0.11), and DUAL adds further gains (≈ +4 Token-F1; +0.06 Attrib-F1), increases diversity, and lowers hallucination (≈ −1.7%p). Error analyses trace benefits to aligning Jejueo sentence-final endings, discourse markers, and idioms that otherwise destabilize retrieval; DUAL also hedges over/under-substitution from imperfect normalization. Our intent is practical: use DUAL by default for robustness, and prefer NORM alone when normalization confidence is high and latency/compute budgets are tight.

목차

Abstract
1. Introduction
2. Related Work
2.1 Jejueo Normalization and Translation
2.2 Retrieval-Augmented Generation (RAG)
2.3 Dialectal Question Answering (QA)
3. Method
3.1 Data
3.2 Normalization
3.3 Dual-Path RAG
3.4 Training Procedure
4. Results
5. Discussion
6. Conclusion
References

키워드

Jejueo Normalization Retrieval-Augmented Generation (RAG) Dual Retrieval Path Dialectal Question Answering Large Language Model (LLM) Low-Resource NLP Korean Dialect Processing

저자

  • Gwangmi Cho [ Doctoral Course, Department of Immersive Convergence Content, Kwangwoon University, Korea ]
  • Jongbeom Ku [ Doctoral Course, Department of Immersive Convergence Content, Kwangwoon University, Korea ]
  • Hobyung Chae [ Professor, Industry-Academic Cooperation Foundation, Kwangwoon University, Korea ] Corresponding Author

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    국제인공지능학회(구 한국인터넷방송통신학회) [The International Association for Artificial Intelligence]
  • 설립연도
    2000
  • 분야
    공학>전자/정보통신공학
  • 소개
    인터넷방송, 인터넷 TV , 방송 통신 네트워크 및 관련 분야에 대한 국내는 물론 국제적인 학술, 기술의 진흥발전에 공헌하고 지식 정보화 사회에 기여하고자 한다.

간행물

  • 간행물명
    International Journal of Internet, Broadcasting and Communication
  • 간기
    계간
  • pISSN
    2288-4920
  • eISSN
    2288-4939
  • 수록기간
    2009~2025
  • 십진분류
    KDC 326 DDC 380

이 권호 내 다른 논문 / International Journal of Internet, Broadcasting and Communication Vol.17 No.4

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.