Earticle

초록

영어

This study examines how chunking strategies affect retrieval and answer quality in a Korean clinical guideline-based Retrieval-Augmented Generation(RAG) system. Because clinical guidelines are structured medical documents, chunking effects observed in general documents may not transfer directly. Using a 110-question benchmark built from the Adult Asthma Clinical Practice Guideline, we compared five strategies: fixed-size, recursive, section-aware, semantic, and LumberChunker-based chunking. Retrieval was evaluated with nDCG@10, MRR, and Hit@10 in both a base pipeline and a reranker-enhanced pipeline, and answer quality over five repeated runs with Faithfulness, Answer Correctness, and Answer Completeness. In the base pipeline, fixed-size chunking achieved the highest nDCG@10 (0.837) and Hit@10 (0.954), while recursive chunking achieved the highest MRR (0.753). For answer quality, recursive chunking showed the highest Faithfulness (0.727), whereas section-aware chunking achieved the highest Answer Correctness (0.614) and Answer Completeness (0.462). In the rerankerenhanced pipeline, fixed-size chunking remained strong in retrieval, while section-aware and recursive chunking remained competitive in answer quality. Overall, gaps among top strategies remained modest, suggesting that simple baselines stayed strong in this setting, while section-aware chunking also showed promise for answer generation.

한국어

본 연구는 한국어 임상진료지침 기반 검색증강생성(Retrieval-Augmented Generation, RAG) 시스템에서 청킹전략이 검색 성능과 최종 답변 품질에 미치는 영향을 분석한다. 임상진료지침은 표, 주석, 권고 문장, 절 구조를 포함한 구조적 의료 문서로, 일반 문서에서 논의된 청킹 전략의 효과를 그대로 기대하기 어렵다. 이에 성인 천식 임상진료지침으로 구축한 110문항 벤치마크에서 고정 길이 청킹(fixed-size), 재귀 분할 청킹(recursive), 구조 인식청킹(section-aware), 의미 기반 청킹(semantic), 그리고 LumberChunker 기반 청킹의 다섯 전략을 비교하였다. 실험은 기본 파이프라인과 리랭커 포함 파이프라인에서 수행하였으며, 각 조건에서는 공통 문서 입력과 RAG 설정을 고정한 채 청킹 전략만 변화시켰다. 검색 단계는 두 조건에서 nDCG@10, MRR, Hit@10으로 평가하였고, 답변 단계는 두 조건 모두에서 5회 반복 수행한 뒤 답변 충실성, 답변 정확성, 답변 완전성의 평균과 표준편차로 평가하였다. 검색 결과, 기본 파이프라인에서는 고정 길이 청킹이 nDCG@10 0.837, Hit@10 0.954로, 재귀 분할 청킹이 MRR 0.753으로 가장 높았다. 리랭커 포함 파이프라인에서도 고정 길이 청킹은 nDCG@10 0.861, Hit@10 0.963으로 강한 기준선을 유지하였다. 답변 결과에서는 기본 파이프라인에서 재귀 분할 청킹이 답변 충실성 0.727로 높았고, 구조 인식 청킹이 답변 정확성 0.614와 답변 완전성 0.462로 가장 높았다. 리랭커 포함 파이프라인에서는 구조 인식 청킹과 재귀 분할 청킹이 답변 정확성에서 각각 0.712, 0.711로 상위권을 형성했고, 재귀분할 청킹이 답변 완전성 0.572로 가장 높았다. 다만 검색 지표의 95% 부트스트랩 신뢰구간과 답변 지표의 반복실행 표준편차를 함께 고려하면 상위권 전략 간 차이는 크지 않았다. 이는 본 연구의 실험 조건에서 단순 기준선의 강건성이 확인되었고, 구조 인식 청킹이 답변 단계에서 경쟁력 있는 대안이 될 가능성도 함께 나타났음을 시사한다.

목차

요약
Abstract
1. 서론
2. 관련연구
2.1 RAG와 장문 문맥 처리 한계
2.2 청킹 전략 연구의 흐름
2.3 구조적 문서와 평가 방법론
3. 연구 방법
3.1 연구 개요
3.2 데이터셋과 문서 특성
3.3 비교 청킹 전략
3.4 검색증강생성 시스템 구성
3.5 검색 평가 지표
3.6 답변 평가 지표
4. 실험 결과
4.1 전체 성능 비교
4.2 검색 결과 분석
4.3 답변 결과 분석
4.4 검색-답변 관계 분석
5. 한계점
6. 결론
Acknowledgements
참고문헌

키워드

저자

• 이동건 [ Donggeon Lee | 호서대학교 컴퓨터공학부 ]
• 이호웅 [ Howoong Lee | 호서대학교 컴퓨터공학부 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국차세대컴퓨팅학회 논문지 [THE JOURNAL OF KOREAN INSTITUTE OF NEXT GENERATION COMPUTING]

• 간기

  격월간

• pISSN

  1975-681X

• 수록기간

  2005~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 566 DDC 004