Earticle

초록

영어

Evaluating public-sector RAG (Retrieval-Augmented Generation) service quality requires a metric system that spans technical performance, service quality, and public value. However, when metrics are selected by relying on a single source, the bias of that source carries through: academic literature tilts toward technical performance, practitioner sources toward vendor specificity, and legal frameworks toward jurisdictional idiosyncrasy. This study proposes an Integrated Evidence-Based Literature Review that transposes Denzin's (1978) data-source triangulation to the metric-derivation stage. Combining six steps—PCC (Population-Concept-Context) framing, multi-DB search, PRISMA-ScR filtering, Systematic Mapping Study, Concept Matrix synthesis, and Goal-Question-Metric formalization—it activates three sources—practice, academia, and law—independently and identifies convergent candidate metrics. From 2,252 records, the review included 44 papers and condensed 396 raw metrics into a 30-metric candidate pool (Layer A 10, B 9, C 11) through a six-filter normalization screen. The study selects candidates by source-convergence structure rather than citation frequency, so candidate metrics grounded in legal-institutional sources retain their candidacy even when academic citation is low. The three-way intersection returning zero hits on Semantic Scholar quantifies the absence of integrated public-sector RAG evaluation research, and the pool provides a methodologically defensible starting point for public-agency audit, procurement, and inspection.

한국어

공공 부문 RAG(Retrieval-Augmented Generation) 서비스의 품질을 평가하려면 기술 성능, 서비스 품질, 공공가치를 아우르는 지표 체계가 필요하다. 그러나 지표를 학술·실무·법제 가운데 단일 원천에만 의존해 선정하면 해당 원천의 편향이 그대로 반영된다. 학술 문헌에만 기대면 기술 성능에 치우치고, 실무 자료에만 기대면 벤더 특정성에, 법제 문서에만 기대면 관할권 해석에 종속되기 때문이다. 본 연구는 이러한 편향을 통제하기 위해 Denzin(1978)의 자료 출처 삼각검증(data triangulation)을 지표 도출 단계에 적용한 '통합적 근거 기반 문헌고찰'을 제안하였다. PCC(Population-Concept-Context) 프레임워크, 다중 DB 검색, PRISMA-ScR 필터링, 체계적 매핑 연구(SMS), 개념 행렬, 목표-질문-지표(GQM)의 6단계를 결합하여 실무(원천1)·학술(원천2)·법제(원천3) 세원천을 독립적으로 가동하고 수렴 지표를 식별하였다. 4개 학술 DB에서 식별한 2,252편에 PRISMA-ScR 필터링을 적용해 44편을 선정하였고, 이들에서 추출한 396개 원지표를 1차 정규화로 64개로 합성한 뒤 공공 RAG 적합성 기준 여섯 필터의 2차 정규화를 거쳐 30개 후보 지표 풀(Layer A 10개, B 9개, C 11개)로 축약하였다. 후보는 인용 빈도가 아니라 원천 수렴 구조에 따라 선발하였으므로, 법제 근거를 가진 지표는 학술 인용이 낮아도 후보 자격을 유지하였다. 3원천 키워드의 완전 교집합 검색 결과가 0편이라는 사실은 공공 RAG 통합 평가 체계 연구의 학술 공백을 정량적으로 드러낸다. 본 연구의 후보 풀은 공공기관 감리·검수·조달의 방법론적 출발점을 제공하며, 공공가치 측정 도구 개발이 후속 과제로 남는다.

목차

요약
Abstract
Ⅰ. 서론
1.1 연구 배경
1.2 연구 목적과 기여
Ⅱ. 선행연구
2.1 RAG 품질 평가 프레임워크 동향
2.2 지표 선정 방법론으로서의 SLR·SMS
2.3 단일 원천 접근의 한계
Ⅲ. 3원천 수렴 설계의 이론적 기반
3.1 방법론적 삼각검증
3.2 3원천의 인식론적 독립성
Ⅳ. 6단계 실행 절차
4.1 PCC 프레임워크: 범위 설정
4.2 다중 DB 검색과 3 Stream 설계
4.3 PRISMA-ScR 4단계 필터링
4.4 SMS 체계적 매핑
4.5 Concept Matrix 기반 지표 합성
4.6 GQM 구조화
Ⅴ. 적용 결과
5.1 Layer×Facet 분포 분석
5.2 Stream 3 교집합의 정량적 공백
5.3 지표 정규화 수치 및 규칙별 분포
5.4 외적 타당성: 두 연구의 교차검증
Ⅵ. 논의
6.1 방법론적 기여
6.2 실무적 기여
6.3 한계와 후속 연구
Ⅶ. 결론
REFERENCES
Appendix

키워드

저자

• 문병선 [ Byoung-Sun Moon | 연세대학교 기술정책협동과정 박사과정 ]
• 임춘성 [ Choon-Seong Leem | 연세대학교 산업공학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  차세대융합기술학회논문지 [The Journal of Next-generation Convergence Technology Association]

• 간기

  월간

• pISSN

  2508-8270

• 수록기간

  2017~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 506 DDC 606