현재 위치
Home
R&D 성과 검증을 위한 LLM 성능지표 체계 및 시험방법론의 설계 및 구현
Design and Implementation of a Performance Indicator System and Test Methodology for LLM R&D Outcome Verification
-
- 발행기관
- 국제차세대융합기술학회 바로가기
-
- 간행물
- 차세대융합기술학회논문지 KCI 등재 바로가기
-
- 통권
- 제10권 10호 (2026.10)바로가기
-
- 페이지
- pp.2908-2917
-
- 저자
-
- 언어
- 한국어(KOR)
-
- URL
- https://www.earticle.net/Article/A493864
※ 기관로그인 시 무료 이용이 가능합니다.
4,000원
원문정보
초록
- 영어
- This study designed and implemented an indicator system and test methodology for the objective performance verification of large language models (LLMs) in response to the implementation of the AI Basic Act and the growing demand for government R&D outcome verification. Based on the ISO/IEC 25059 quality model, six evaluation axes were derived and organized into a test pipeline by combining quality characteristics from the existing standard with LLM-specific extensions, including factuality/hallucination, harmfulness/bias, and response efficiency. An AHP weighted-sum method and a veto mechanism for the harmfulness/bias axis were applied to design an overall judgment procedure that takes safety into account. In an empirical test using rule-based proxy models, the target and reference models achieved accuracy rates of 25.0% and 90.0%, respectively, and harm scores of 55.0 and 5.0, respectively. Verification of the pipeline’s operation using these proxy models confirmed that it could distinguish clear differences in quality. This study is significant in that it presents a practical prototype evaluation framework to support the issuance of accredited test reports for LLMs by accredited domestic testing institutions.
- 한국어
- 본 연구는 AI 기본법 시행 및 정부 R&D 성과 검증 수요 증가에 대응하여 대규모언어모델(LLM)의 객관적 성능 검증을 위한 지표체계 및 시험방법론을 설계하고 구현하였다. ISO/IEC 25059 품질모델을 기반으로 기존표준의 품질특성과 LLM 특화 확장요소인 사실성·환각, 유해성·편향, 응답효율성을 결합하여 6개 평가축을 도출하고 파이프라인으로 체계화하였다. AHP 가중합산 및 유해성·편향 축의 거부권(veto) 메커니즘을 적용하여 안전성을 고려한 종합판정 절차를 설계하였다. 규칙기반 대리모델을 활용한 실증에서 정확성은 시험대상 25.0%, 참조모델 90.0%, 유해성 점수는 각각 55.0점, 5.0점으로 나타났으며, 규칙기반 대리모델을 통한 파이프라인 동작 검증에서 명확한 품질 차이를 구분할 수 있음을 확인하였다. 본 연구는 국내 공인 시험기관이 LLM에 대한 공인 시험성 적서를 발급할 수 있는 실무적 평가체계 원형을 제시했다는 점에서 의의가 있다.
목차
요약
Abstract
Ⅰ. 서론
1.1 연구배경
1.2 연구목적 및 기여
Ⅱ. 국내외 LLM시험･평가 체계 현황
2.1 ISO/IEC 25059 AI품질모델
2.2 국내 AI시험 인증 체계
2.3 국내외 LLM 벤치마크 현황
Ⅲ. 시험성적 평가지표 체계 설계
3.1 평가축 설계
3.2 지표별 시험방법론
3.3 판정기준 설정
Ⅳ. 구현
4.1 개발환경 및 파이프라인 구성
4.2 핵심처리 로직
4.3 시험 실행 결과
Ⅴ. 결론
5.1 연구요약 및 실무적 기여
5.2 한계 및 향후 연구
REFERENCES
키워드
LLM R&D 성과 검증 시험성적 성능지표 체계 시험방법론 LLM R&D Outcome Verification Test Report Performance Indicator System Test Methodology저자
간행물 정보
발행기관
-
- 발행기관명
- 국제차세대융합기술학회 [International Next-generation Convergence technology Association]
- 설립연도
- 2017
- 분야
- 복합학>기술정책
- 소개
- Ever since next generation convergence technology became one of the most important industries in the nation, computing professionals have encountered a growing number of challenges. Along with scholars and colleagues in related fields, they have gathered in avariety of forums and meetings over the last few decades to share their knowledge, experiences and the outcome of their research. These exchanges have led to the founding of the International Next-generation Convergence technology (INCA) on December 1, 2015. INCA was registered as an incorporated association under the Ministry of Information and Communications. The main purpose of the organization is to improve our society by achieving the highest capability possible in next generation convergence technology.
간행물
-
- 간행물명
- 차세대융합기술학회논문지 [The Journal of Next-generation Convergence Technology Association]
- 간기
- 월간
- pISSN
- 2508-8270
- 수록기간
- 2017~2026
- 등재여부
- KCI 등재
- 십진분류
- KDC 506 DDC 606
이 권호 내 다른 논문 / 차세대융합기술학회논문지 제10권 10호
피인용수 : 0건 (자료제공 : 네이버학술정보)
함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.
출처 : 네이버학술정보
0개의 논문이 장바구니에 담겼습니다.