Earticle

초록

영어

This study applied ISO/IEC 25010:2011 and the Analytic Hierarchy Process (AHP) to compare quality-in-use importance structures across two generative AI cases with different system contexts and user groups. Pairwise-comparison data from 14 LLM experts and survey data from 45 participants evaluating a real-time complaint voice mediation system were analyzed using the same criteria. The voice mediation system showed higher weights for effectiveness and efficiency and lower weights for freedom from risk and context coverage, with significant respondent-level differences in effectiveness, efficiency, and freedom from risk. Satisfaction did not differ significantly at the main-characteristic level, while usefulness and trust were higher for the LLM and pleasure and comfort for the voice mediation system. For context coverage, flexibility was prioritized for the LLM and context completeness for the voice mediation system. These findings suggest that importance structures may differ across system contexts and user groups even under the same quality framework and should be interpreted as exploratory results reflecting multiple evaluation- context factors.

한국어

본 논문은 시스템 맥락과 사용자 집단이 상이한 두 생성형 AI 평가 사례의 사용 품질 중요도 구조를 비교하기 위해 ISO/IEC 25010:2011의 사용 품질 모델과 계층분석법(AHP)을 적용하였다. 범용 LLM 전문가 14명의 쌍대비교 응답자료와 실시간 민원 음성 중재 시스템 평가자 45명의 조사자료를 동일한 분석기준으로 비교하였다. 분석 결과, 음성 중재 시스템에서는 유효성과 효율성의 가중치가 높고 위험회피성과 상황대응성은 낮았으며, 응답자별 비교에서도 유효성, 효율성, 위험회피성의 차이가 유의하였다. 만족도는 주특성 수준에서 유의한 차이가 없었으나, 부특성에서는 범용 LLM의 유용성과 신뢰감, 음성 중재 시스템의 즐거움과 편안함이 상대적으로 높았다. 상황대응성에서는 범용 LLM은 상황 유연성, 음성 중재 시스템은 상황 완전성이 우선되었다. 이러한 결과는 동일한 품질체계에서도 시스템 맥락과 사용자 집단에 따라 중요도 구조가 다르게 나타날 수 있음을 보여주며, 관찰된 차이는 여러 평가 맥락의 영향이 함께 반영된 탐색적 결과로 해석할 필요가 있다.

목차

요약
Abstract
1. 서론
2. 이론적 배경 및 관련 연구
2.1. AI 소프트웨어의 사용 품질 평가
2.2. AHP 기반 품질 중요도 분석 및 관련 연구
3. 연구 방법
3.1. 연구 설계 및 조사 대상
3.2. AHP 계층 구조 및 분석 방법
4. 분석 결과 및 논의
4.1. 주특성 중요도 비교
4.2. 부특성 및 종합 가중치 비교
4.3. 비교 결과의 해석 및 시사점
5. 결론
REFERENCES

키워드

저자

• 유성무 [ Seong-Mu Ryu | 한국기술교육대학교 전기전자통신공학과 석사과정 ]
• 설순욱 [ Soonuk Seol | 한국기술교육대학교 전기전자통신공학부 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  정보화연구 [정보화연구(구 정보기술아키텍처연구)]

• 간기

  계간

• pISSN

  1738-382X

• 수록기간

  2004~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 325 DDC 658