Earticle

현재 위치 Home

Investigation of User Performance on RAG-Based Generative AI Tools : A Scenario-Based Experiment on AI-Assisted Information Retrieval

첫 페이지 보기
  • 발행기관
    한국경영정보학회 바로가기
  • 간행물
    한국경영정보학회 정기 학술대회 바로가기
  • 통권
    2025 경영정보관련 학회 춘계통합학술대회 (2025.05)바로가기
  • 페이지
    pp.115-120
  • 저자
    Aktilek Sagynbayeva, 양성병
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A472628

※ 기관로그인 시 무료 이용이 가능합니다.

4,000원

원문정보

초록

영어
Recent advances of Generative AI (GenAI) tools have transformed information retrieval by offering conversational chatbot interaction and synthesized knowledge access. However, Generative AI systems rely on static, pre-trained data that are often outdated, making them prone to generate hallucinations – fabricated and inaccurate outputs. Retrieval Augmented Generation (RAG) technology is a promising architecture that enhance AI outputs by integrating external, accurate data. While RAG’s technical performance has been widely studied, there are limited studies on user interaction with RAG and its influence on user performance in real-world tasks. This research addresses this gap and assesses the effectiveness of RAG in user outcomes. Grounded in Task-Technology Fit (TTF) theory, we employ a scenario-based experiment design using 2x2 factorial design (AI System Type x Task Complexity). Participants complete tasks of different complexities using either standard LLMs or RAG systems. User performance is assessed through information quality metrics: accuracy, completeness and relevance. Findings are expected to contribute to evaluation of practical utility of RAG tools.

목차

Abstract
1. Introduction
2. Theoretical Background
3. Research Model and Hypotheses
4. Research Method
5. Preliminary Findings
6. Discussion
7. Acknowledgments
8. References

키워드

Generative AI Retrieval-Augmented Generation (RAG) Information Retrieval Task Complexity AI Performance User Performance Information Quality.

저자

  • Aktilek Sagynbayeva [ 경희대학교 일반대학원 빅데이터응용학과 석사과정 ]
  • 양성병 [ 경희대학교 경영대학 경영학과&빅데이터응용학과 교수 ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    한국경영정보학회 [The Korea Society of Management information Systems]
  • 설립연도
    1989
  • 분야
    사회과학>경영학
  • 소개
    이 학회는 경영정보학의 연구 및 교류를 촉진하고 학문의 발전과 응용에 공헌함을 목적으로 합니다.

간행물

  • 간행물명
    한국경영정보학회 정기 학술대회 [KMIS Conference]
  • 간기
    반년간
  • 수록기간
    1990~2025
  • 십진분류
    KDC 325 DDC 658

이 권호 내 다른 논문 / 한국경영정보학회 정기 학술대회 2025 경영정보관련 학회 춘계통합학술대회

    피인용수 : 0(자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      페이지 저장