Earticle

현재 위치 Home

Other IT related Technology

A Study on the Design and Implementation of a Multimodal AI Tutor System Based on Unreal Engine

첫 페이지 보기
  • 발행기관
    국제인공지능학회(구 한국인터넷방송통신학회) 바로가기
  • 간행물
    International Journal of Internet, Broadcasting and Communication 바로가기
  • 통권
    Vol.17 No.3 (2025.08)바로가기
  • 페이지
    pp.307-320
  • 저자
    Wang Kaixing, Kim Ki-hong, Lyu Yin
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A472255

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
With the rapid advancement of generative artificial intelligence and virtual human technologies, AI-driven educational systems had demonstrated significant potential in enabling personalized instruction and intelligent interaction. However, existing systems commonly suffer from limited emotional expressiveness, inadequate knowledge response mechanisms, and weak multimodal integration. This study proposed a multimodal AI tutor system based on Unreal Engine, integrating key technologies such as the GPT-4 language model, VITS-based speech synthesis, and NVIDIA Audio2Face for facial animation. To enhance content accuracy and adaptive responsiveness, a dual knowledge graph framework was introduced, comprising a structured teaching knowledge graph and a student cognitive intent graph. The system employs MetaHuman for high-fidelity avatar modeling and leverages Live Link to establish synchronized speech-expression feedback. Experimental results validate the feasibility of the proposed AI tutor system in virtual education environments, providing a practical foundation for the development of future intelligent educational platforms.

목차

Abstract
1. Introduction
2. Related Works
3. Research Objectives and Methodology
3.1 Research Objectives
3.2 System Architecture Overview
3.3 Methodology
4. System Design Process
4.1 AI Tutor Character Modeling — Construction Based on MetaHuman
4.2 AI Tutor Voice Activation Mechanism and GPT Integration
4.3 Implementation of Knowledge Base Enhancement and Semantic Interaction for the AI Tutor Based on the Qianfan Platform
4.4 Speech Synthesis for the AI Tutor
4.5 Integration of Audio-to-Face and Lip-Sync Implementation
4.6 Module Integration Logic and Data Flow Description
4.7 Comparative Analysis with Existing Intelligent Tutoring Systems
5. Discussion
6. Conclusion
References

키워드

AI Tutor Unreal Engine Multimodal Interaction Generative AI Knowledge Graph Affective Computing

저자

  • Wang Kaixing [ Master, Department of Visual Contents, Dongseo University, Korea ] Corresponding Author
  • Kim Ki-hong [ Professor, Department of Visual Contents, Dongseo University, Korea ]
  • Lyu Yin [ Doctor, Department of Visual Contents, Dongseo University, Korea ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    국제인공지능학회(구 한국인터넷방송통신학회) [The International Association for Artificial Intelligence]
  • 설립연도
    2000
  • 분야
    공학>전자/정보통신공학
  • 소개
    인터넷방송, 인터넷 TV , 방송 통신 네트워크 및 관련 분야에 대한 국내는 물론 국제적인 학술, 기술의 진흥발전에 공헌하고 지식 정보화 사회에 기여하고자 한다.

간행물

  • 간행물명
    International Journal of Internet, Broadcasting and Communication
  • 간기
    계간
  • pISSN
    2288-4920
  • eISSN
    2288-4939
  • 수록기간
    2009~2025
  • 십진분류
    KDC 326 DDC 380

이 권호 내 다른 논문 / International Journal of Internet, Broadcasting and Communication Vol.17 No.3

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.