Earticle

초록

영어

Artificial Intelligence(AI) has moved beyond existing as a concept mainly in science fiction and has now firmly integrated into our daily lives. Interest in AI has surged with the advent of natural language generation models such as OpenAI's ChatGPT, which can generate text and engage in conversations at a level similar to that of a human. Consequently, there is growing interest in the potential for AI to exist not merely as a technical entity but as a virtual human companion. This study originates from this background and aims to develop an AI virtual character that can interact with humans through voice. To achieve this, we use the Unreal Engine's Runtime Speech Recognizer plugin, based on OpenAI's Whisper model, to convert user speech into text in real time. The converted text is then sent to the ChatGPT API via the VaRest plugin to generate natural language responses. The generated responses are converted to speech using Text-to-Speech (TTS) technology and are expressed through facial animations of MetaHumans using MetaHumanSDK. The developed system allows conversations with virtual characters to appear as actual conversations with people, thus providing an immersive user experience. This research explores the possibility of AI coexisting as virtual humans and companions to humans through such a technical approach, serving as foundational research in preparation for a future where collaboration and interaction with AI become commonplace.

한국어

AI(Artificial Intelligence)는 이제 공상과학소설에서만 존재할 것 같은 개념에서 벗어나 우리의 일상생활 깊숙이 자리 잡고 있 다. 특히, OpenAI의 ChatGPT와 같은 자연어 생성 모델의 등장으로 AI에 대한 관심이 급증하였는데, ChatGPT는 인간과 유 사한 수준의 텍스트 생성과 대화가 가능하다. 이에 따라 AI가 단순한 기술적 존재가 아닌, 인간의 동반자로서 가상 인간의 형태로 존재할 수 있는 가능성에 대한 관심이 높아지고 있다. 본 연구는 이러한 배경에서 출발하여 인간과 음성으로 상호작용 하는 AI 가상 캐릭터를 개발하고자 한다. 이를 위해, OpenAI의 Whisper 모델을 기반으로 한 언리얼 엔진의 Runtime Speech Recognizer 플러그인을 사용하여 사용자의 음성을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 VaRest 플러그인을 통해 ChatGPT API에 전달하여 자연어 응답을 생성한다. 생성된 응답은 TTS(Text-to-Speech) 기술을 통해 음성으로 변환되며, MetaHumanSDK를 사용하여 메타휴먼의 얼굴 애니메이션으로 표현된다. 이렇게 개발된 시스템은 가상 캐릭터와의 대화가 실제 사람과의 대화처럼 느껴지도록 하여 몰입감 있는 사용자 경험을 제공한다. 본 연구는 이러한 기술적 접근을 통해 AI가 인간의 동반자로서 가상 인간의 형태로 공존할 수 있는 가능성을 탐구하며, AI와의 협업과 상호작용이 이루어질 미래를 대비 한 기초 연구로서의 의미를 갖는다.

목차

Abstract
국문초록
1. 서론
2. 관련 선행 연구
2.1. ChatGPT의 활용과 지능형 NPC
2.2. 메타휴먼 기술을 활용한 사실적 가상 캐릭터
3. 본론
3.1. Runtime Speech Recognition을 활용한 음성 인식
3.2. VaRest 기반 ChatGPT API 연동
3.3. MetaHumanSDK를 활용한 메타휴먼 얼굴 애니메이션
4. 결과
5. 결론
참고문헌

키워드

저자

• 유미 [ You, Mi | 서울예술대학교 영상학부 디지털아트전공 부교수 ] 주저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  CONTENTS PLUS

• 간기

  격월간

• pISSN

  2092-8157

• 수록기간

  1999~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 600 DDC 700