Earticle

AI 기술의 발전은 방송, 영상, 게임 등 다양한 콘텐츠 산업에서 활용 범위를 확대하고 있으며, 그중에서도 2D 이미지를 3D로 표현하는 NeRF(Neural Radiance Fields) 기반 기술이 주목받고 있다. NeRF는 적은 수의 2D 이미지로부터 고해상도의 3D 모델을 빠르게 3D 공간에 표현할 수 있는 기술로, 기존의 3D 모델링 제작 과정에서 요구되던 복잡한 단계를 크게 줄여준다. 특히, 인간 얼굴과 같은 복잡한 구조를 정밀하게 표현할 수 있는 이점 덕분에 제작 시간을 단축하고 비용을 절감할 수 있어 콘텐츠 제작의 효율성을 크게 향상시킨다. 본 연구는 디지털 휴먼 제작에 NeRF 기반 기술을 적용하여 3D 모델링 파이프라 인에서의 호환성과 사용성을 평가하였다. 이를 위해 NeRF 기반 3DGS(3D Gaussian Splatting) 기술을 사용하여 3D 데이터 를 생성하고, 이 데이터를 기존의 그래픽스 파이프라인에 적용하여 호환성을 분석하였다. 연구 결과, 3DGS 기술은 기존의 3D 모델링 과정에 비해 제작 시간을 크게 단축시켰으며, 재구성된 모델의 정확성도 매우 높았다. 그러나 머리카락, 눈썹, 피 부 질감 등의 세부적인 표현에서 다소 한계가 있었다. 본 연구는 또한 전문가 검증을 통해 NeRF 기반 기술이 디지털 휴먼 제작 파이프라인의 효율성을 높일 수 있음을 확인하였으며, 향후 기술적 개선을 통해 다양한 콘텐츠 제작에 더욱 폭넓게 활용 될 수 있을 것으로 기대된다.

The applicability of AI technology is expanding in various content industries, such as broadcasting, film, and gaming, with particular attention being paid to NeRF (neural radiance fields)-based technology, which reconstructs 2D images into 3D models. NeRF can quickly render high-resolution 3D models from a small number of 2D images, significantly reducing the complexity traditionally required in 3D modeling processes. This technology is especially effective when it is necessary to represent complex structures such as human faces accurately, thus reducing both the production time and cost and greatly enhancing the efficiency of content creation. This study evaluates the compatibility and usability of NeRF-based technology in the 3D modeling pipeline for digital human production. Using NeRF-based 3D Gaussian splatting (3DGS) technology, 3D data were generated and applied to an existing graphics pipeline for a suitability assessment. The results demonstrate that 3DGS technology significantly reduces the production time compared to traditional 3D modeling processes while achieving high accuracy in the reconstructed models. However, there were limitations in the detailed representation of hair, eyebrows, and skin textures. Expert validation confirmed that NeRF technology can enhance the efficiency of digital human production pipelines, and with further technological improvements, this technology is expected to be widely applied in various content creation fields.

최근 래디언스 필드(Radiance Fields)에 기반한 새로운 디지털 콘텐츠 제작, 새로운 렌더링 프로세스 및 학습 시스템 구현이 빠르게 확산되고 있다. 특히 3D 가우시안 스플래팅(3D Gaussian Splatting)은 컴퓨터 그래픽스와 콘텐츠 제작에서 주목받고 있는 기술로, 다양한 시점에서 촬영된 이미지를 신경망에 학습시켜 빠르게 3D 모델을 재구성할 수 있는 기술이다. 이 기술을 활용한 디지털 콘텐츠 제작을 중심으로 많은 연구가 이루어지고 있다. 본 연구에서는 3D 가우시안 스플래팅을 활용한 플랫폼 인 Luma AI, Polycam, Volinga와 같은 대표적인 플랫폼에서 3D 모델이 제작되는 과정을 알아보았다. 이후 플랫폼 별 제작 할 3D 모델을 크기 기준으로 구분하여 결과물을 제작, 분석하였다. 제작한 3D 모델을 언리얼 엔진에서 시각화하여 평균 경 력 14년 차 5명의 현업 제작자들에게 인터뷰를 진행하여 효율성과 모델의 품질, 적용 가능성에 대하여 검증하였다. 그 결과, 3D 가우시안 스플래팅은 기존의 3D 모델 제작 방식에 비해 제작 시간, 비용 측면에서 크게 효율적이며 배경 요소를 제작하 는 데에 유용하여 적용 가능성이 높다는 결론을 도출하였다. 본 연구는 3D 가우시안 스플래팅 기술이 게임, 영화, 드라마 등 다양한 디지털 콘텐츠 제작 분야에서 기존 3D 모델 제작의 보완재가 될 수 있음을 보여주며, 해당 기술의 상용화 가능성을 확인하였다.

Recently, the creation of new digital content and the implementation of new rendering processes and learning systems based on radiance fields are rapidly spreading. Among these, 3D Gaussian splatting has emerged as an attractive attention technique in computer graphics and content production. This method enables the rapid reconstruction of 3D models by training neural networks on images captured from various viewpoints. The application of this technology in digital content production has been the focus of numerous studies. In this study, the process of producing 3D models on representative platforms such as Luma AI, Polycam, and Volinga, which utilize 3D Gaussian splatting, was investigated. The 3D models were subsequently categorized based on size for each platform and the resulting models were produced and analyzed. The models were visualized using the Unreal engine, evaluated for efficiency, and the model quality and applicability were verified by five producers with an average of 14 years of experience. As a result, it was concluded that 3D Gaussian splatting is significantly more efficient in terms of the production time and cost than existing 3D model production methods and that it is useful for producing background elements, implying its high applicability. This research shows that 3D Gaussian splatting can complement the tools used in traditional 3D model production fields where games, movies, and dramas are created, confirming the potential for its commercialization.

이 논문은 화이트데이 IP를 활용한 비주얼 노벨 장르 게임의 기획과 개발 진행 기록을 기초로 한 연구이다. 최근 서브 컬쳐 아트 스타일과 내러티브 중심 게임의 수요가 증가하고 있다. 이러한 수요의 중심엔 비주얼 노벨 게임이 있다. 이 장르의 게임 은 플레이어에게 내러티브 전개의 통제권을 부여하고, 그 분기를 결정하는 재미를 핵심 경험으로 제공한다. 연구팀은 이 경험 제공을 목적으로 화이트데이 IP를 활용하여 비주얼 노벨을 제작했다. 본 프로젝트를 진행하면서 비주얼 노벨의 스토리텔링 구조와 기존 게임 사례를 분석하여, 각 구조가 가진 장단점을 분석하고, 게임의 선택지 구조를 화이트데이 비주얼 노벨을 위 해 변형 및 적용하여 스토리 분기 구조를 설계하였다. 게임의 캐릭터 및 공간은 IP 설정을 중심으로 시대의 흐름에 따라 일부 변형하였다. 스토리 중심의 빠른 개발이 가능하도록 게임 디자이너가 프로그래머의 도움 없이 스토리 분기를 확인할 수 있도 록 하여, 비주얼 노벨의 선택지가 주는 근본적 재미인 내러티브와 스토리텔링 구조를 잦은 반복 디자인 과정을 통해 고찰하였 다. 본 연구를 통해 게임 디자인적으로 스토리 선택 구조가 비주얼 노벨의 플레이 경험에 미칠 효과를 연구하였고, 향후 게임 디자인 과정에서 스토리 분기 설계에 관한 하나의 참고 사례가 되고자 한다.

This paper presents a study based on the planning and development records of a visual novel game utilizing the White Day. Recently, there has been growing demand for anime-style art and narrative-driven games, with visual novels at the center of this trend. These games provide players with control over the progression of the narrative, offering the enjoyment of determining its branches as a core experience. To deliver this experience, the research team developed a visual novel using the White Day IP. Throughout the project, the storytelling structures of visual novels and pre-existing game examples were analyzed to identify the strengths and weaknesses of each structure. The choice system of the game was then modified and applied specifically to the White Day visual novel, designing a unique branching narrative structure. The characters and settings were adapted to fit the context of the IP, with some adjustments made to reflect the flow of time. To enable rapid, story-focused development, a system was created that allows game designers to review narrative branches without programmer assistance. This iterative design process focuses on examining the fundamental enjoyment derived from narrative and storytelling structures. Through this study, the impact of branching story structures on the visual novel experience was explored, providing a reference case for future game design processes related to narrative branching.

AI(Artificial Intelligence)는 이제 공상과학소설에서만 존재할 것 같은 개념에서 벗어나 우리의 일상생활 깊숙이 자리 잡고 있 다. 특히, OpenAI의 ChatGPT와 같은 자연어 생성 모델의 등장으로 AI에 대한 관심이 급증하였는데, ChatGPT는 인간과 유 사한 수준의 텍스트 생성과 대화가 가능하다. 이에 따라 AI가 단순한 기술적 존재가 아닌, 인간의 동반자로서 가상 인간의 형태로 존재할 수 있는 가능성에 대한 관심이 높아지고 있다. 본 연구는 이러한 배경에서 출발하여 인간과 음성으로 상호작용 하는 AI 가상 캐릭터를 개발하고자 한다. 이를 위해, OpenAI의 Whisper 모델을 기반으로 한 언리얼 엔진의 Runtime Speech Recognizer 플러그인을 사용하여 사용자의 음성을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 VaRest 플러그인을 통해 ChatGPT API에 전달하여 자연어 응답을 생성한다. 생성된 응답은 TTS(Text-to-Speech) 기술을 통해 음성으로 변환되며, MetaHumanSDK를 사용하여 메타휴먼의 얼굴 애니메이션으로 표현된다. 이렇게 개발된 시스템은 가상 캐릭터와의 대화가 실제 사람과의 대화처럼 느껴지도록 하여 몰입감 있는 사용자 경험을 제공한다. 본 연구는 이러한 기술적 접근을 통해 AI가 인간의 동반자로서 가상 인간의 형태로 공존할 수 있는 가능성을 탐구하며, AI와의 협업과 상호작용이 이루어질 미래를 대비 한 기초 연구로서의 의미를 갖는다.

Artificial Intelligence(AI) has moved beyond existing as a concept mainly in science fiction and has now firmly integrated into our daily lives. Interest in AI has surged with the advent of natural language generation models such as OpenAI's ChatGPT, which can generate text and engage in conversations at a level similar to that of a human. Consequently, there is growing interest in the potential for AI to exist not merely as a technical entity but as a virtual human companion. This study originates from this background and aims to develop an AI virtual character that can interact with humans through voice. To achieve this, we use the Unreal Engine's Runtime Speech Recognizer plugin, based on OpenAI's Whisper model, to convert user speech into text in real time. The converted text is then sent to the ChatGPT API via the VaRest plugin to generate natural language responses. The generated responses are converted to speech using Text-to-Speech (TTS) technology and are expressed through facial animations of MetaHumans using MetaHumanSDK. The developed system allows conversations with virtual characters to appear as actual conversations with people, thus providing an immersive user experience. This research explores the possibility of AI coexisting as virtual humans and companions to humans through such a technical approach, serving as foundational research in preparation for a future where collaboration and interaction with AI become commonplace.

컴퓨터 그래픽 기술과 인공지능의 실시간 커뮤니케이션 능력의 발전에 따라, 가상 인간 캐릭터인 디지털 휴먼의 관심도와 활 용도가 높아지고 있다. 최근에는 디지털 휴먼을 통한 가상 앵커와 안내원 등의 개발도 진행되고 있다. 본 연구에서는 급속도 로 발전하는 디지털 휴먼 기술을 활용하여 동서대학교의 정보 제공 및 홍보를 위한 AI 기반 디지털 휴먼 '파이선'을 개발하는 것을 중점적으로 진행하였다. 자연스러운 대화와 효과적인 상호작용이 가능한 디지털 휴먼 시스템을 구현하고, 실제 체험자 의 시뮬레이션을 통해 그 실제 적용 가능성을 검증하는 것을 연구 목표로 두었으며, 추가로 소규모 기관과 기업이 디지털 휴 먼 기술을 도입하는 데 직면하는 어려움을 해결하기 위해, 비용 효율적이고 접근성 높은 개발 방법론 제시에 초점을 맞추었 다. 본 연구는 언리얼 엔진의 메타휴먼 크리에이터 기술을 활용한 모델링, Convai API를 이용한 음성 처리, 그리고 언리얼 엔진을 통한 실시간 렌더링 및 애니메이션 등의 영상 분야 첨단 기술을 적용하였다. 연구 결과, 사용자와의 자연스러운 대화 및 상호작용이 가능한 디지털 휴먼 '파이선'을 성공적으로 구현하였으며, 음성 인식과 응답 적절성 모두에서 높은 성능을 달성 하였다. 또한 캠퍼스 투어 안내, 학생과의 질의응답, 개인별 맞춤형 학습 지원 등 교육 환경에서의 디지털 휴먼 활용 가능성을 탐구하였다. 본 연구는 디지털 휴먼의 제작 과정 및 API 적용 방안을 제시하고, 실제 체험을 통해 증명함으로써 디지털 휴먼 기술의 교육 분야 적용 가능성과 디지털 휴먼 기술의 대중화를 기대한다. 이는 앞으로의 교육 현장에서 혁신적인 학습 경험 제공과 효율적인 정보 전달이 가능해질 것이며, 나아가 다양한 산업 분야에서 디지털 휴먼 기술의 활용이 확대될 것으로 전망 된다.

With the advancement of computer graphics technology and the real-time communication capabilities of artificial intelligence, there is growing interest in and greater utilization of digital humans, i.e., virtual human characters. Recently, developments of virtual anchors and guides using digital humans have also been progressing. This study focuses on developing an AI-based digital human named 'Python' to provide information and to promote Dongseo University as an example of the use of rapidly advancing digital human technology. The research aims to implement a digital human system capable of natural conversation and effective interaction and to verify its practical applicability through simulations with actual users. Additionally, it focuses on presenting a cost-effective and accessible development methodology to address the challenges faced by small organizations and businesses in adopting digital human technology. This study applies cutting-edge technologies in the video field, including modeling using Unreal Engine's MetaHuman Creator technology, voice processing using the Convai API, and real-time rendering and animation through the Unreal engine. As a result, we successfully implemented the digital human 'Python', capable of natural conversation and interaction with users, achieving high performance in both speech recognition and response appropriateness. Furthermore, we explored potential applications of digital humans in educational environments, such as campus tour guidance, student Q&A sessions, and personalized learning support. By presenting the production process of digital humans and API application methods and demonstrating them through actual experiences, this study anticipates the applicability and eventual popularization of digital human technology in the education field. It is expected that this will enable innovative learning experiences and efficient information delivery in future educational settings and will further expand the use of digital human technology across various industries.