This paper presents the design and implementation of a system that generates emotional responses in virtual agents using speech-based emotion recognition technology. By analyzing users’ speech tone and content, the system estimates emotional states in real-time and provides tailored linguistic and non-linguistic responses, strengthening the sense of emotional connection. The proposed system demonstrated its potential to significantly enhance user experiences in mixed reality (MR) environments and showcased practical applications in various scenarios, such as mental health support, education and training, and social interaction enhancement. However, limitations include the lack of user experiments and diverse dataset evaluations, as well as the restriction of agent responses to predefined behaviors. Despite these challenges, this study introduces new possibilities for enhancing emotional interactions with virtual agents and establishes a foundation for future advancements in interactive systems.
한국어
본 논문은 음성 기반 감정 인식 기술을 활용하여 가상 에이전트의 감정적 반응 시 스템을 설계하고 구현하였다. 구현된 시스템은 사용자의 음성 톤과 발화 내용을 종합 적으로 분석하여 감정 상태를 추정하고, 이를 바탕으로 가상 에이전트가 언어적 및 비 언어적 반응을 제공한다. 이는 혼합현실(MR) 환경에서 사용자 경험을 혁신적으로 향 상시키며, 정신건강 지원, 교육 및 훈련, 사회적 상호작용 강화와 같은 다양한 응용 시나리오에서 실질적으로 활용될 수 있는 가능성이 있다. 다만, 본 연구는 사용자 실 험 및 다양한 데이터셋 평가가 부족하며, 에이전트의 반응이 제한적인 사전 정의된 행 동에 국한된다는 한계가 있다. 이러한 한계에도 불구하고, 본 연구는 가상 에이전트와 의 정서적 상호작용을 강화하는 새로운 가능성을 제시하였으며, 향후 연구를 통해 더 욱 발전된 상호작용 시스템으로 확장될 수 있는 기초를 마련하였다.
목차
Ⅰ. 서론 Ⅱ. 선행연구 Ⅲ. 가상 에이전트의 감정적 반응 생성 시스템 Ⅳ. 논의점 및 한계점 V. 결론 참고문헌 국문초록 Abstract
키워드
가상 에이전트혼합현실감정 인식virtual agentsmixed realityemotion recognition
저자
남현길 [ Hyeongil Nam | Postdoctoral Researcher, Department of Electrical and Software Engineering Schulich School of Engineering in University of Calgary ]
주저자
이기섭 [ Kisub Lee | 휴비츠 개발자 ]
김강수 [ Kangsoo Kim | Assistant Professor, Department of Electrical and Software Engineering Schulich School of Engineering in University of Calgary ]
공동교신저자
한양대학교 예술과 과학기술연구소(구 한양대학교 우리춤연구소) [Research Institute of Art and Technology]
설립연도
2005
분야
예술체육>무용
소개
2005년 3월에 발족한 '우리춤연구소'는 우리 춤의 발전을 위해 학제 간의 통합 연구뿐만 아니라, 각종 연수와 발표 활동까지 수행하는 한국 최초의 대학교 부설 우리 춤 연구기관이다.
설립 목적은 우리 춤을 체계적으로 연구하고 발전시켜 한국인의 정체성을 탐구하고, 이를 국제적 문화교류를 통해 세계만방에 널리 전파하는 것이다. 이 목적을 달성하기 위해 본 연구소에서는 학문적 연구 연구활동은 물론이고 그 연구 성과를 학교 현장에 적용하는 교육활동, 연구와 교육울 통해 알게 된 내용을 표현하거나 감상하는 공연 활동 등을 추진하고 있다. 이런한 활동은 문화산업에 다양한 소재를 제공하고, 후손에게 물려줄 무형적 가치를 창출하는 데도 기여하게 될 것이다.
간행물
간행물명
예술과 과학기술(구 우리춤과 과학기술) [Journal of Art and Technology ]