Earticle

In the evolving field of emotion recognition, which intersects psychology, human?computer interaction, and social robotics, there is a growing demand for more advanced and accurate frameworks. The traditional reliance on single-modal approaches has given way to a focus on multimodal emotion recognition, which offers enhanced performance by integrating multiple data sources. This paper introduces TMNet, an innovative multimodal emotion recognition framework that leverages both speech and Electroencephalography (EEG) signals to deliver superior accuracy. This framework utilizes cutting-edge technology, employing a Transformer model to effectively fuse the CNN-BiLSTM and BiGRU architectures, creating a unified multimodal representation for enhanced emotion recognition performance. By utilizing a diverse set of datasets RAVDESS, SAVEE, TESS, and CREMA-D for speech, along with EEG signals captured via the Muse headband. The multimodal model achieves impressive accuracies of 98.89% for speech and EEG signal processing.

본 논문은 영상 데이터에서 객체 추적과 감정 인식을 동시에 수행할 수 있는 딥러닝 기반 통합 프레임워크를 제안한다. 기존 시스템에서는 객체 추적과 감정 인식이 독립적으로 운영되어, 하 나의 영상에서 두 작업을 동시에 처리할 때 연산 비효율성과 정보 불일치가 발생하는 한계가 있었 다. 이를 해결하기 위해 본 연구에서는 사전 학습된 ResNet50 기반 CNN 모델을 통해 공간적 특징 을 추출하고, Stacked LSTM 모델을 통해 시간적 의존성을 학습하여 객체 위치와 감정을 동시에 예 측하는 멀티태스크 통합 인식 구조를 설계하였다. 후처리 단계에서는 칼만 필터와 헝가리안 알고리 즘을 활용한 객체 ID 관리 및 IoU 기반 감정-객체 매칭을 수행하여 다중 객체 환경에서의 추적 안 정성을 확보하였다. CK+, AFEW 감정 데이터셋과 MOT17 객체 추적 데이터셋을 활용한 실험 결과, 제안 시스템은 객체 추적 MOTA 72.6%, 비디오 감정 인식 정확도 73.4%(AFEW 기준), 통합 처리 시 실시간 처리 속도 28.3 FPS를 달성하였으며, 기존 독립 파이프라인 대비 연산량 34.2% 절감 효과를 확인하였다. 절제 실험을 통해 각 모듈의 기여도를 검증하였으며, 본 연구는 감시 시스템, 스마트 리 테일, 인간-컴퓨터 상호작용 등 다양한 분야에 실용적으로 적용 가능하다.

This paper proposes a deep learning-based integrated framework that simultaneously performs object tracking and emotion recognition in video data. Existing systems operate these two tasks independently, resulting in computational inefficiency and information inconsistency when processing both tasks from a single video stream. To address these limitations, the proposed framework employs a pre-trained ResNet50-based CNN model for spatial feature extraction and a Stacked LSTM model for temporal dependency learning, enabling simultaneous prediction of object positions and emotions through a unified multi-task recognition architecture. In the post-processing stage, Kalman Filter and Hungarian Algorithm-based object ID management, along with IoU-based emotion-object matching, ensure tracking stability in multi-object environments. Evaluated on the CK+, AFEW emotion datasets and the MOT17 object tracking dataset demonstrate that the proposed system achieves a MOTA of 72.6% for object tracking, 73.4% accuracy for video-based emotion recognition (on AFEW), and a real-time processing speed of 28.3 FPS, with a 34.2% reduction in computational load compared to independent pipeline approaches. Ablation studies validate the contribution of each module, and the proposed framework demonstrates practical applicability in surveillance systems, smart retail, and human-computer interaction.

본 논문은 음성신호를 순환 또는 선형그래프로 모델링하여 노드 특성 추출 및 효과적인 노드 간 관계 분석을 기반으 로 하는 음성감정인식 방법을 제안한다. 제안한 방법은 그래프 데이터를 처리하는 데 있어 각각의 강점을 활용하기 위해 그래프 합성곱 신경망(GCN)과 그래프 어텐션 신경망(GAT) 계층을 결합한다. 구체적으로, GCN을 사용하여 이웃 노드로부터 정보를 집계함으로써 노드 간의 로컬 관계를 포착한다. 또한, GAT 메커니즘을 활용하여 다양한 이웃 노드에 가중치를 부여하여 노드 간의 복잡한 글로벌 관계를 더 잘 포착할 수 있도록 한다. 실험에서는 IEMOCAP 데이터셋을 사용하여 우리의 접근 방식을 검증하고, 감정 인식 작업에서 최신 모델과 견줄 만한 성능을 보여준다. 이 연구 결과는 음성 신호 처리 분야에서 추가 탐구를 위한 새로운 통찰력과 방법론을 제공한다.

This paper proposes a speech emotion recognition method based on modeling speech signals as circular or linear graphs, enabling the extraction of node characteristics and practical analysis of relationships between nodes. The proposed method combines Graph Convolutional Networks(GCN) and Graph Attention Networks(GAT) layers to leverage the strengths of each in processing graph data. Precisely, GCN captures local relationships between nodes by aggregating information from neighboring nodes. The GAT mechanism better captures complex global relationships between nodes by assigning weights to neighboring nodes. Experiments validate our approach using the IEMOCAP dataset, demonstrating performance comparable to state-of-the-art models in emotion recognition tasks. The results of this study provide new insights and methodologies for further exploration in the field of speech signal processing.

This paper presents the Emotionally Intelligent Contents (EIC) framework designed to support the rapid development of interactive emotion contents. The EIC framework consists of the Emotion Recognizer for detecting user’s emotional states, the Emotion Server for storing and sharing emotion data, the Emotion Content Authoring Tool for customizing user’s own emotional expression rules, the Emotion Rule Controller for processing user’s emotional rules, and the Emotion Content Player for displaying the content according to the user’s emotional states and his/her personalized emotion rules. This framework allows a designer to create the emotion content that interprets a user’s emotional state and adapts its visual and aural characteristics based on user-specified emotion rules. It dynamically alters user-specified images or models to express user emotions. It also enables users to share their emotion with others using customized emotion expressions applied in the content. Several prototype EICs were built with this framework. A pilot study was conducted to compare the EIC against the original content and the initial result showed that the EIC had significantly more influence on the subject’s emotion than the original content.

Automatic emotion recognition based on facial cues, such as facial action units (AUs), has received huge attention in the last decade due to its wide variety of applications. Current computer-based automated two-phase facial emotion recognition procedures first detect AUs from input images and then infer target emotions from the detected AUs. However, more robust AU detection and AU-to-emotion mapping methods are required to deal with the error accumulation problem inherent in the multiphase scheme. Motivated by our key observation that a single AU detector does not perform equally well for all AUs, we propose a novel two-phase facial emotion recognition framework, where the presence of AUs is detected by group decisions of multiple AU detectors and a target emotion is inferred from the combined AU detection decisions. Our emotion recognition framework consists of three major components - multiple AU detection, AU detection fusion, and AU-to-emotion mapping. The experimental results on two real-world face databases demonstrate an improved performance over the previous two-phase method using a single AU detector in terms of both AU detection accuracy and correct emotion recognition rate.

In this paper, we propose a framework that automatically suggests emotion using emotion analysis method based on facial expression change. We use Microsoft's Emotion API to calculate and analyze emotion values in facial expressions to recognize emotions that change over time. In this step, we use standard deviations based on peak analysis to measure and classify emotional changes. The difference between the classified emotion and the normal emotion is calculated, and the difference is used to recognize the emotion abnormality. We match user's emotions to relatively relaxed emotions using histograms and emotional meshes. As a result, we provide relaxed emotions to users through images. The proposed framework helps users to recognize emotional changes easily and to train their emotions through emotional relaxation.

기존의 음성기반 감정인식 기술은 충분한 컴퓨팅 파워를 가진 PC에서 수백개의 특징을 사용하여 감정을 인식하고 있다. 이러한 음성기반 감정인식 기술은 컴퓨팅 파워에 제약이 많은 스마트폰 환경을 고려하지 않은 방법이다. 본 논문에서는 제한된 스마트폰 컴퓨팅 파워를 고려한 음성의 특징 추출 기법과 서버 클라이언트 개념을 도입한 효율적인 음성기반 감정인식 프레임워크를 제안한다.

Since affective computing has been introduced in 90s, affect recognition technology has achieved substantial progress recently. However, the application of user emotion recognition into software user interface is in its early stages. In this paper, we describe a new approach for developing mobile user interface which could react differently depending on user emotion states. First, an emotion reaction model is presented which determines user interface reactions for each emotional state. We introduce a pair of mappings from user states to different user interface versions. The reacting versions are implemented by a set of variations for a view. Further, we present an authoring framework to help developers/designers to create emotion-aware reactions based on the proposed emotion reaction model. The authoring framework is necessary to alleviate the burden of creating and handling multi versions for views at the development process. A prototype implementation is presented as an extension of the existing authoring tool DAT4UX. Moreover, a proof-of-concept application featuring an emotion-aware interface is developed using the tool.

최근 감정인식 기술은 다양한 IoT 센서 디바이스의 등장으로 단일 소스기반의 감정인식 기술 연구에서 멀티모달 센서기반 감정인식 연구로 변화하고 있으며, 특히 오디오와 영상을 이용한 감정인식 기술의 연구가 활발하게 진행되는 있다. 기존의 오디오 및 영상기반 감정신 연구는 두 개의 센서 테이터를 동시에 입력 저장한 오픈 데이터베이스를 활용하여 다른 이벤트 처리 없이 각각의 데이터에서 특징을 추출하고 하나의 분류기를 통해 감정을 인식한다. 이러한 기법은 사람이 말하지 않는 구간, 얼굴이 보이지 않는 구간의 이벤트 정보처리에 대한 대처가 떨어지고 두 개의 정보를 종합하여 하나의 감정도 도출하는 디시전 레벨의 퓨저닝 연구가 부족하다. 본 논문에서는 이러한 문제를 해결하기 위해 오디오 및 영상에 내포되어 있는 이벤트 정보를 추출하고 오디오 및 영상 기반의 분리된 인지모듈을 통해 감정들을 인식하며, 도출된 감정들을 시간단위로 통합하여 디시전 퓨전하는 실시간 오디오 및 영상기반의 감정인식 프레임워크를 제안한다.

최근 감정인식 기술은 다양한 IoT 센서 디바이스의 등장으로 단일 소스기반의 감정인식 기술 연구에서 멀티모달 센서기반 감정인식 연구로 변화하고 있으며, 특히 오디오와 영상을 이용한 감정인식 기술의 연구가 활발하게 진행되는 있다. 기존의 오디오 및 영상기반 감정신 연구는 두 개의 센서 테이터를 동시에 입력 저장한 오픈 데이터베이스를 활용하여 다른 이벤트 처리 없이 각각의 데이터에서 특징을 추출하고 하나의 분류기를 통해 감정을 인식한다. 이러한 기법은 사람이 말하지 않는 구간, 얼굴이 보이지 않는 구간의 이벤트 정보처리에 대한 대처가 떨어지고 두 개의 정보를 종합하여 하나의 감정도 도출하는 디시전 레벨의 퓨저닝 연구가 부족하다. 본 논문에서는 이러한 문제를 해결하기 위해 오디오 및 영상에 내포되어 있는 이벤트 정보를 추출하고 오디오 및 영상 기반의 분리된 인지모듈을 통해 감정들을 인식하며, 도출된 감정들을 시간단위로 통합하여 디시전 퓨전하는 실시간 오디오 및 영상기반의 감정인식 프레임워크를 제안한다.

본 연구는 감정인식 기반 AI 기술을 활용한 영상 음악 제작 프레임워크를 제안한다. 기존 AI 영상 음악 연구는 주로 영상의 시각적 특징과 오디오를 동기화하는 방식에 집중해 왔으나, 이러한 접근은 영상 음악의 감정적 기능을 충분히 반영하는 데 한계가 있다. 예를 들어, 동일한 시각적 분위기의 장면이라도 등장인물의 내적 감정이나 서사적 맥락에 따라 음악적 표현이 달라질 수 있으나 시각 정보만으로는 이를 포착하기 어렵다. 한편, 시나리오와 같은 텍스트 데이터에는 서사 전개, 인물의 심리나 의도 등 화면에 직접 드러나지 않는 정보가 포함되어 있으며, 이는 실제 영상 음악 제작 과정의 초기 단계에서 음악의 방향성을 설정하는 핵심 자료로 활용된다. 이에 본 연구는 시나리오 텍스트에 내재된 감정 정보를 활용하여 기존 연구의 한계를 보완하기 위한 접근을 제시한다. 제안된 프레임워크는 세 단계로 구성된다. 먼저 자연어 처리(NLP)를 통해 시나리오 텍스트에서 Valence–Arousal 기반 감정 좌표를 시계열적으로 추출하고, 이를 음악 감정인식(MER) 기반 감정-음악 인코딩 시스템(EMES)을 통해 템포·조성·음색 등의 음악 파라미터로 변환한 뒤 해당 파라미터를 프롬프트로 확장하여 T2M(Text-to-Music) 모델을 통해 음원을 생성한다. 프레임워크의 효용성을 검증하기 위해 3편의 한국 드라마 시나리오를 대상으로 사례 연구를 수행하였다. 실험 결과, 텍스트 분석 모델은 CCC 0.86의 높은 일치도를 보였으며 전문가 평가(평균 3.92/5.0)를 통해 최종 생성 음원이 장면의 감정적 의도 및 변화 양상을 전반적으로 반영하고 있음이 확인되었다.

This study proposes a film and drama music production framework utilizing emotion recognition-based AI. Existing visual-centric AI music generation often fails to capture the emotional depth of music, as identical visual scenes may require different musical expressions depending on characters' inner emotions and narrative contexts. To address this, we focus on scenario texts, which contain crucial unobservable cues?such as narrative progression and psychological intent?essential for establishing early-stage musical direction. The proposed framework operates in three steps: (1) extracting time-series Valence-Arousal emotion coordinates from scripts using Natural Language Processing (NLP); (2) converting these coordinates into musical parameters (tempo, key, timbre) via an Emotion-Music Encoding System (EMES) based on Music Emotion Recognition (MER); and (3) utilizing these parameters as prompts to generate audio through a Text-to-Music (T2M) model. A case study on three Korean drama scenarios validated the framework. The text analysis model achieved high agreement (CCC = 0.86), and expert evaluations (3.92/5.0) confirmed that the generated music effectively reflected the scenes' emotional intentions and transitions.

In this paper, we determined the driver's stress and fatigue level through physiological signals of a driver in the connected car environment, accordingly designing and implementing the architecture of the connected cars' platforms needed to provide services to make the driving environments comfortable and reduce the driver's fatigue level. It includes a gateway between AVN and ECU for the vehicle control, a framework for native applications and web applications based on AVN, and a sensing device and an emotion estimation engine for application services. This paper will provide the element technologies for the connected car-based convergence services and their implementation methods, and reference models for the service design.

최근 사회과학 연구에 있어 행위자의 감정 또는 정동(affect)의 영향력에 관한 탐구의 필요성이 높아지고 있다. 이러한 경향을 적용하여 본 연구는 정책과정 모형 중 정책행위자의 합리적 선택뿐만 아니라 감정의 역할이 복합적으로 연계되는 방향으로 발전하고 있는 옹호연합모형(Advocacy Coalition Framework, ACF)의 핵심 요소인 신념체계 개념에 감정의 역할을 반영하여 이론적 재구성을 시도한다. 기존 ACF는 정책행위자의 신념을 주로 합리성에 기반해 설명해 왔으나, 본 논문은 이성과 감정의 상호작용이 신념의 형성, 강화, 변화 전반에 걸쳐 중요한 영향을 미친다고 본다. 이에 규범적 핵심 신념, 정책 핵심 신념, 이차적 신념의 각 계층에 대해 감정이 어떻게 작동하는지를 분석하고, 정책문제의 성격(사악한 문제와 평범한 문제)에 따라 감정과 이성의 작용 양상이 달라짐을 설명한다. 이를 통해 신념체계에 대한 기존 ACF의 인식론적 기반을 확장하고, 정책행위자의 행동을 보다 포괄적으로 이해할 수 있는 이론적 틀을 제시한다.

Recent scholarship in the social sciences has increasingly recognized the need toinvestigate the influence of emotions, or affect, on actors’ behavior. Responding to thisintellectual trend, this study undertakes a theoretical reconstruction of the belief systemwithin the Advocacy Coalition Framework (ACF), which has evolved to encompass not only therationality of policy actors but also the role of emotions. In doing so, it integrates the functionof emotions into the conceptualization of belief systems. Whereas the conventional ACF hasprimarily explained policy actors’ beliefs through the lens of rationality, this study argues thatthe interaction between reason and emotion exerts a significant influence on the formation,reinforcement, and transformation of beliefs. The analysis examines how emotions operateacross the three hierarchical levels of belief systems?normative core beliefs, policy corebeliefs, and secondary beliefs?and demonstrates that the patterns of interaction betweenemotion and reason vary according to the nature of the policy problem, distinguishingbetween wicked and ordinary problems. By doing so, the study extends the epistemologicalfoundations of the ACF’s understanding of belief systems and proposes a theoreticalframework that enables a more comprehensive account of policy actors’ behavior.