Earticle

초록

영어

Identifying emotions through speech poses a significant challenge due to the complex relationship between language and emotions. Our paper aims to take on this challenge by employing feature engineering to identify emotions in speech through a multimodal classification task involving both speech and text data. We evaluated two classifiers—Convolutional Neural Networks (CNN) and Long Short-Term Memory (LSTM)—both integrated with a BERT-based pre-trained model. Our assessment covers various performance metrics (accuracy, F-score, precision, and recall) across different experimental setups). The findings highlight the impressive proficiency of two models in accurately discerning emotions from both text and speech data.

한국어

언어와 감정 사이의 복잡한 관계의 특징을 보이며, 우리의 말을 통해 감정을 식별하는 것은 중요한 과제로 인식된다. 이 연구는 음성 및 텍스트 데이터를 모두 포함하는 다중 모드 분류 작업을 통해 음성 언어의 감정을 식별 하기 위해 속성 엔지니어링을 사용하여 이러한 과제를 해결하는 것을 목표로 한다. CNN(Convolutional Neural Networks)과 LSTM(Long Short-Term Memory)이라는 두 가지 분류기를 BERT 기반 사전 훈련된 모델과 통합하 여 평가하였다. 논문에서 평가는 다양한 실험 설정 전반에 걸쳐 다양한 성능 지표(정확도, F-점수, 정밀도 및 재현율) 를 다룬다. 이번 연구 결과는 텍스트와 음성 데이터 모두에서 감정을 정확하게 식별하는 두 모델의 뛰어난 능력을 보 인다.

목차

요약
Abstract
Ⅰ. 서론
Ⅱ. 관련연구
Ⅲ. 연구방법
1. 데이터 집합
2. 모델 설계 및 구축
IV. 실험 및 결과
Ⅴ. 결론
References

키워드

음성 감정 인식 CNN LSTM BERT 다중 모달 감정 인식 딥 러닝 Speech Emotion Recognition CNN LSTM BERT Multimodal Emotion Recognition Deep Learning

저자

• 에드워드 카야디 [ Edward Dwijayanto Cahyadi | 세명대학교 정보통신학부 학부연구생 ] 제1저자
• 한스 나타니엘 하디 수실로 [ Hans Nathaniel Hadi Soesilo | 서강대학교 컴퓨터공학과 학부연구생 ] 참여자자
• 송미화 [ Mi-Hwa Song | 정회원, 세명대학교 스마트IT학부 부교수 ] 교신저자

참고문헌

발행기관

간행물