Earticle

최근에 다양한 정보로부터 감정을 예측하여 청중에게 감독이 알리고자 하는 정보를 빠르게 전달하고자 한다. 또한, 청중은 감독의 의도를 대화 내용에 나타나는 대사뿐만 아니라, 영상내의 다양한 정보인 촬영 기법, 장면의 배경, 배경 음악 등을 통해 비대사 구간에서도 감정의 흐름을 이해하려고 한다. 본 논문에서는 대사와 같은 문맥의 상황뿐만 아니라, 촬영 영상에 담아낸 색상, 음향, 구도, 배치 등에 의해 표현된 정보를 혼합하여 감정을 추출하고자 한다. 즉, 다양한 감정 표현 기법을 대사 구간, 비대사 구간으로 나누어 학습하고 판별하여 영상 의 완성도에 기여하고 새로운 변화에 빠르게 적용할 수 있는 감정 예측 시스템을 제안한다. 본 논문에서 제안한 감정 예측시 스템이 변형된 n-gram 방식과 형태소 분석을 적용한 사례와 비교했을 때, 정확도는 약 5.1%, 0.4% 향상되었고, 재현율은 약 4.3%, 1.6% 향상되었다.

Recently, we are trying to predict the emotion from various information and to convey the emotion information that the supervisor wants to inform the audience. In addition, audiences intend to understand the flow of emotions through various information of non-dialogue parts, such as cinematography, scene background, background sound and so on. In this paper, we propose to extract emotions by mixing not only the context of scripts but also the cinematography information such as color, background sound, composition, arrangement and so on. In other words, we propose an emotional prediction system that learns and distinguishes various emotional expression techniques into dialogue and non-dialogue regions, contributes to the completeness of the movie, and quickly applies them to new changes. The precision of the proposed system is improved by about 5.1% and 0.4%, and the recall is improved by about 4.3% and 1.6%, respectively, when compared with the modified n-gram and morphological analysis.

모바일의 확산과 더불어 정형화된 자료뿐만 아니라 다양한 형태의 비정형화된 자료로부터 정보가 생성되고 정보 전달 및 공유가 활발히 이루어지고 있다. 최근에는 다양한 SNS 매체들로부터 생산 및 배포되는 많은 자료들 중에서 유의미한 정보를 추출하는 기술로 빅데이터 기술을 많이 사용하며, 빅데이터 분석 기법 중 하나인 데이터 마 이닝 기법을 사용한다. 특히, SNS로부터 수집된 방대하고 다양한 자료들을 이용하여 대중의 집단지성에 표출된 일반 적인 감정을 분석하여 다양한 분야에 활용한다. 본 논문에서는 SNS를 통해 작성된 짧은 문단 내 함축된 키워드와 키워드들 간의 연관성을 이용하여 문단에 나타난 감정을 예측하고 사용자별 감정에 따른 적절한 답변이나 예측된 감 정과 유사한 상품이나 영화 등 다양한 추천시스템에 사용될 수 있도록 형태소 분석과 변형된 n-gram방법을 혼합하 여 효율적인 감정 예측 시스템을 제안한다. 제안된 시스템은 평균 82.25%의 재현율을 보여 기존의 시스템에 비해 더욱 향상된 성능을 보여 주었고, 형태소분석을 통해 의미 있는 키워드 추출에 도움이 될 것으로 기대한다.

Creation and Sharing of information which is structured data as well as various unstructured data. makes progress actively through the spread of mobile. Recently, Big Data extracts the semantic information from SNS and data mining is one of the big data technique. Especially, the general emotion analysis that expresses the collective intelligence of the masses is utilized using large and a variety of materials. In this paper, we propose the emotion prediction system architecture which extracts the significant keywords from social network paragraphs using n-gram and Korean morphological analyzer, and predicts the emotion using SVM and these extracted emotion features. The proposed system showed 82.25% more improved recall rate in average than previous systems and it will help extract the semantic keyword using morphological analysis.

최근 트위터, 페이스북 등과 같은 소셜 네트워크 서비스(Social Network Service, SNS)의 확산과 더불어 정 보의 생성 및 공유가 활발히 이루어지고 있다. 이러한 SNS 매체들을 통해 생산하는 많은 데이터를 활용하기 위해 축적된 데이터로부터 의미 있는 정보를 추출해 내는 기술의 필요성이 대두되고 있으며, 데이터 마이닝 기법을 이용 하여 의미있는 지식을 찾아낸다. 특히, 다양한 형태의 방대한 자료들로부터 표출되는 의견, 정책, 성향, 감정 등 대중 의 집단지성에 나타난 일반적인 감정분석이 활용되고 있다. 본 논문에서는 대중들이 SNS를 통해 작성한 사용자들의 짧은 문장에 함축된 단어와 단어들 간의 연관성을 이용하여 문장 내 감정 상태를 예측하고 사용자의 감정에 따른 적절한 답변이나 추출한 감정과 유사한 트윗글이나 영화 등을 추천하는데 사용될 수 있는 방법을 제안한다.

Recently, creation and sharing of information make progress actively through the SNS(Social Network Service) such as twitter, facebook and so on. It is necessary to extract the knowledge from aggregated information and data mining is one of the knowledge based approach. Especially, emotion analysis is a recent subdiscipline of text classification, which is concerned with massive collective intelligence from an opinion, policy, propensity and sentiment. In this paper, We propose the emotion prediction method, which extracts the significant key words and related key words from SNS paragraph, then predicts the emotion using these extracted emotion features.

This study proposes a novel context-aware recommender system, which is designed to recommend the items according to the customer’s responses to the previously recommended item. In specific, our proposed system predicts the user’s emotional state from his or her responses (such as facial expressions and movements) to the previous recommended item, and then it recommends the items that are similar to the previous one when his or her emotional state is estimated as positive. If the customer’s emotional state on the previously recommended item is regarded as negative, the system recommends the items that have characteristics opposite to the previous item. Our proposed system consists of two sub modules-(1) emotion prediction module, and (2) responsive recommendation module. Emotion prediction module contains the emotion prediction model that predicts a customer’s arousal level-a physiological and psychological state of being awake or reactive to stimuli-using the customer’s reaction data including facial expressions and body movements, which can be measured using Microsoft’s Kinect Sensor. Responsive recommendation module generates a recommendation list by using the results from the first module-emotion prediction module. If a customer shows a high level of arousal on the previously recommended item, the module recommends the items that are most similar to the previous item. Otherwise, it recommends the items that are most dissimilar to the previous one. In order to validate the performance and usefulness of the proposed recommender system, we conducted empirical validation. In total, 30 undergraduate students participated in the experiment. We used 100 trailers of Korean movies that had been released from 2009 to 2012 as the items for recommendation. For the experiment, we manually constructed Korean movie trailer DB which contains the fields such as release date, genre, director, writer, and actors. In order to check if the recommendation using customers’ responses outperforms the recommendation using their demographic information, we compared them. The performance of the recommendation was measured using two metrics-satisfaction and arousal levels. Experimental results showed that the recommendation using customers’ responses (i.e. our proposed system) outperformed the recommendation using their demographic information with statistical significance.

본 연구는 심박변이도(HRV)와 인공신경망을 이용하여 강건하고 정확한 융복합 감정예측 모형인 EPNN (Emotion Prediction Neural Network)을 개발하는 것을 주요 연구목적으로 한다. 본 연구에서 제안하는 EPNN은 기존 유사연구와는 달리 은닉노드의 활성함수로서 하이퍼볼릭 탄젠트, 선형, 가우시안 함수를 융복합적으로 이용하여 모형의 정확도를 향상시 킨다. 본 연구에서는 EPNN의 타당성을 검증하기 위하여 20명의 실험자를 대상으로 머니게임으로 감정을 유도한 후에 해당 실험자의 심박변이도 측정값을 입력자료로 사용하였다. 아울러 그들의 Valence와 Arousal을 EPNN의 출력값으로 사용하였 다. 실험결과 Valence에 대한 F-Measure는 80%이고, Arousal의 경우 95%로 나타났다. 한편 EPNN의 타당성을 측정하기 위하여 기존 감정예측 연구에 사용된 경쟁모형인 인공신경망, 로지스틱 회귀분석, 서포트 벡터 머신, 랜덤 포레스트 모형과 성과를 비교하였다. 그 결과 본 연구에서 제안하는 EPNN이 더 우수한 감정예측 결과를 보였다. 본 연구의 결과는 향후 유비쿼터스 디지털 헬스 환경에서 사용되는 다양한 웨어러블 기기에 적용되어 사용자들의 일상생활 속에서 시시각각 변하 는 감정을 정확히 예측하고 적절하게 관리하는데 적용될 수 있을 것이다.

The purpose of this study is to develop more accurate and robust emotion prediction neural network (EPNN) model by combining heart rate variability (HRV) and neural network. For the sake of improving the prediction performance more reliably, the proposed EPNN model is based on various types of activation functions like hyperbolic tangent, linear, and Gaussian functions, all of which are embedded in hidden nodes to improve its performance. In order to verify the validity of the proposed EPNN model, a number of HRV metrics were calculated from 20 valid and qualified participants whose emotions were induced by using money game. To add more rigor to the experiment, the participants’ valence and arousal were checked and used as output node of the EPNN. The experiment results reveal that the F-Measure for Valence and Arousal is 80% and 95%, respectively, proving that the EPNN yields very robust and well-balanced performance. The EPNN performance was compared with competing models like neural network, logistic regression, support vector machine, and random forest. The EPNN was more accurate and reliable than those of the competing models. The results of this study can be effectively applied to many types of wearable computing devices when ubiquitous digital health environment becomes feasible and permeating into our everyday lives.

감정을 정확히 예측하는 것은 환자중심의 의료디바이스 개발 및 감성관련 산업에서 매우 중요한 이슈이다. 감정 예측에 관한 많은 연구 중 감정 예측에 심박 변동성과 뉴로-퍼지 접근법을 적용한 연구는 없다. 본 연구는 HRV를 이용한 ANFEP(Adaptive Neuro Fuzzy system for Emotion Prediction)을 제안한다. ANFEP의 핵심 기능은 인공 신경망과 퍼지 시스템을 통합해 예측 모델을 학습하는 ANFIS(Adaptive Neuro-Fuzzy Inference System)에 기반한다. 제안 모형의 검증을 위해 50명의 실험자를 대상으로 청각자극으로 감정을 유발하고, 심박변이도를 구하여 ANFEP 모형에 입력하였다. STDRR 과 RMSSD를 입력으로 하고 입력변수 당 2개의 소속함수로 하는 ANFEP모형이 가장 좋은 결과를 나타났다. 제안한 감정예 측 모형을 선형회귀 분석, 서포트 벡터 회귀, 인공신경망, 랜덤 포레스트와 비교한 결과 본 제안모형이 가장 우수한 성능을 보였다. 연구 결과는 보다 적은 입력으로 신뢰성 높은 감정인식이 가능함을 입증했고, 이를 활용해 보다 정확하고 신뢰성 높은 감정인식 시스템 개발에 대한 연구가 필요하다.

An accurate prediction of emotion is a very important issue for the sake of patient-centered medical device development and emotion-related psychology fields. Although there have been many studies on emotion prediction, no studies have applied the heart rate variability and neuro-fuzzy approach to emotion prediction. We propose ANFEP(Adaptive Neuro Fuzzy System for Emotion Prediction) HRV. The ANFEP bases its core functions on an ANFIS(Adaptive Neuro-Fuzzy Inference System) which integrates neural networks with fuzzy systems as a vehicle for training predictive models. To prove the proposed model, 50 participants were invited to join the experiment and Heart rate variability was obtained and used to input the ANFEP model. The ANFEP model with STDRR and RMSSD as inputs and two membership functions per input variable showed the best results. The result out of applying the ANFEP to the HRV metrics proved to be significantly robust when compared with benchmarking methods like linear regression, support vector regression, neural network, and random forest. The results show that reliable prediction of emotion is possible with less input and it is necessary to develop a more accurate and reliable emotion recognition system.

인터넷의 발전으로 사용자들은 자신의 경험이나 의견을 공유한다. 영화평과 같은 비정형 문서의 전체적인 감정이나 장르 등의 정보를 고려하지 않고 연관된 키워드를 사용하기 때문에 적절한 감정 상황에 따른 감성 정확도를 저해한다. 따라 서 사용자들이 작성한 비정형 문서가 속한 장르나 전반적인 감정 등의 정보를 기반으로 감성을 예측하는 시스템을 제안한 다. 먼저, 비정형 문서로부터 기쁨, 화남, 공포, 슬픔 등의 감정 집합과 연관된 대표 키워드를 추출하고, 감정 특징단어들의 정규화된 가중치와 비정형 문서의 정보를 훈련 집합으로 CNN과 LSTM을 조합한 시스템에 훈련한다. 최종적으로 영화 정 보와 형태소 분석기와 n-gram을 통해 추출한 정제된 단어들과 이모티콘, 이모지 등을 테스트함으로써 감정을 이용한 감성 예측 정확도와 F-measure 측면에서 향상됨을 보였다. 제안한 예측시스템은 슬픈 영화에서 슬픈 단어의 사용과 공포 영화 에서 무서운 단어 등의 사용으로 인해 부정으로 판단하는 오류를 피함으로써, 감성을 상황에 따라 적절하게 예측할 수 있다.

With the development of the Internet, users share their experiences and opinions. Since related keywords are used witho0ut considering information such as the general emotion or genre of an unstructured document such as a movie review, the sensitivity accuracy according to the appropriate emotional situation is impaired. Therefore, we propose a system that predicts emotions based on information such as the genre to which the unstructured document created by users belongs or overall emotions. First, representative keyword related to emotion sets such as Joy, Anger, Fear, and Sadness are extracted from the unstructured document, and the normalized weights of the emotional feature words and information of the unstructured document are trained in a system that combines CNN and LSTM as a training set. Finally, by testing the refined words extracted through movie information, morpheme analyzer and n-gram, emoticons, and emojis, it was shown that the accuracy of emotion prediction using emotions and F-measure were improved. The proposed prediction system can predict sentiment appropriately according to the situation by avoiding the error of judging negative due to the use of sad words in sad movies and scary words in horror movies.

In this paper, we propose a method to predict human emotion based on a multi-dimensional emotion model using sentimental similarity. The proposed framework predicts the user's level of emotional response to an emotional stimulus, based on a sensitivity database that consists of self-assessment manikin-based integer-scale data, rated on various object stimulations by many users. We experimented on 72 users, with 1,073 stimulation objects, based on the International Affective Picture System, and used Thayer's arousal-valence 2-dimensional emotion model to verify the proposed framework. As a result, we have confirmed that the proposed framework can predict user emotion using an arousal-valence model.

Correct prediction of emotion is essential for developing advanced health devices. For this purpose, neural network has been successfully used. However, interpretation of how a certain emotion is predicted through the emotion prediction neural network is very tough. When interpreting mechanism about how emotion is predicted by using the emotion prediction neural network can be developed, such mechanism can be effectively embedded into highly advanced health-care devices. In this sense, this study proposes a novel approach to interpreting how the emotion prediction neural network yields emotion. Our proposed mechanism is based on HRV (heart rate variability) measurements, which is based on calculating physiological data out of ECG (electrocardiogram) measurements. Experiment dataset with 23 qualified participants were used to obtain the seven HRV measurement such as Mean RR, SDNN, RMSSD, VLF, LF, HF, LF/HF. Then emotion prediction neural network was modelled by using the HRV dataset. By applying the proposed mechanism, a set of explicit mathematical functions could be derived, which are clearly and explicitly interpretable. The proposed mechanism was compared with conventional neural network to show validity.

본 논문에서는 텍스트에 나타난 감정상태를 인지하는 모델을 제안하고, 이러한 모델을 활용하여 현재문장에서 나타난 감정 및 이후에 나타나게 될 감정상태들을 예측하는 시스템에 대하여 다룬다. 사용자의 감정을 인지하고 이에 대한 자연스러운 메시지, 행동 등을 통해 인간과 상호작용 할 수 있는 컴퓨터시스템을 구현하기 위해서는 현재의 감정상태뿐만 아니라 사용자 개개인의 정보 및 시스템과 상호작용하고 있는 상황의 정보 등을 통해 이후에 사용자가 느낄 수 있는 감정을 예측할 수 있는 감정모델이 요구된다. 본 논문에서는 파악된 이전의 감정상태 및 실제 감정과 표현된 감정간의 관계, 그리고 감정에 영향을 미친 주변대상의 특징 및 감정경험자의 목표와 행동이 반영된 상태-전이형태의 감정모델인 감정망(Emotion Network)을 제안한다. 감정망은 각 감정을 나타내는 상태(state)와 연결된 상태들 간의 전이(transition), 그리고 전이가 발생하기 위한 조건(condition)으로 구성된다. 본 논문에서는 텍스트 형태의 상담예시에 감정망을 활용하여 문헌의 감정어휘에 의해 직접적으로 표출되지 않는 감정을 예측할 수 있음을 보인다.

최근 통신 기술의 발달로 공간 내 환경 자극을 나타내는 다양한 센서 데이터 수집이 가능해졌다. 베이지안 네트워크는 추론 근거를 확률적으로 고려함으로써 센서 데이터의 불확실하고 불완전한 특성을 보완할 수 있다. 본 논문은 환경 자극의 심리적 영향력을 고려하여 설계된 모듈형 베이지안 네트워크 기반 대중 감성 예측 시스템을 제안한다. 또한 단일 베이지안 네트워크를 모듈화하여 공간 내 환경 자극 변동의 유연한 대응 및 효율적 추론을 수행하였다. 시스템의 성능 검증을 위해 유치원 공간에서 수집된 조도, 음량, 온도, 습도, 색 온도, 음향, 향기, 대중 감성 데이터를 기반으로 대중 감성을 예측하였다. 실험 결과, 제안하는 방법의 예측 정확도는 85%로 여타 분류 기법보다 높은 성능을 나타내었다. 정량적, 정성적 분석을 통해 대중 감성 예측을 위한 확률 기반 방법론의 가능성 및 한계를 분석하였다.

Recently, with the development of communication technology, it has become possible to collect various sensor data that indicate the environmental stimuli within a space. In this paper, we propose a group emotion prediction system using a modular Bayesian network that was designed considering the psychological impact of environmental stimuli. A Bayesian network can compensate for the uncertain and incomplete characteristics of the sensor data by the probabilistic consideration of the evidence for reasoning. Also, modularizing the Bayesian network has enabled flexible response and efficient reasoning of environmental stimulus fluctuations within the space. To verify the performance of the system, we predict public emotion based on the brightness, volume, temperature, humidity, color temperature, sound, smell, and group emotion data collected in a kindergarten. Experimental results show that the accuracy of the proposed method is 85% greater than that of other classification methods. Using quantitative and qualitative analyses, we explore the possibilities and limitations of probabilistic methodology for predicting group emotion.

생체 신호와 행동 데이터를 통합하고 앙상블 학습 기법을 적용하여 사용자 정서 상태를 실시간으로 예측하는 모델을 설계하였다. 또한 심리적 특성 변수와 생리적 회복 지표를 함께 반영함으로써 개인차를 고려한 정밀 예측 구조를 제안하였다. 더 나아가 예측 결과를 기반으로 맞춤형 개입 전략을 설계하고, 실시간 피드백이 정서 안정 효과와 디지털 헬스케어 서비스의 지속 사용 의도에 미치는 영향을 분석하였다.

This study proposes an ensemble-based model that integrates biometric signals with behavioral data to predict users’ emotional states in real time. By incorporating psychological traits alongside physiological recovery indicators, the model accounts for individual differences and enhances prediction accuracy. Furthermore, the study designs a personalized intervention framework based on predicted emotional responses and examines the impact of real-time feedback on emotional stabilization and sustained engagement with digital healthcare services.

정보기술의 비약적 발전에 힘입어, 오늘날 기업들은 지금까지 축적한 고객 데이터를 기반으로 맞춤형 서비스를 제공하는 것에 많은 관심을 가지고 있다. 고객에게 소구하는 맞춤형 서비스를 효과적으로 제공하기 위해서는 우선 그 고객이 처한 상태나 상황을 정확하게 인지하는 것이 중요하다. 특히, 고객에게 서비스가 전달되는 이른바 진실의 순간에 해당 고객의 감정 상태를 정확히 인지할 수 있다면, 기업은 더 양질의 맞춤형 서비스를 제공할 수 있을 것이다. 이와 관련하여 사람의 얼굴과 행동을 이용하여 사람의 감정을 판단하고 개인화 서비스를 제공하기 위한 연구가 활발하게 이루어지고 있다. 얼굴 표정을 통해 사람의 감정을 판단하는 연구는 좀 더 미세하고 확실한 변화를 통해 정확하게 감정을 판단할 수 있지만, 장비와 환경의 제약으로 실제 환경에서 다수의 관객을 대상으로 사용하기에는 다소 어려움이 있다. 이에 본 연구에서는 Plutchik의 감정 분류 체계를 기반으로 사람들의 행동을 통해 감정을 추론해내는 모형을 개발하는 것을 목표로 한다. 본 연구는 콘텐츠에 의해 유발된 사람들의 감정적인 변화를 사람들의 행동 변화를 통해 판단하고 예측하는 모형을 개발하고, 4가지 감정 별 행동 특징을 추출하여 각 감정에 따라 최적화된 예측 모형을 구축하는 것을 목표로 한다. 모형 구축을 위해 사람들에게 적절한 감정 자극영상을 제공하고 그 신체 반응을 수집하였으며, 사람들의 신체 영역을 나누었다. 특히, 모션캡쳐 분야에서 널리 쓰이는 차영상 기법을 적용하여 사람들의 제스쳐를 추출 및 보정하였다. 이후 전처리 과정을 통해 데이터의 타임프레임 셋을 20, 30, 40 프레임의 3가지로 설정하고, 데이터를 학습용, 테스트용, 검증용으로 구분하여 인공신경망 모형을 통해 학습시키고 성과를 평가하였다. 다수의 일반인들을 대상으로 수집된 데이터를 이용하여 제안 모형을 구축하고 평가한 결과, 프레임셋에 따라 예측 성과가 변화함을 알 수 있었다. 감정 별 최적 예측 성과를 보이는 프레임을 확인할 수 있었는데, 이는 감정에 따라 감정의 표출 시간이 다르기 때문인 것으로 판단된다. 이는 행동에 기반한 제안된 감정예측모형이 감정에 따라 효과적으로 감정을 예측할 수 있으며, 실제 서비스 환경에서 사용할 수 있는 효과적인 알고리즘이 될 수 있을 것으로 기대할 수 있다.

Nowadays, in today's information society, the importance of the knowledge service using the information to creative value is getting higher day by day. In addition, depending on the development of IT technology, it is ease to collect and use information. Also, many companies actively use customer information to marketing in a variety of industries. Into the 21st century, companies have been actively using the culture arts to manage corporate image and marketing closely linked to their commercial interests. But, it is difficult that companies attract or maintain consumer's interest through their technology. For that reason, it is trend to perform cultural activities for tool of differentiation over many firms. Many firms used the customer's experience to new marketing strategy in order to effectively respond to competitive market. Accordingly, it is emerging rapidly that the necessity of personalized service to provide a new experience for people based on the personal profile information that contains the characteristics of the individual. Like this, personalized service using customer's individual profile information such as language, symbols, behavior, and emotions is very important today. Through this, we will be able to judge interaction between people and content and to maximize customer's experience and satisfaction. There are various relative works provide customer-centered service. Specially, emotion recognition research is emerging recently. Existing researches experienced emotion recognition using mostly bio-signal. Most of researches are voice and face studies that have great emotional changes. However, there are several difficulties to predict people's emotion caused by limitation of equipment and service environments. So, in this paper, we develop emotion prediction model based on vision-based interface to overcome existing limitations. Emotion recognition research based on people's gesture and posture has been processed by several researchers. This paper developed a model that recognizes people's emotional states through body gesture and posture using difference image method. And we found optimization validation model for four kinds of emotions' prediction. A proposed model purposed to automatically determine and predict 4 human emotions (Sadness, Surprise, Joy, and Disgust). To build up the model, event booth was installed in the KOCCA's lobby and we provided some proper stimulative movie to collect their body gesture and posture as the change of emotions. And then, we extracted body movements using difference image method. And we revised people data to build proposed model through neural network. The proposed model for emotion prediction used 3 type time-frame sets (20 frames, 30 frames, and 40 frames). And then, we adopted the model which has best performance compared with other models.' Before build three kinds of models, the entire 97 data set were divided into three data sets of learning, test, and validation set. The proposed model for emotion prediction was constructed using artificial neural network. In this paper, we used the back-propagation algorithm as a learning method, and set learning rate to 10%, momentum rate to 10%. The sigmoid function was used as the transform function. And we designed a three-layer perceptron neural network with one hidden layer and four output nodes. Based on the test data set, the learning for this research model was stopped when it reaches 50000 after reaching the minimum error in order to explore the point of learning. We finally processed each model's accuracy and found best model to predict each emotions. The result showed prediction accuracy 100% from sadness, and 96% from joy prediction in 20 frames set model. And 88% from surprise, and 98% from disgust in 30 frames set model. The findings of our research are expected to be useful to provide effective algorithm for personalized service in various industries such as advertisement, exhibition, performance, etc.

이 연구의 목적은 생물분류탐구과정에서 나타나는 부정감성을 호르몬 변화로 예측할 수 있는 부정감성 예측모델을 개발하는 것이다. 이를 위해 통합적인 과학 탐구가 가능하도록 깃털 분류 탐구 활동을 개발하였다. 연구대상은 호르몬 변화 측정에 문제가 없는 서울, 안산, 청주 소재 중학교 2학년 47명(남 18, 여 29)으로 하였다. 피험자들은 개인별로 깃털 분류 탐구 활동을 수행하였다. 깃털 분류 탐구 활동 전과 후에 형용사 이모티콘 척도법을 이용하여 부정감성 검사를 하였고, 타액 시료를 채취하여 코르티솔 호르몬 변화를 분석하였다. 연구결과 부정감성 변화량과 타액 코르티솔 변화량 사이에서 유의미한 정적 상관관계(R=0.39, P<0.001)가 나타났으며, 회귀분석을 이용하여 생물분류탐구에서 나타나는 타액 코르티솔 변화량을 이용한 부정감성 예측모델을 개발하였다.

The purpose of this study was to develope the negative-emotion prediction model by hormonal changes during the scientific inquiry. For this study, biological classification task was developed that are suitable for comprehensive scientific inquiry. Forty-seven 2nd grade secondary school students (boy 18, girl 29) were participated in this study. The students are healthy for measure hormonal changes. The students performed the feathers classification task individually. Before and after the task, the strength of negative emotion was measured using adjective emotion check lists and they extracted their saliva sample for salivary hormone analysis. The results of this study, student's change of negative emotion during the feathers classification process was significant positive correlation(R=0.39, P<0.001) with student's salivary cortisol concentration. According to this results, we developed the negative emotion prediction model by salivary cortisol changes.

오늘날 정보사회에서는 정보에 대한 가치를 인식하고, 이를 위한 정보의 활용과 수집이 중요해지고 있다. 얼굴 표정은 그림 하나가 수천개의 단어를 표현할 수 있듯이 수천 개의 정보를 지니고 있다. 이에 주목하여 최근 얼굴 표정을 통해 사람의 감정을 판단하여 지능형 서비스를 제공하기 위한 시도가 MIT Media Lab을 필두로 활발하게 이루어지고 있다. 전통적으로 기존 연구에서는 인공신경망, 중회귀분석 등의 기법을 통해 사람의 감정을 판단하는 연구가 이루어져 왔다. 하지만 중회귀모형은 예측 정확도가 떨어지고, 인공신경망은 성능은 뛰어나지만 기법 자체가 지닌 과적합화 문제로 인해 한계를 지닌다. 본 연구는 사람들의 자극에 대한 반응으로서 나타나는 얼굴 표정을 통해 감정을 추론해내는 지능형 모형을 개발하는 것을 목표로 한다. 기존 얼굴 표정을 통한 지능형 감정판단모형을 개선하기 위하여, Support Vector Regression(이하 SVR) 기법을 적용하는 새로운 모형을 제시한다. SVR은 기존 Support Vector Machine이 가진 뛰어난 예측 능력을 바탕으로, 회귀문제 영역을 해결하기 위해 확장된 것이다. 본 연구의 제안 모형의 목적은 사람의 얼굴 표정으로부터 쾌/불쾌 수준 그리고 몰입도를 판단할 수 있도록 설계되는 것이다. 모형 구축을 위해 사람들에게 적절한 자극영상을 제공했을 때 나타나는 얼굴 반응들을 수집했고, 이를 기반으로 얼굴 특징점을 도출 및 보정하였다. 이후 전처리 과정을 통해 통계적 유의변수를 추출 후 학습용과 검증용 데이터로 구분하여 SVR 모형을 통해 학습시키고, 평가되도록 하였다. 다수의 일반인들을 대상으로 수집된 실제 데이터셋을 기반으로 제안모형을 적용해 본 결과, 매우 우수한 예측 정확도를 보임을 확인할 수 있었다. 아울러, 중회귀분석이나 인공신경망 기법과 비교했을 때에도 본 연구에서 제안한 SVR 모형이 쾌/불쾌 수준 및 몰입도 모두에서 더 우수한 예측성과를 보임을 확인할 수 있었다. 이는 얼굴 표정에 기반한 감정판단모형으로서 SVR이 상당히 효과적인 수단이 될 수 있다는 점을 알 수 있었다.

.Since the value of information has been realized in the information society, the usage and collection of information has become important. A facial expression that contains thousands of information as an artistic painting can be described in thousands of words. Followed by the idea, there has recently been a number of attempts to provide customers and companies with an intelligent service, which enables the perception of human emotions through one's facial expressions. For example, MIT Media Lab, the leading organization in this research area, has developed the human emotion prediction model, and has applied their studies to the commercial business. In the academic area, a number of the conventional methods such as Multiple Regression Analysis (MRA) or Artificial Neural Networks (ANN) have been applied to predict human emotion in prior studies. However, MRA is generally criticized because of its low prediction accuracy. This is inevitable since MRA can only explain the linear relationship between the dependent variables and the independent variable. To mitigate the limitations of MRA, some studies like Jung and Kim (2012) have used ANN as the alternative, and they reported that ANN generated more accurate prediction than the statistical methods like MRA. However, it has also been criticized due to over fitting and the difficulty of the network design (e.g. setting the number of the layers and the number of the nodes in the hidden layers). Under this background, we propose a novel model using Support Vector Regression (SVR) in order to increase the prediction accuracy. SVR is an extensive version of Support Vector Machine (SVM) designated to solve the regression problems. The model produced by SVR only depends on a subset of the training data, because the cost function for building the model ignores any training data that is close (within a threshold ${\varepsilon}$) to the model prediction. Using SVR, we tried to build a model that can measure the level of arousal and valence from the facial features. To validate the usefulness of the proposed model, we collected the data of facial reactions when providing appropriate visual stimulating contents, and extracted the features from the data. Next, the steps of the preprocessing were taken to choose statistically significant variables. In total, 297 cases were used for the experiment. As the comparative models, we also applied MRA and ANN to the same data set. For SVR, we adopted '${\varepsilon}$-insensitive loss function', and 'grid search' technique to find the optimal values of the parameters like C, d, ${\sigma}^2$, and ${\varepsilon}$. In the case of ANN, we adopted a standard three-layer backpropagation network, which has a single hidden layer. The learning rate and momentum rate of ANN were set to 10%, and we used sigmoid function as the transfer function of hidden and output nodes. We performed the experiments repeatedly by varying the number of nodes in the hidden layer to n/2, n, 3n/2, and 2n, where n is the number of the input variables. The stopping condition for ANN was set to 50,000 learning events. And, we used MAE (Mean Absolute Error) as the measure for performance comparison. From the experiment, we found that SVR achieved the highest prediction accuracy for the hold-out data set compared to MRA and ANN. Regardless of the target variables (the level of arousal, or the level of positive / negative valence), SVR showed the best performance for the hold-out data set. ANN also outperformed MRA, however, it showed the considerably lower prediction accuracy than SVR for both target variables. The findings of our research are expected to be useful to the researchers or practitioners who are willing to build the models for recognizing human emotions.

사회가 개인화하고 사용자의 요구가 다양해짐에 따라, 사용자의 감성을 기반으로 하여 서비스를 제공하는 많은 연구와 응용 어플리케이션을 개발되고 있다. 그 중, 시각적인 정보에 대한 인간의 감성은 디자인, 패션, 상품개발과 같은 여러 분야에서 그 중요성이 부각되어 다각적인 측면으로 많은 연구가 진행되고 있다. 그러나, 그러한 연구들이 아직 괄목할 만한 성과를 내지 못하고 있다. 더욱이, 시각 정보로부터 유용한 요소를 추출하고, 감성을 예측하는 자동화된 시스템이 매우 미흡한 실정이다. 그러므로, 본 연구는 칼라와 텍스처를 자동으로 추출하고 그와 관련된 특정 감성에 대해 효율적으로 예측 가능한 직물감성 예측 신경망 시스템을 개발하였다. 또한 칼라와 텍스처와 같은 시각정보와 감성과의 관계를 규명하고자 각 시각 특징을 입력 값으로 하고, 감성 값을 출력 값으로 하는 신경망을 개발하였고 실험을 통해 각 감성에 따라 칼라와 텍스처 요소가 다르게 영향을 미친다는 사실을 증명할 수 있었다.

이 연구는 정교화 가능성 모델과 계획된 행위 이론을 사용하여, 각막기증에 관한 교육적 오락물에 대한 시청자들의 감정적 반응과 시청자들의 이슈 관여가 각막 기증 서약 의향을 예측하는데 어떤 역할을 하는지 살펴보고자 했다. 잠재 구성개념들의 효과를 분석해본 결과, 공감과 감정이입이 각막기증에 대한 이슈 관여도에 영향을 미치며 또한 이슈 관여는 설득 과정에서 중요한 중개자 역할을 하고 있음이 확인되었다. 관여는 태도, 주관적 규범 및 지각된 행위적 통제의 공통된 인과적 선행변인이었고, 주관적 규범과 지각된 행위적 통제는 다시 의향의 예측변인이었으나 태도는 의향에 영향을 미치지 못했다. 수정된 경로모델은 이슈 관여가 의향에 간접적으로뿐만 아니라 직접적으로도 영향을 미친다는 사실도 확인해주었다. 따라서 이 연구는 계획된 행위 이론 모델에 감정과 이슈 관여를 포함시킴으로써 이 모델의 의향에 대한 예측력을 더 높일 수 있다는 점과 나아가 정교화 가능성 모델과 계획된 행위 이론의 결합 가능성을 시사해주고 있다.

Employing the Elaboration Likelihood Model and the Theory of Planned Behavior, this study was designed to examine the role of emotional responses to an Entertainment-Education show about cornea donation and viewers' issue involvement in predicting intention to register as cornea donors. The decomposition of effects for the latent constructs confirms that sympathy and empathy responses are the catalyst for issue involvement in the context of organ donation, and issue involvement is an important intermediary in the persuasion process. Issue involvement is also a common causal antecedent of attitude, subjective norm, and perceived behavioral control, the last two of which, in turn, predict intention but attitude does not. The revised path model confirms that involvement directly influences intention. The findings of this study suggest that adding emotion and involvement in the Theory of Planned Behavior enhances the explanatory power of the theory in predicting intentions, which indicate the possibility of combining the Elaboration Likelihood Model and the Theory of Planned Behavior in the prediction of human behaviors.