Earticle

초록

영어

In this paper, the mood of images was classified into eight categories through a deep convolutional neural network and video was automatically generated using proper background music. Based on the collected image data, the classification model is learned using a multilayer perceptron (MLP). Using the MLP, a video is generated by using multi-class classification to predict image mood to be used for video generation, and by matching pre-classified music. As a result of 10-fold cross-validation and result of experiments on actual images, each 72.4% of accuracy and 64% of confusion matrix accuracy was achieved. In the case of misclassification, by classifying video into a similar mood, it was confirmed that the music from the video had no great mismatch with images.

한국어

본 연구에서는 영상의 분위기를 심층 합성곱 신경망을 통해 8 가지로 분류하고, 이에 맞는 배경 음악을 적용하여 동영상을 자동적으로 생성하였다. 수집된 이미지 데이터를 바탕으로 다층퍼셉트론을 사용하여 분류 모델을 학습한다. 이를 활용하여 다중 클래스 분류를 통해 동영상 생성에 사용할 이미지의 분위기를 예측하며, 미리 분류된 음악을 매칭시 켜 동영상을 생성한다. 10겹 교차 검증의 결과, 72.4%의 정확도를 얻을 수 있었고, 실제 영상에 대한 실험에서 64%의 오차 행렬 정확도를 얻을 수 있었다. 오답의 경우, 주변의 비슷한 분위기로 분류하여 동영상에서 나오는 음악과 크게 위화감이 없음을 확인하였다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 감성 분석
2.2 심층 합성곱 신경망
2.3 동영상의 배경 음악 동기화
3. 데이터
4. 기계학습을 통한 실험
4.1 모델링
4.2 분류
5. 실험 결과
6. 결론 및 향후 연구
REFERENCES

키워드

융합 기계학습 다중 클래스 분류 감정 분류 합성곱 신경망 다층 퍼셉트론 Convergence Machine Learning Multi-class Classification Mood Classification Convolutional Neural Network Multilayer Perceptron

저자

• 조동희 [ Dong-Hee Cho | 광운대학교 소프트웨어학부 학생 ]
• 남용욱 [ Yong-Wook Nam | 광운대학교 컴퓨터과학과 박사 ]
• 이현창 [ Hyun-Chang Lee | 광운대학교 컴퓨터과학과 석사과정 ]
• 김용혁 [ Yong-Hyuk Kim | 광운대학교 소프트웨어학부 교수 ] Corresponding author

참고문헌

발행기관

간행물