Earticle

초록

영어

In this study, we introduced the technique of matching classical music using deep learning to design soundscape that can help the viewer appreciate painting and proposed an evaluation index to evaluate how well matching painting and music. The evaluation index was conducted with suitability evaluation through the Likeard 5-point scale and evaluation in a multimodal aspect. The suitability evaluation score of the 13 test participants for the deep learning based best match between painting and music was 3.74/5.0 and band the average cosine similarity of the multimodal evaluation of 13 participants was 0.79. We expect multimodal evaluation to be an evaluation index that can measure a new user experience. In addition, this study aims to improve the experience of multisensory artworks by proposing the interaction between visual and auditory. The proposed matching of painting and music method can be used in multisensory artwork exhibition and furthermore it will increase the accessibility of visually impaired people to appreciate artworks.

한국어

본 연구에서는 회화 감상에 도움이 되는 사운드스케이프를 구성하기 위해 딥러닝 기술을 활용하여 클래식 음악 을 매칭하는 기술을 소개하고 회화와 음악 매칭이 얼마나 잘 되었는지에 대해 평가할 수 있는 평가 지표를 제안한다. 평가 지표는 리커드 5점 척도를 통한 적합도 평가와 멀티모달 측면의 평가로 진행하였다. 회화와 음악 매칭에 대해 13 명의 실험 참가자의 적합도 평가의 점수는 3.74/5.0 이었고, 또한 13명의 실험 참가자의 멀티모달 평가에서 회화와 음악 매칭의 코사인 유사도의 평균은 0.79였다. 멀티모달적 평가는 새로운 사용자 경험을 측정할 수 있는 평가 지표가 될 것으로 기대된다. 또한 본 연구를 통해 시각과 청각의 인터랙션을 제안함으로써 다중감각 예술작품 경험을 향상시키 고자 하였다. 본 연구에서 제안된 회화와 음악 매칭이 다중감각 예술작품 전시에서 활용되며 더 나아가 이는 시각 장애 인들의 예술작품 감상에 대한 접근성을 높일 수 있을 것이라 기대한다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 시각과 청각
2.2 다중감각 예술작품
2.3 딥러닝 기반의 이미지와 사운드 매칭
3. 딥러닝 기반의 회화와 음악 매칭 방법
4. 평가
4.1 적합도 평가
4.2 멀티모달 평가
5. 결론
REFERENCES

키워드

회회와 음악의 매칭 딥러닝 멀티모달 평가 청각 인터랙션 다중감각 경험 사운드스케이프 Matching of Painting and Music Deep Learning Multimodal Evaluation Auditory Interaction Multisensory Experience Soundscape

저자

• 정하영 [ Hayoung Jeong | 성균관대학교 휴먼ICT융합학과 석사과정 ]
• 김영준 [ Youngjun Kim | 성균관대학교 전자전기컴퓨터공학과 박사과정 ]
• 조준동 [ Jundong Cho | 성균관대학교 휴먼ICT융합학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물