미디어 이용 데이터와 인공지능을 활용한 데이터 시청각화에 대한 예비 연구 - 프로토타입 <서울 미디어 리듬을 위한 연습곡>을 중심으로
A Preliminary Study of Data Audio-Visualization using Media Use Data and Artificial Intelligence - Focusing on the Prototype, <Etude for the Media Rhythm of Seoul>
This study aims to present the changes in media use by Seoul citizens in the form of a real-time audio-visualization prototype, entitled "Etude for the Media Rhythm of Seoul," based on media use data and artificial intelligence. For this purpose, we reviewed Henri Lefebvre’s theory of rhythmanalysis and addressed the necessity to understand media use in a spatio-temporal context. Next, we constructed two indices from the KBS Time Use Survey: a share-by-media type and a diversity index. These indices are expressed in an audio-visual manner on a map of Seoul, and a classical artificial intelligence technique, the Markov chain, is applied to add the auditory elements of melody and harmony to the visual representation. "Etude for the Media Rhythm of Seoul" created in this way has significance as a new data expression that allows the human senses to perceive the use of media intuitively. According to the results, implications and suggestions for synesthetic representations for media using rhythm are discussed.
한국어
본 연구의 목적은 미디어 이용 데이터와 인공지능을 활용하여 서울시민의 미디어 이용 변화를 <서울 미디어 리듬을 위한 연습곡>이라는 제목의 시청각 재현물로 표현하는 것이다. 이를 위해 앙리 르페브르의 “리듬분석” 이론을 토대로 미디어 이용을 생활시공간과의 관계 속에서 파악해야 하는 필요성에 대해 설명하고, KBS가 제공하는 <국민생활시간조사> 데이터를 시청각 재현물로 표현하기 위해 ‘점유율’ 및 ‘다양성지수’를 설정하였다. 이 지수들을 주로 서울시 지도에 시각적으로 표현하는 한편, 고전 인공지능 기법인 마코프 연쇄를 적용해 시각 재현물에 화음진행, 베이스 그리고 멜로디의 청각 요소를 덧붙였다. 이렇게 만들어진 <서울 미디어 리듬을 위한 연습곡>은 미디어 이용을 인간 감각이 직관적으로 지각하게 해 주는 새로운 데이터 표현 양식으로서 의의를 지닌다. 본 연구는 미디어 이용 리듬에 대한 공감각적 표현이 지니는 의미를 설명하고 후속 연구를 제언하였다.
목차
Abstract 국문초록 1. 서론 2. 이론적 논의 2.1. 기존 미디어 이용 연구의 검토 2.2. 미디어 이용과 리듬분석 2.3. 미디어 이용 데이터의 시청각화 3. 연구방법과 구현 3.1. 연구방법론과 과정 3.2. 분석자료 3.3. 미디어 이용 데이터의 시청각화 전략 3.4. 데이터 시청각화의 구현 4. 연구결과 5. 논의와 결론 5.1. 논의 5.2. 결론 참고문헌
키워드
미디어 이용리듬분석시청각화데이터인공지능Media useRhythm analysisAudio-visualizationDataArtificial intelligence
영상시각예술문화에 대한 다각적인 학술연구와 작품기획 발표 등을 통하여 영상매체예술 및 관련된 산업분야의 시각문화 현상을 분석하고 관련된 분야의 산업현장에 참여함으로써 우리나라의 영상매체예술 영역의 국내외적 확장과 발전을 위한 취지로 설립된 학술, 예술 및 산업활동을 위한 학회이다.