Earticle

본 논문에서는 빨랫줄 형태의 인터랙티브 음악 설치 작품을 소개한다. 사용자는 50미터 정도 길이의 빨랫줄 임의의 지점에 빨래를 너는 행동을 통하여 소리를 만들고 이 과정에서 자연스럽게 음악 연주에 참여하게 된다. 전체 시스템은 빨랫줄과 함께 다수의 카메라와 컴퓨터, 스피커로 구성되는데, 빨랫줄에 걸린 옷의 정보는 카메라를 통해 인식되며, 컴퓨터에서 이 정보를 바탕으로 음원 합성을 실행한 후 빨랫줄 주위에 설치된 스피커를 통하여 재생한다. 본 논문에서는 우리 주위에서의 일상적인 행동이 새로운 예술적 표현의 도구가 될 수 있는 가능성에 대한 탐구와 함께 작품의 디자인 및 구현, 그리고 실제 참여자를 대상으로 한 실험 결과를 정리하였다.

In this paper, we introduce a large-scale interactive installation. By hanging clothes on a clothesline(about 50 meters long), the user can create sonic events and therefore join the interactive musical performance. In addition to the clothesline, the system is composed of multiple computers, cameras, and loudspeakers; the location and color of the clothes are recognized by cameras, and then utilized to produce sonic events that are played through the loudspeakers. This paper discusses the metaphorical use of everyday actions in life as a tool for artistic expression, and describes the design and implementation of the system with test results.

This paper presents Wind Frame, a sonic display and machine that can listen from wind flow. The installation is based on interactive, reactive, and generative processes as they relate to intersections between natural and mechanical systems. It develops the sonification of wind flow, in a series of interactive projects to re-generate a natural phenomenon through a combination of analog and digital technology. The interaction technique involves the use of an accelerometer, Bluetooth modules, ventilation fans, relays, an Arduino processor, and a mechanical structure for generating and amplifying artificial wind sounds. This work investigates the qualities of audible and tactile display, mechanical device and interactive sound art, while addressing multi-sensory aspects of air movement.

본 작품은 키넥트에서 입력되는 영상신호를 분석하여 현재 작품 앞에 있는 관객의 모습을 인식하고 그의 움직임을 연속적인 실루엣 외곽선 드로잉으로 나타내는 인터랙티브 컴퓨터 아트 작품이다. 작품 앞에 선 관객의 모습을 테두리선만으로 간결하게 드로잉하되 현재 한 순간의 모습만이 아닌 이전 순간들로부터 이어지는 연속동작들로 보여주어 동세를 나타나고자 했다. 제작에 있어 키넥트를 활용하여 비디오 프레임 이미지 안에서 배경은 제외하고 인체의 영역만을 분리해 내었다. 키넥트는 지능적인 처리를 통해 인물과 관련된 다양한 정보들을 손쉽게 얻을 수 있는 형태로 제공해주므로 작업이 용이해지며, 작품의 동작 성능에 악영향을 미칠 수 있는 여러 외부요인들을 차단하여 작품이 주변 환경에 크게 영향 받지 않고 원활히 동작할 수 있도록 도와준다. 코딩에 있어 키넥트를 통해 관객을 촬영한 동영상에서 배경은 제외한 인물영역만을 추출하고, 이 영역에서 실루엣 외곽선을 찾은 후, 최근 이루어진 연속동작들의 외곽선 데이터를 갱신하고, 마지막으로 이들을 한 화면 안에 중첩해서 드로잉 함으로써 연속동작의 동세를 표현하였다. 이후 같은 과정을 빠른 속도로 반복함으로써 관객이 실시간으로 작품과 인터랙션 하도록 하였다. 전시 결과 관객들이 흥미롭게 감상하며 즐거워하는 것을 확인할 수 있었으며, 관객이 큰 움직임을 보일 때 작품의 비주얼이 보다 풍성해지는 특성을 살리고자, 추후 여러 대의 프로젝터와 여러 대의 키넥트를 사용하여 보다 좌우 폭이 넓은 화면에서 경험할 수 있도록 작품의 너비를 확장하는 연구를 계획하고 있다.

A study on interactive computer art is pursued to analyse the video signal from Kinect to perceive the shape and movements of the participants aiming to visualize continuous silhouette outline drawings. Special interest was to explore a way to show the beauty of constant everyday movements with multiple but simple silhouette outline drawings to reveal a complex but natural continuum of movements. Programming was based on Kinect to utilize its intelligent features of recognition on human movements, which lessens the endeavor of the coding process significantly. Kinect also makes this work much more robust in terms of reliability by protecting the piece from various noises from installation environment, including complex background and harsh lighting conditions. Live video signal from Kinect was captured and analysed to select only the area where the participants are, and silhouette outlines were extracted from the area. Then outline data were managed to update and maintain the most recent silhouette outlines. Finally this data were drawn into one frame to show multiple continuous silhouette outlines. This whole process repeats itself fast enough to provide a realtime interactive experience. At the exhibition, the work was received happily by the participants and the visual of the piece got richer as the participants showed bigger movements. Therefore a next step of study is planned to enlarge the width of the work to encompass more movements from more participants, possibly using multiple beam projectors and multiple Kinects.