Earticle

본 연구는 생성형 AI를 활용한 영상 작품 <기억의 전경>에 대한 이론적 배경과 작품구현 과정 및 의미에 대한 고찰을 목적으 로 한다. 이를 위해서 작품의 중심 개념인 공간과 장소 그리고 장소에 기반한 기억에 대한 이론적 고찰을 선행하고, 이를 바 탕으로 작품에 활용한 생성형 AI의 특징과 이를 활용한 작품의 의의에 대해 논한다. 인간의 삶은 공간을 전제로 하므로 공간 을 제외하고 우리의 일상이나 기억을 논하기는 어렵다. 기억이란 장소에 기반한 과거의 상황이나 장면에 대한 것인데, 카메라 렌즈처럼 당시 상황 전체를 균일하게 기억하는 것이 아니라 개개인의 주관적 정서와 감정 그리고 시간적 틈에 의해 전체가 아닌 일부를 기억하게 된다. 본인의 작품에서는 선명하게 기억되는 부분을 ‘기억의 전경’이라 정의하고, 전체 장면으로부터 이 전경 부분을 분리하기 위하여 그랩컷(GrabCut) 알고리즘을 사용한다. 그런 다음 분리한 전경 즉 이미지 파편들을 콜라주 방식으로 결합하여 하나의 이미지를 만듦으로써 기억의 불연속적, 불완전한 상태를 표현한다. 또한, 이 콜라주 이미지를 생성 형 AI의 ‘Image to Video’ 기능을 활용하여 영상으로 변환한다. 즉 이미지가 영상으로 변환됨에 따라 기억은 시간성을 획득 하게 된다. 이를 통해 시간의 흐름 속에서 항상 유동적으로 변화하는 기억의 특성을 영상으로 시각화함으로써 기억의 내부를 은유적으로 표현하고자 하였다. 이러한 작품구현 과정을 통해서 생성형 AI의 특징과 예술적 활용 가능성을 살펴보고 실제 작 업에서 이를 유의미하게 활용함으로써 새로운 영상 제작 방식과 표현 방법을 모색하고자 한다.

The aim of the current research is to examine the theoretical background implementation process and meaning of the video work Foreground of Memory using generative AI. For this purpose, we discuss theoretical considerations pertaining to space, place and memory based on place, which are the central concepts of the work as well as the characteristics of the generative AI used in the work and the significance of the work applying this tools. Because space always exists as a background in human life, it is difficult to discuss our daily lives or memories without space. Memories are about past situations and scenes based on a particular location. Rather than remembering the entire scene equally as though recorded through a camera lens, we tend to remember parts of the scene and not the whole depending on the individual's subjective emotions, feelings and temporal gaps. In my current work, the clearly remembered part is called ‘Foreground of Memory’, with the GrabCut algorithm used to separate the foreground part from the entire scene. The separated foreground or image pieces are then combined in a collage method to create a single image expressing the discontinuous and incomplete shape of memory. Additionally, this collage image is converted into a video using the ‘Image to Video’ feature of the generative AI. The discontinuous and static images of the collage acquire temporality through video creation; at the same time, the fluidity, transformation and distortion of memory are visualized through video, with the inside of memory thus metaphorically expressed. Through the process of implementing this work, we aim to investigate the characteristics and artistic application potential of generative AI and seek new video production paradigms and expression methods by utilizing them meaningfully during the actual production process.

본 논문은 청년 프레카리아트 노동자들의 고통을 시각화하는 장착형 기계장치 미디어아트 작품 <Working O’range>의 제작 배경과 창작 의도 및 제작 과정을 서술한다. 현대 디지털 시대의 청년 프레카리아트 노동자들은 고용불안과 인지 노동의 일상 화로 인한 정신적 고통에서 살아가고 있다. 본 연구는 베라르디의 ‘기호 자본주의’ 이론과 가이스탠딩의 취약성을 지닌 노동 자로서의 '프레카리아트' 개념에서 출발한다. <Working O’range>는 물리적 고통을 통해 신체의 반응을 기록함으로써 인지 노 동에 시달리는 청년 프레카리아트의 정신적 고통과 병리 현상을 재현해 보고자 했다. 작품은 머리에 장착하는 기계장치와 이에 물리적 영향을 받은 관람객의 심박 데이터를 실시간으로 보여주는 시각화 영상 설치로 주요하게 구성되었다. 버지스의 소설 『시계태엽 오렌지』에서 루드비코 요법의 기계장치에서 착안한 머리 장착형 기계장치는 뇌 모양의 형태를 띠며, 옆으로 부 착된 네 개의 손가락 형태 기계장치가 관람객의 신체에 물리적인 자극을 가한다. 장치는 실제 관객에게 고통스러운 수준까지 의 자극을 주기보다는, 관객에게 고통이 있음을 상기시키는 상징적인 고문 장치로 설계되었다. 관람객은 자극을 인지하며 신 체적으로 반응하게 되고, 그 반응의 정도는 심박 센서를 통해 심박수로 측정되어 실시간 영상으로 시각화된다. 작품은 프레카 리아트라는 사회현상을 해석하고 개인에게 미치는 불안함을 미디어아트로 풀어낸 사회 참여적 예술로써 그 의의가 있다. 정신적 고통을 장착형 기계장치를 통해 표현함으로써, 신체와 기계장치가 결합한 미디어아트에 있어 새로운 표현 가능성을 보 여주고자 한다.

This paper describes the background, creative intent, and production process of the wearable mechanical media art piece Working O'Range, which visualizes the suffering of young precariat workers. In the modern digital age, young precariat workers live with psychological pain caused by job insecurity and the normalization of cognitive labor. This research is based on Berardi's theory of 'semiocapitalism' and Standing's concept of the 'precariat' as vulnerable workers. Working O'Range aims to recreate the mental pain and pathological phenomena of young precariat workers who suffer cognitive labor by recording the body's response to physical pain. The work consists primarily of a head-mounted mechanical device and a video installation that displays a visualization of the heart rate data of the viewer in real time, influenced by physical stimuli. Inspired by the Ludovico Technique device in Anthony Burgess's novel A Clockwork Orange, the head-mounted mechanical device is shaped like a brain, with four finger-like mechanisms attached on each side that physically stimulate the viewer's body. Rather than inflicting a painful level of stimulation, the device is designed as a symbolic torture apparatus that reminds viewers of the presence of pain. Viewers perceive the stimuli and respond physically, with the degree of their response measured through heart rate sensors and visualized in real time. This work is significant as socially engaged art that interprets the social phenomenon of the precariat and expresses the anxiety affecting individuals through media art. By expressing mental pain through a wearable mechanical device, the work aims to demonstrate new possibilities for expressions in media art that combine the body and mechanical devices.

‘경로’는 작업의 주요 소재이자 개념으로서 영상에서는 선 애니메이션의 방식으로 표현돼 왔다. 하지만 경로의 속성을 고려했 을 때 경로의 이동성과 관념성을 드러낼 수 있는 표현의 필요성이 증대하였다. 여러 사물을 연결하여 경로를 만드는 것은 사 물의 속성을 의미적, 형태적 차원에서 이해함으로써 가능해진다. 사물의 연결을 통한 경로의 생성은 2019년부터 2021년에 제 작한 4편의 영상작업에 잘 나타나 있다. <Flag-Barricade>에서는 깃발과 도로 방호벽을 주된 사물로 하여 자유와 통제의 대 비를 시각화한 작업이다. 깃발과 방호벽은 조형적 형태로서 반복과 패턴의 이미지를 만들게 된다. <City-Relinked>는 공사 현장을 배경으로 근로자들이 철 파이프를 나르는 모습을 보여준다. 작품에서 철 파이프는 경로를 사물화한 것으로 그것을 건 네주고 받는 과정을 경로가 진행하는 것으로 보았다. <Into the City_>와 <Out! 나가는 곳>은 현실과 내면이 공존하는 공간 으로서의 도시를 배경으로 한다. 도시의 안으로 그리고 밖으로의 탈출을 위해 경로가 만들어진다. 두 작품은 동일한 사물들의 장면을 공유하고 있다. 글리치된 안내화면과 물줄기, 터널, 배수관 등 다양한 사물을 통해 도시에서의 내면의 불안과 공허를 드러내고 있다. 작품분석을 통해 밝혀진 점은 사물로 연결된 경로의 주요한 속성이 이미지적 운동성과 이동성이라는 점이다. 영상에 등장한 사물들은 그 역할에 있어 다양하게 분류된다. 여러 의미의 연결이 가능한 것은 사물이 ‘표면-본체’의 어디에도 속하지 않는 하나의 단일체이기 때문이다. 사물은 하나의 객체이면서 그 자체가 행위 능력을 갖추고 있다고 보며 그러한 사물 의 속성은 자유로운 이동이 가능한 영상에서 더욱 분명하게 드러난다고 생각한다.

The concept of the pathway has been a central theme in art works, often depicted through line animations in videos. However, considering the attributes of a path, there is an increasing need for expressions that reveal both the mobility and conceptual attributes of a pathway. Creating pathways by connecting various objects is possible when understanding the attributes of objects in semantic and formal dimensions. The creation of pathways through the connection of objects is well represented in four video works discussed here, produced from 2019 to 2021. In <Flag-Barricade>, the main objects are flags and road barricades, visualizing the contrast between freedom and control. Flags and barricades create images of repetition and pattern as sculptural forms. <City-Relinked> depicts workers carrying steel pipes against the backdrop of a construction site. In the artwork, steel pipes are objectified pathways, and the process of passing them back and forth is seen as the progression of the pathway. <Into the City_> and <Out! Way Out> are set against the backdrop of the city as a space where reality and inner experiences coexist. Pathways are created for both entering into and escaping out of the city. The two works share scenes of the same objects. Glitched navigation screens, water streams, tunnels, drainage pipes, and various objects reveal the inner anxiety and emptiness within the city. Through an artwork analysis, it is revealed that the key attributes of pathways connected by objects are image-based mobility and movement. The objects appearing in the video are classified diversely according to their roles. The ease of various meaningful connections lies in the fact that objects are a single entity that does not belong to any part of the philosophical notion of 'surface-substance'. I believe that an object is not only an entity but also possesses the ability to act on its own, and such attributes of objects are more clearly revealed in videos that allow for free movement.

본 연구에서는 제임스 뉴튼 하워드(James Newton Howard)의 음악에 활용된 유사한 리듬 윤곽의 특징이 영상연출의 전개에 있어 어떠한 상호작용을 나타내는지 고찰하고자 하였다. 이를 위해 윤곽이론의 이론적 배경을 이해하고, 음악감독이 활용한 리듬 윤곽을 분석하는 것을 통하여 영상매체 안에서의 다양한 역할 등 음악과 영상의 상호작용성을 조명해 보았다. 연구의 결과, 제임스의 작곡기법 중 리듬적 특징으로 유사한 윤곽 또는 다양한 리듬 변화를 활용하였음을 확인하였다. 또한 특정 리 듬이나 패턴을 반복하는 기법을 활용하여 음악의 특징을 담아내고 있으며, 반복하는 리듬패턴을 의도적으로 배치하여 만들어 내는 독특한 리듬 작법을 사용함을 알 수 있었다. 유사한 리듬 윤곽과 영상의 상호작용성 특징으로는 감독이 연출하고자 했던 내러티브적인 요소들이 동일한 리듬 윤곽을 통해 효과적으로 전달됨으로써 나타나는 ‘내러티브적 연관성’, 등장인물의 심리상 태나 주인공의 영화 속 역할을 유사한 리듬 윤곽을 통해 표현하여 얻어지는 ‘몰입효과’, 음악에서 사용되는 리듬 기법들이 영 상 속 등장인물들의 캐릭터 특징이나 상황적 특징과 결합하여 감독이 연출하고자 했던 의도들이 더욱 부각되는 ‘연상효과’를 도출할 수 있었다. 본 연구를 통해 리듬의 특정 작법이 영상과의 상호작용을 높이는데 직접적인 요인이 될 수 있음을 확인할 수 있었으며, 도출된 연구 결과가 영화음악 창작활용 방안을 위한 유의미한 자료로 활용되기를 기대한다.

This study attempts to examine the characteristics of the similar rhythm contours used in movies and how James Newton Howard’s music and images interact. To do this, understanding the theoretical background of Contour Theory and analyzing the music of James Newton Howard’s movies serve to highlight the interaction between music and movies, including various roles in these videos. As a result, certain rhythm characteristics of James Newton Howard’s technique, such as repeating the same rhythm patterns or contours, and the intended organization of the rhythm pattern, were revealed. In addition, interactions between the movies and similar rhythm contours have three major effects. First is the ‘Narrative Association’, in which what the director wants to direct is effectively conveyed through an identical rhythmic outline. Second, similar rhythmic contours and video interaction characteristics form the 'Concentration Effect', which appears as narrative elements that the director wants to direct that are effectively transmitted through the same rhythmic contours. Third, rhythmic techniques used in the music, combined with the character or situational characteristics of the actors in the video, are able to derive a ‘Remind Effect’, in which the intentions of the director are further highlighted. Through this study, it was confirmed that a specific method of rhythm could be a factor that direct enhances the interaction with images, and it is expected that the derived research results will serve as meaningful data to enhance the creativity of film scoring.

본 연구에서는 2022년 한국문화예술위원회의 메타버스 예술활동 지원사업의 일환으로 수행된 프로젝트를 분석하며 최근 차세대 인터넷으로 등장한 메타버스 플랫폼과 생성형 AI도구를 함께 활용한 예술작품의 사례와 의미를 탐구한다. ｢메타-워리돌 (Meta-Worrydoll)｣프로젝트는 자동화된 인공지능(AI) 기반의 대화형 창작시스템으로 개념적으로는 아날로그적인 ‘걱정 인형’과 디지털 가상 세계의 ‘아바타’를 결합시킨 것이다. 전 세계적으로 많은 사용자를 보유하고 있는 디센트럴랜드 (Decentraland) 메타버스 플랫폼을 기반으로 추가적인 기능들을 자체 개발하였다. 이 프로젝트에서 관객들은 5개 유형의 가상 공간들 중 한 곳을 선택하여 이동하며 숨겨진 워리돌을 찾고 텍스트 입력을 통해 대화를 나누게 된다. 해당 내용은 데이터베이스에 저장되어 문학 생성 알고리즘을 통해 새로운 스토리를 생성하고 관객들이 공간의 탐험을 모두 마치면 저장된 스토리를 기반으로 이미지 자동 생성 알고리즘이 시각적인 창작물을 생성하며 이를 다시 NFT 아트 플랫폼에 스토리와 함께 민팅(Minting)하게 된다. 참여자의 이메일로 창작된 결과물의 링크가 함께 발송되어 관객들은 본인의 탐험이 어떠한 아트워크를 생성했는지 확인할 수 있다. 별도로 마련된 온라인 전시 사이트에서는 다른 참여자들의 결과물도 함께 감상할 수 있다. 메타버스 플랫폼과 AI 기반의 새로운 관객 참여형 전시 형식을 시도하는 본 프로젝트는 게임에서 사용자의 퀘스트 수행 후 아이템 등의 보상이 주어지는 것처럼 관객의 탐험에 대한 보상이 예술작품으로 주어지는 것으로도 해석해 볼 수 있겠다. 선행사례들의 분석을 통해 메타버스 플랫폼 상에서 각광받고 있는 공연의 형식과 최근 예술창작의 주체로 떠오르고 있는 인공지능 예술의 의미와 형식에 대한 논의를 도출한다. 그리고 전시를 통해 메타버스 플랫폼에서의 문화예술 활동에 대한 대중들의 접근성과 세대 간의 미디어 디지털 리터리 시 인식의 차이점을 관찰하고 분석하여 추후 수정 · 보완할 수 있도록 향후 연구의 방향을 제안한다.

In this study, we analyze a project carried out as part of the Metaverse art support project 2022 by Arts Council Korea and explore examples and meanings of artworks using both the Metaverse platform, which recently emerged as the next-generation Internet, and generative AI. This refers to an automated artificial intelligence (AI)-based interactive art-making system that conceptually combines the analog the ‘Worry doll’ and the ‘Avatar’ of the digital virtual world. The project was developed independently based on Decentraland, a metaverse platform widely used around the world, and audiences find Worridolls at five points hidden in a space and chat with them through text input. When the audience has finished exploring the space, these contents are stored in a database and a new story and image based on the story are created through a generative AI algorithm, at which point is a minting process then occurs, allowing sharing on a NFT art platform. A link to the results is then sent to the participants' email addresses, allowing the audience immediately to see the types of artworks their explorations have created. It is also possible to view the results of other participants on a separate online exhibition site. Through this project, we attempt to create a new audience-participating exhibition format based on the Metaverse platform and generative AI. Here, as in games where rewards such as items are presented after the user completes a quest, audience exploration in this project is also rewarded as a form of artwork. Through an analysis of previous cases, we discuss the meanings and forms of artificial intelligence art, which has recently emerged as a subject of artistic creation. Through the exhibition, we observe and analyze the public's accessibility to cultural and artistic activities on the Metaverse platform and observe differences in the levels of awareness of digital literacy between generations, ultimately suggesting directions for future research to modify and supplement the work here in the future.