Earticle

본 연구는 이미지 데이터에 머신러닝 스타일간2(StyleGAN2) 알고리즘을 적용하여 생성된 영상 이미지 작업의 특성과 의미에 대한 고찰이다. 특히 이미지 데이터의 속성에 관계된 본 연구자의 작업 주제와 문제의식을 스타일간2 알고리즘의 역할과 무 작위적 특성과 연관하여 살펴보고자 한다. 스타일간2를 활용한 작업을 위해 본 연구자는 작업 주제와 소재가 되는 아카이브 이미지 데이터들을 수집하고, 영상 기록을 이미지 데이터로 변환하였다. 그리고 작업 주제와 개념에 따라 분류하고 스타일간2 에 적합하도록 이미지 데이터의 해상도와 크기 등을 조정한 후, 머신러닝 스타일간2 알고리즘 훈련(training)을 거쳐 모델 (model) 이미지와 영상을 생성(generate)하였다. 그렇게 생성된 모델에 이미지 데이터들을 다시 훈련하게 하는 과정을 반복하 여 새로운 모델 이미지와 영상 결과물을 산출하였다. 이러한 작업에서, 이미지 데이터 세트의 내용과 소재는 머신러닝 스타일 간2를 활용한 작업의 의미를 결정하는 데 가장 중요한 근거가 된다. 특히 본 논문 연구작업에서 아카이브 이미지 데이터와 미술사 슬라이드 데이터를 활용하여 생성된 이미지 결과물들은 작가의 작업 개념 및 의도와 연관된 의미 있는 특성들을 표현 한다. 이러한 특성들을 생성하는 머신러닝 알고리즘 스타일간2의 역할에 대해 본 연구자는 기존에 통용되는 알고리즘의 전산 적 창조성(computational creativity)의 맥락에서 ‘양도적 창조성’(Bestowed Creativity)이라는 용어를 창안한다. 이 새로운 용 어는 작가(연구자)의 창조성을 스타일간2 알고리즘의 역할과 어느 정도 공유한다는 의미를 지니고 있으며, 작가의 창조성 일 부를 양도한다는 맥락으로 제시하는 것이다. 궁극적으로, 이러한 과정을 통해서 머신러닝 스타일간2 알고리즘의 기술적 특성 과 역할 등을 살펴보고, 본 연구자의 작업 확장 가능성을 가늠하고자 한다.

This study focuses on the meaning and characteristics of video images generated by the machine learning algorithm StyleGAN2 using my image datasets. I will examine my intention and concepts with regard to image data using the randomness characteristic of the StyleGAN2 algorithm. The contents and materials of the image datasets are the basis to determine the meaning of the work overall. In this paper, I focus the characteristics of the resulting images generated by the machine learning algorithm StyleGAN2. In particular, a meaningful particularity is presented in the generated resulting images from archive image data and art history slide data. Based on the working process of StyleGAN2 and on the image datasets, I intend to define the computational creativity of the machine learning algorithm as “bestowed creativity” that serves to generate novel aesthetic images without direct human manipulation. In a sense, because my image data conveys my ideas and concepts as they pertain to the generated results, the main creator is the artist (me), but I would like to share the creativity with the machine learning algorithm to which the concept of ‘bestowed creativity’ is given. At the same time, I am willing to extend the possibility of works using machine learning algorithms and examine the corresponding technological particularity and limitations. I would like to share the definition of “bestowed creativity” with computational creativity from an artistic conceptual perspective.

이 연구는 미각을 은유적으로 연계하여 다양한 데이터를 기반으로 한 새로운 콘텐츠 작품 설계와 이에 대한 실험·평가에 관한 것이다. 이 연구의 개념적 기초로 20세기 초반 이탈리아 퓨처리스트의 ‘퓨처리스트 요리 선언’의 주요 개념들 중 현재 시대정 신과 적합하다고 판단되는 주요 개념으로 ‘미각’, ‘식사’, ‘통합감각’, ‘장르통합’, ‘은유’를 추출하고 이를 토대로 연구의 기초 개념들을 상정하였다. 식탁 위의 식기 오브제와 연동하는 프로젝션맵핑 기법을 활용하고 식사 맥락에서 실시간급상승검색어 등 한국의 실시간 데이터를 재현함으로써 식사와 미각을 은유적으로 활용한 데이터 콘텐츠 디자인을 해결책으로 제안하고 1 차 프로토타입 <만찬>을 구현함으로써 미각을 은유적으로 연계한 데이터 콘텐츠 디자인을 기본형을 제시하고자 하였다. 이후 <만찬>의 단순성을 극복하고 트위터 트윗, 인터넷뉴스기사제목, 날씨정보의 다양한 데이터 활용과 정보의 통합감각적 재현을 위해 4개의 <입의 향연>연작을 제작, 실험, 발표, 평가하였다. 4개 버전의 시행착오를 통해, 적절한 데이터 선정과 조합, 참여 자를 위한 쉬운 콘텐츠 제작 그리고 적극적인 상호작용의 유도를 갖춘 <입의 향연> 프로토타입 구현에 일부 성공하였다. 그 러나 데이터 재현의 조형성 부족과 촉각과 같은 다른 감각과의 소극적 연계라는 전문가 평가도 있었다. 이 연구를 위한 방법 론으로 벤 프라이가 제안한 비선형적 순환반복법인 7단계 데이터시각화 방법론을 수정한 저자의 연구방법론을 적용하였다. 이 연구는 미각을 은유적으로 연계하여 시청각을 통합하고 감각의 평등성을 추구하려는 시도와 이를 위한 실시간 데이터 콘 텐츠의 프로토타입 설계를 위한 시행착오 과정을 적나라하게 공유한다는 점에서 연구가치가 있다. 그러나, 미각을 중심으로 보다 다양한 감각과의 연계와 통합감각적 조형성에 대한 보다 긴밀한 추구가 필요하다는 한계점을 가진다.

This study is about the design, experimentation and evaluation of new content works based on various types of data by metaphorically connecting to taste. To establish the conceptual foundations for this study, the author extracted 'taste', 'dinner', 'cross-modality', 'genre integration', and 'metaphor' among the concepts of the 'Manifesto of Futurist Cooking' of Italian futurists in the early 20th century, which are suitable for the current zeitgeist. The basic concepts of the study were set based on these foundations. A data content design that metaphorically utilizes food and taste was proposed as a solution using the projection mapping technique linked with tableware objects on a table and representing real-time Korean data such as real-time search words in the context of a dinner. Based on this, by implementing the first prototype, Dinner, the author attempted to present the basic form of the data content design that metaphorically linked to taste. Afterwards, overcoming the simplicity of Dinner, four Banquet of the Mouth series were produced, tested, and evaluated in order to utilize various types of data, such as Twitter tweets, Internet news headlines, and weather information, and to represent information in a cross-modality format. Through trial-and-error with the four versions, some success was realized when implementing The Banquet of Mouth with appropriate data selection and combinations, easy content creation for participants, and active interaction affordance. However, there was also criticism from an expert who commented on the lack of the visual formativeness of data representation and passive connections with other senses, such as tactile sensation. As a methodology for this study, the author's research method, which modified the seven-step data visualization methodology proposed by Ben Fry, was applied. This study has research value in that it explicitly shares the trial-and-error process for designing prototypes of real-time data content for an attempt to integrate audiovisual content and to pursue equality of the senses by metaphorically connecting to taste. However, it has limitations in that it is necessary to link with more diverse senses centering on taste and to pursue a closer representation of cross-sensory formativeness.

본 연구는 우리 삶의 토대라 할 수 있는 ‘공간’이라는 존재를 심리적으로 교감할 수 있는 대상으로 바라보는 것에서부터 시작 한다. 수많은 공간 중에서도 특히 ‘건축 공간’을 중심으로 하여, 그것을 물리적인 대상으로 파악하기보다는 감각적, 정서적 경 험의 차원으로 인식할 수 있다는 관점을 바탕으로 한다. 공간에서의 경험은 관조로서는 이루어질 수 없는 상호소통의 관계 속에서 발생한다. 우리는 다양한 공간과 관계를 맺으며 살아가기 때문에 공간을 제외하고 일상의 삶과 기억을 논하기는 어렵 다. 공간을 기반으로 한 경험은 우리의 기억을 형성하는데, 본래 기억이란 연속적이지 않으며 파편화되어 끊임없이 재구성된 다. 본 연구자는 이러한 불연속적이며 동적인 구조를 갖는 기억의 내부를 작품을 통해 시각화하고자 한다. 이를 위해서 파편 화된 이미지들을 조합하여 그 안에서 새로운 관계와 의미를 형성하는 콜라주의 개념과 기법을 차용하였다. 이를 바탕으로 파 편화된 공간 이미지를 우연성과 중첩에 의해 한 화면에 조합해주는 ‘Structure of Structures’ 작품 시리즈와 인터랙티브 디지 털 콜라주 시스템인 ‘metaCollageⅠ’을 설계하였다. 사용자들은 이 시스템을 이용하여 이미지 조각들을 화면에 구성하고, 각 조각의 속성들을 세부적으로 조정하여 콜라주 작품을 구현할 수 있다. 본 작품을 통해 이미지 조각들을 화면에 결합하여 기억 의 형상을 시각적으로 조형화하고, 기억의 조각 사이에서 새로운 관계와 의미를 생성함으로써 기억의 조각들로 구성된 기억, 기억의 메타적 실현을 표상하고자 하였다.

This study begins by looking at the existence of “space” as the basis of our lives as an object that can communicate psychologically. In particular, it is based on the perspective that it can be perceived as a dimension of sensory and emotional experience rather than as a physical object, focusing on 'architectural spaces' among numerous spaces. Experience in space arises in the relationships associated with mutual communication that cannot be achieved through contemplation. Because we live in relationships with various spaces, memory cannot exist except in space. Experiences based on space form our memories, and the original memories are not continuous but are fragmented and constantly reconstructed. I want to visualize the interior of this memory, which has such a discontinuous and dynamic structure, through my work. Based on this, I designed the ‘Structure of Structures’ series of works, combining fragmented spatial images into one screen through contingency and overlap, and I designed “metaCollage I,” an interactive digital collage system. Users can use this system to compose image pieces on a screen and fine-tune the properties of each piece to create a collage. Through this work, image fragments are combined on the screen to shape the shape of memory visually, and by creating new relationships and meanings between the fragments of memory, the intent here is to represent the meta-realization of memories and memories composed of fragments of memory.

본 연구에서는 영화 《설국열차》와 《옥자》를 중심으로 두 영화 안에서 메타포로 해석될 수 있는 각각의 요소를 세 가지 특징으로 유형화 한 뒤, 이것의 세부 내용을 비교 분석한다. 메타포의 의미와 역할로는 서로 다른 대상이 지닌 본질을 동일시 하는 과정을 통해 생각의 전환과 사유의 확장을 일으키는 ‘서로 다른 기호의 결합’과, 두 개념 간의 영향 관계로 새로운 문맥 과 의미가 형성되는 ‘새로운 의미 발생’이 있다. 영화적 배경과 전개로는 ‘생태 위기로 인한 갈등’과 ‘자본주의와 생명착취’가 있는데, 이는 모두 영화 안에서 극심한 갈등과 부조리, 폭력을 경험하게 되는 요인으로 작용한다. 영화에서 주요 메타포를 세 가지 성격으로 유형화한 뒤, 이로부터 각각의 대상을 비교 분석한다. ‘현실 저항 행위로서 메타포’에서는 부조리한 현실에 대 한 저항 표현으로 인물의 행위가 중심이 된다. 설국열차에서 ‘문 열기’, 옥자에서 ‘문 부수기’, 설국열차에서 ‘돌진’, 옥자에서 ‘뜀’이 이에 해당한다. ‘위기 해결 사물로서 메타포’에서는 위기 상황을 돌파해 나가기 위한 수단이자, 상호 거래의 목적으로 사물이 등장한다. 설국열차에서 ‘성냥불’, 옥자에서 ‘블랙박스’, 설국열차에서 ‘크로놀’, 옥자에서 ‘황금 돼지’가 이에 해당한다. ‘상태회복 메시지로서 메타포’에서는 극 중 위기 상황이 종료되고 상태가 정화되는 것으로서 살아있는 자연과 생명이 등장한 다. 설국열차에서 ‘눈’, 옥자에서 ‘감’, 설국열차에서 ‘북극곰’, 옥자에서 ‘아기 돼지’가 이에 해당한다. 공통의 메타포 안에서도 영화적 세부 전개와 문맥에서 비롯되는 차이를 발견할 수 있다. 메타포를 통하여 이처럼 다양한 각도에서 영화를 해석할 수 있으며, 영화 전체와 세부를 풍부하고도 다층적으로 읽을 수 있다.

This study categorizes the elements that can serve as metaphors in two films, Snowpiercer and Okja, according to three characteristics and compares their details. The meanings and roles of metaphors can be explained as a ‘combination of different symbols,’ which causes a change of thought and the expansion of reason in the course of identifying the nature of a subject relative to that of another; and the ‘generation of a new meaning,’ which forms a new context and meaning through the mutual relationship between two concepts. The cinematic background and development in these films are a ‘conflict caused by an ecological crisis’ and ‘capitalism and exploitation of life, respectively .’ These act as the main reasons the characters experience extreme conflict, irrationality, and violence in the films. This study categorized the key metaphors in the films according to three characteristics and conducts a comparative analysis of each subject considering these characteristics. With regard to ‘metaphors as the act of resisting reality,’ the actions of characters become the main expression of resistance against unreasonable reality. They are the ‘door opening’ in Snowpiercer, the ‘door crushing’ in Okja, ‘rushing’ in Snowpiercer, and ‘running’ in Okja. For ‘metaphors as crisis-solving objects,’ objects appear as the means to break through the crisis and as the purpose of mutual trade. They are the ‘light of a match’ in Snowpiercer, the ‘black box’ in Okja, ‘Kronol’ in Snowpiercer, and the ‘Golden Pig’ in Okja. For ‘metaphors as a status-recovering message,’ living nature and life appear after the resolution and clearing up of the crises in the films. These are the ‘eyes’ in Snowpiercer, ‘persimmons’ in Okja, the ‘polar bear’ in Snowpiercer, and the ‘piglet’ in Okja. Differences due to the details of cinematic development and context could be found even with common metaphors. By using metaphors, films can be interpreted from various angles and the films overall and details can be viewed in a multi-layered, rich context.

오늘날 새로운 예술과 문화 현상이 나타나고 있다. 이미지와 영상은 점점 더 압축되어 빠르게 소비되고, 내러티브와 길이가 긴 영상보다는 짧게 압축되고 간결한 메시지를 지닌 쇼트 폼(short-form)콘텐츠가 각광받고 있다. 본 연구는 오늘날 이러한 쇼트 폼 콘텐츠와 이미지, 동영상이 소통되는 근원적 이유와 이것이 오늘날 우리에게 되돌려주는 영향은 무엇일지에 대해 생 각해보고자 한다. 이를 위해 먼저 디지털 시대에 재생산(복제)되는 다양한 이미지 중에서도 저화질의 이미지와 짧은 영상을 생산하는 대표 플랫폼이라 할 수 있는 틱톡(TikTok)과 지피(GIPHY)의 사례를 통해, 쇼트 폼 콘텐츠에 대해 살펴보고자 한 다. 이후, 이들을 히토 슈타이얼(Hito Steyerl)이 ‘빈곤한 이미지(poor image)’라는 개념으로 논한 이미지 문화 분석을 차용, 발전시켜 현 시대의 이미지 영상 문화를 재해석한다. 이는 슈타이얼 이후 오늘날 우리가 바라보는 빈곤한 이미지는 무엇이며 최근 이러한 이미지들이 끊임없이 생산되고 유통 및 소비되는 이유는 무엇일지에 대한 답을 구하는 과정이다. 히토 슈타이얼 이 ‘빈곤한 이미지’에 대해 저술하였던 2009년과 달리, 오늘날의 예술 및 영상 문화 더 빠르게 배포되고 유통되고 있으며 특 히 콘텐츠의 소비 습관이 모바일을 중심으로 변화하였다. 그리고 본 연구가 탐색해 본 대중의 이미지, 다수가 만들고 향유하 는 이미지로서의 오늘날의 빈곤한 이미지는 모두가 창작자가 되고 손쉽게 자신을 표현하는 수단으로 사용되고 있다. 이는 분 명 오늘날의 빈곤한 이미지와 영상이 정보의 공유와 유통에 있어 커뮤니케이션 기회 증대 등의 긍정적 영향과 새로운 가능성 을 갖는 것이라 할 수 있다. 그러나 동시에 커뮤니케이션의 내용 자체를 점점 더 공허하고 텅 비게 만드는 역할을 하고 있음 도 함께 살펴볼 수 있었다. 본 연구는 오늘날의 심화되어 생성되는 빈곤한 이미지들이 경제적 효과와 오락적 측면에서 고찰될 것만이 아니라 오늘날의 젊은 세대와 사회 문화에 미치는 영향까지를 좀 더 반영적으로 고찰해 볼 필요성이 있음을 논한다.

New artistic and cultural phenomena are appearing in the present day. Increasingly, images and videos are compressed and consumed quickly, and short-form content with concise messages compressed in short rather as compared to long narratives and videos is now being spotlighted. This study focuses on low-quality and short-form content images among the various images reproduced (replicated) in the digital age in relation to how Hito Steyerl redefined what he called the ‘poor image’ to fit the present era. After Steyerl, we discuss the images of poverty present today and their impact on the younger generation and present society. The study suggests why these images are constantly being produced, distributed, and consumed. Clearly, current images and videos of poverty have deepened, and they have a positive influence and show new possibilities, such as increasing communication opportunities in terms of the sharing and distributing information. Anyone can become a creator through public image or with a view of poverty with characteristics that can be created and seen by many, easily using these images as a tool of expression. However, on the one hand, although the frequency of communication increases with the meaning of the ‘poor image’, the content of the communication itself becomes increasingly poor, and empty images and videos are thus produced and created.

본 논문은 영화 <물속의 도시>(2014)에 나타난 소리와 이미지가 가지는 고유한 역량을 살피고, 시청각 이미지의 변주가 촉발 하는 감응(感應 affect)의 경로를 분석한다. 영화는 1980년대 초 다목적댐 건설로 생성된 충주호를 중심으로 수몰된 마을의 흔적과 기억을 탐사하는 다큐멘터리이다. 감독 김응수는 그의 특기인 에세이 양식의 목소리 사용을 배제하여 소리와 이미지 의 대위에 집중한다. 영화는 호수 주변 자연의 소리, 아카이브 라디오 음성 및 인터뷰 음성 등을 포함한 사운드스케이프 (scoundscape)를 구성하여 청각 이미지화하고, 풍경 및 인물 숏, 사진을 포함한 시각 이미지를 품는다. 출처 불명의 소리들이 솟아올라 시각 이미지와 불화하고,, 카메라는 눈 앞에 보이는 것들을 길게 응시하지만 다 보여주지 않으며 카메라의 시선을 드러낸다. 사라진 마을과 기억은 눈으로 볼 수도 들을 수도 없지만, 이러한 비재현적 시청각 이미지 간의 불화 속에 관객의 신체는 감각의 논리에 의해, 보고 듣는 것 이상의 감각 즉 촉지적(haptic) 감각을 추동하여 사라져버린 물속의 도시와 마주할 수 있다. 영화는 이렇듯 관객의 복합적인 감각과 정서 사이를 이행하며 다의적이고 모호한 감응을 촉발한다. 이로써 공적 역 사에 가려 보이지도 들리지도 않던 과거가 ‘지금-여기’에 소환되어 이미지 역사가 되고, 영화는 시간-이미지로 사유 가능하 게 된다. 이 연구는 감응의 개념을 개괄하고, 보이고 들리는 이미지를 분석하여, <물속의 도시>가 관객으로 하여금 어떻게 보 이지도 들리지도 않는 새롭고도 낯선 저 너머로 감-응하게 하는가를 고찰한다.

This article analyzes the unique capabilities of sound and visual images in The City in the Water (2014) and investigates how ‘affects’ are evoked by these discordantly choreographed audio-visual images. The documentary explores the traces and memories of 300 villages submerged in the manmade Lake Chungju, which was created by the construction of a dam in the 1980s. Unlike in his essay films, the director, Kim Eungsu, rather focuses on the contrapuntal juxtaposition of the images in this film by excluding the essay-style use of his own voice. He operates a soundscape, including sounds of nature around the lake, sounds of an archived radio show, and villagers’ voices and features visual images such as landscapes of the area, close-ups of the villagers, and archival photographs. While sounds of unknown origin pop up to reverberate, the camera focuses on what is visible on the screen as it reveals its gaze. Not in synch, the images appeal to the body of viewer to sense and perceive more than what is visible and audible as offered in the film. Consequently, the images lead us to haptic experiences due to the logic of sense such that what each image represents becomes more obscure and complex, and we may be affected such that we perceive a new time-memory. As these non-representational images provoke affect, the film renders our experience over the spatialization of time. Finally, the film summons the past, which could not be seen or heard, to ‘now-here’, for the viewers to sense and perceive. We, now, can invite history as image and the film becomes time-image cinema. This study examines why viewers experience such embodied affects.