Earticle

코로나19의 유행으로 인하여 비대면을 통한 소통이 활발해지면서 온라인을 통한 공연인 줌 플레이가 기존의 공연에 대한 대안으로 등장하였다. 줌 플레이가 궁여지책으로 등장하였다 하더라고 각 작품이 예술작품으로서의 힘을 가지려면 줌 플레이라는 형식이 작품의 주제를 설득력 있게 전달하는 미학적 기획이 되어야 한다는 것은 당연하다. 이 연구에서 다루는 <The Mask Debate>(2021)는 김경현이 2020년 창작한 줌 플레이의 유튜브 영상 버전이다. <The Mask Debate>는 줌을 통해 실시간 공연될 수 있도록 쓰여진 작품으로서 연극과 영화, 비디오를 넘나드는 특성을 가졌지만, 이 연구에서는 이 작품을 영화 이론적 관점에서 분석하고자 한다. 이 작품을 영화의 맥락에서 보는 것이 타당한 이유는 다음과 같다. 먼저 이 작품은 현재 유튜브를 통해 보통의 내러티브 영화처럼 상영되고 있다. 둘째, 마지막 두 개의 장면이 내용상 줌 회의와 관련이 없음에도 불구하고 앞선 줌 회의 장면들처럼 화면을 분할하면서도 줌 고유의 그래픽은 삭제하였기 때문에, 이 장면의 시각적 구성은 일반적인 줌 플레이의 그것과 다르다. 더욱이 후반작업을 통해 작은 화면들에 움직임을 더한 연출은 분할화면을 적극적으로 실험해 온 디지털 영화의 영향을 드러낸다. 줌 플레이의 특성이 <The Mask Debate>에서 어떻게 영화적으로 변용되었는지, 이 작품의 서사를 효과적으로 전달하는지를 논의하는 것은 줌 플레이의 미적 가능성을 타진하는 일이 될 것이다. 또한 이 연구를 통해 기존의 영상 기법인 정면보기와 분할화면이 줌 플레이라는 형식을 만나 새로운 함의를 획득하는 과정을 고찰하고자 한다.

Along with the intact communication activated by the pandemic COVID-19, a Zoom play, referring to an online performance, appeared as an alternative to existing performances. Even if Zoom plays appeared to be any port in a storm, it is reasonable to conclude that they should be aesthetic projects that convey the theme of the work in a persuasive manner in order for each work to have power as art. This study examines The Mask Debate (2021), a YouTube video version of a Zoom play created by Kyung Hyun Kim in 2020. As a work in the form of a real-time Zoom play, The Mask Debate has characteristics that combine theater, film and video, but the study aims to analyze the work from the perspective of film theory. The valid reasons why this paper analyzes this work from a cinematic context are as follows. First, the work is being screened as a narrative film on YouTube. Secondly, though its last two scenes are not related to a Zoom meeting in terms of content, visual compositions of these scenes differ from those of a general Zoom play because they split the screen as in prior Zoom meeting scenes but with deleted graphics unique to Zoom. Moreover, directing which added motions to a small screen through post-production demonstrates the influence of digital films that involve active experiments on a split screen. Research on how the characteristics of Zoom plays were transformed in a cinematic manner in The Mask Debate and whether it conveys the narrative of the work effectively will examine the aesthetic potential of Zoom plays. In this case, the present study research intends to investigate the process by which existing cinematic techniques, i.e., a frontal view and a split screen, encounter Zooms play and present new implications.

본 연구는 영국 펀치드렁크(Punchdrunk) 극단을 중심으로 장소 특정적 예술을 둘러싼 사회 각 영역의 역학 관계와 그 관계들로 파생된 작품 안팎의 결과를 고찰한다. 이를 위해 앙리 르페브르(Henri Lefebvre)의 공간 생산 이론을 그 이론적 배경으로 삼는다. 펀치드렁크 극단은 도시의 빈 공간을 찾아 장소와 건축물이 가진 기왕의 용도 위에 그들의 퍼포먼스를 중첩하여 미로와 같은 초현실적인 공간을 만든다. 여기서 관객은 자신의 기존 감각 체계를 재배열하는 적극적인 참여의 과정을 통해서 자신만의 서사를 완성해 나간다. 관객의 선택과 이동에 따라 공간의 질과 맥락이 달라지는 이들의 공연은, 공간이 경험 이전에 존재하는 절대적, 선험적 결과물이 아니라 구성원의 상호작용을 통해 그 의미가 끊임없이 변화하는 과정 중에 있는 사회적 생산물이라는 르페브르의 주장을 상기시킨다. 르페브르는 생명체의 몸으로부터 시작한 공간이 주변과의 상호작용을 통해 끊임없이 확장되는 관계적이고 사회적인 공간 개념을 주장한다. 그의 이러한 이론은 펀치드렁크가 추구하는 공간의 사건성과 수행성을 설명해줄 뿐만 아니라, 더 나아가 작품을 둘러싼 사회 여러 층위들과의 관계를 설명하는 데도 적용 가능하다. 정부의 정책적 지원과 기업의 투자, 후원으로 대표되는 이러한 관계들은 극단의 성장을 위한 발판이 되기도 했지만, 장소를 상업화, 물신화시키는 위험도 함께 초래했다. 그러한 위험이 작품을 넘어 지역사회와 공동체에게 깊은 영향을 미친다는 측면에서 이는 예술 영역에서 뿐만이 아니라 사회 여러 분야에서 함께 논의되어야 할 과제이다.

Focusing on Punchdrunk Theater in England, this study examines the dynamics of each part of society surrounding site-specific art as well as the results inside and outside the works derived from those relationships. To do this, the study takes Henri Lefebvre's theory of spatial production as its theoretical background. Punchdrunk finds empty spaces in the city and creates a labyrinth-like surreal space like by layering performances on existing uses of places and buildings. Here, the audience completes their own narrative through the process of active participation by rearranging their existing sensory system. The performances, in which the spatial quality and context change depending on the audience's choices and movements, remind us of Lefebvre’s argument that space is not absolute with a priori results existing before experience but is a social product whose meaning constantly changes through the interaction with the audience. Lefebvre insists on the concept of relational and social space, in which space starting from the body of life expands through interactions with its surroundings. His theory is applicable not only to explain the eventuality and performativity of the space created by Punchdrunk but also to explain the relationships with various areas of society surrounding this work. These relationships, represented by government policy support and corporate investment and sponsorship, provide a foothold for the company’s growth but also bring the risk of commercializing and fetishizing places. In relation to how such risks have a profound impact on communities and their people beyond artwork, this is a task that must be discussed not only in the field of art but also in various fields of society.

코로나19로 인해 VR 콘텐츠가 주목받고 있는 가운데 VR 콘텐츠의 수요는 증가하였으나, 사용자들을 만족시킬 만한 다양한 콘텐츠의 제작은 부족한 상황이다. 본 논문에서는 VR 콘텐츠의 다양성과 사용자들의 호기심 충족을 위한 제스처 기반의 콘텐츠를 기획, 개발하였다. 새로운 형식의 콘텐츠를 찾는 사용자가 증가하게 되면서 산업계에서도 제스처 인식을 기반으로 하는 콘텐츠를 선보이고 있다. Meta Oculus에서는 제스처 인식 기술을 VR 기기에 탑재하였으며 이를 활용하는 콘텐츠들을 웹사이트에 적극적으로 소개하고 있다. 본 논문에서는 제스처 기반 인터페이스를 사용하여 콘텐츠를 제작하고, 수행할 수 있는 기능들을 설계하고 개발하였다. 디바이스는 제스처 인식 기술이 제공되는 Oculus Quest2를 이용하여 개발을 진행하였으며, Unity 게임엔진을 기반으로 콘텐츠를 제작하였다. 주언어로는 C#, JSON을 사용했으며, Autodesk 사의 3ds MAX, Blender를 사용하여 모델링 및 텍스처링을 진행했다. ‘Robot Doctor VR'은 HMD를 착용한 사용자가 자신의 손으로 직접 조작하며 인체의 기관을 치료하는 게임이다. 나노로봇이 되어 인체 내에서 병에 걸린 장기들의 모습을 살펴보고 치료하는 과정을 게임화하여 사용자들에게 새로운 경험을 제공할 것이다. 사용자의 몰입감 증진과 새로운 콘텐츠의 제시로 개발된 ‘Robot Doctor VR’은 추후 더욱 다양한 신체기관의 탐색을 위하여 현실감 높은 그래픽 콘텐츠의 개발을 목표로 하고 있다. 또한 다양한 제스처 인식을 통한 멀티플레이어로의 확장은 유저들 간의 협업을 통한 콘텐츠의 다양화를 가져오리라 생각한다.

While VR content is gaining in popularity as a result of the COVID-19 epidemic, the demand for VR material has also grown. Nevertheless, the amount of diverse content available to satisfy users is insufficient. In this paper, we planned and developed gesture-based content to pique users' interest in virtual reality and to demonstrate the range of VR content. The industry is currently generating gesture-based content in response to the growing need for new types of content. Meta Oculus incorporates gesture recognition technology into its virtual reality headsets and promotes gesture-based content on its website. We developed and implemented features in this study that enable the generation and execution of content using a gesture-based interface. The device was made utilizing the Oculus Quest2 gesture recognition technology and the Unity game engine. C# and JSON were used as the major programming languages, and modeling and texturing were carried out using Autodesk's 3ds MAX and Blender. 'Robot Doctor VR' is a virtual reality game in which the user manipulates the organs of the human body with their own hands while wearing a head-mounted display. With conversion into a nanorobot, the process of assessing and repairing damaged organs in the human body will be gamified, providing users with an entirely new experience. 'Robot Doctor VR,' which was created to boost user immersion and present new material, aims to develop more realistic graphic content in the future to enable investigations of a wider variety of human organs. Additionally, moving to multiplayer via gesture detection will result in increased content diversity through user participation.

본 연구의 목적은 미디어 이용 데이터와 인공지능을 활용하여 서울시민의 미디어 이용 변화를 <서울 미디어 리듬을 위한 연습곡>이라는 제목의 시청각 재현물로 표현하는 것이다. 이를 위해 앙리 르페브르의 “리듬분석” 이론을 토대로 미디어 이용을 생활시공간과의 관계 속에서 파악해야 하는 필요성에 대해 설명하고, KBS가 제공하는 <국민생활시간조사> 데이터를 시청각 재현물로 표현하기 위해 ‘점유율’ 및 ‘다양성지수’를 설정하였다. 이 지수들을 주로 서울시 지도에 시각적으로 표현하는 한편, 고전 인공지능 기법인 마코프 연쇄를 적용해 시각 재현물에 화음진행, 베이스 그리고 멜로디의 청각 요소를 덧붙였다. 이렇게 만들어진 <서울 미디어 리듬을 위한 연습곡>은 미디어 이용을 인간 감각이 직관적으로 지각하게 해 주는 새로운 데이터 표현 양식으로서 의의를 지닌다. 본 연구는 미디어 이용 리듬에 대한 공감각적 표현이 지니는 의미를 설명하고 후속 연구를 제언하였다.

This study aims to present the changes in media use by Seoul citizens in the form of a real-time audio-visualization prototype, entitled "Etude for the Media Rhythm of Seoul," based on media use data and artificial intelligence. For this purpose, we reviewed Henri Lefebvre’s theory of rhythmanalysis and addressed the necessity to understand media use in a spatio-temporal context. Next, we constructed two indices from the KBS Time Use Survey: a share-by-media type and a diversity index. These indices are expressed in an audio-visual manner on a map of Seoul, and a classical artificial intelligence technique, the Markov chain, is applied to add the auditory elements of melody and harmony to the visual representation. "Etude for the Media Rhythm of Seoul" created in this way has significance as a new data expression that allows the human senses to perceive the use of media intuitively. According to the results, implications and suggestions for synesthetic representations for media using rhythm are discussed.

본 연구는 이미지 스타일 트랜스퍼 모델을 활용한 한글 글꼴 생성에 대한 연구이다. 인공지능 기술을 활용한 이미지 스타일 트랜스퍼(Image Style Transfer)는 콘텐츠(Content) 이미지와 스타일(Style) 이미지를 각각 모델에 입력하여 내용을 구성하는 이미지는 변하지 않고 스타일만 다양한 이미지로 적용 및 학습이 가능한 인공지능 기반 이미지 변환 및 생성 기술이다. 본 연구는 이러한 이미지 스타일 트랜스퍼 기술을 한글 글꼴 생성에 적용하여 시인 이육사의 친필 이미지를 바탕으로 새로운 글꼴을 생성하는 것을 목표로 진행되었다. 연구를 진행하기 위해서 기본적인 이미지 스타일 트랜스퍼 모델인 pix2pix 모델과 학습에 필요한 글꼴 데이터의 절대량이 부족한 경우 유용한 DM-Font 모델(Dual Memory-augmented Font Generation Network 모델)을 활용하였다. 본 논문은 DM-Font 모델을 사용하여 실제 남아있는 필체 데이터의 양이 매우 적은 이육사 시인의 친필 이미지를 학습시켜 최종적으로 목적글자 736자를 생성하기까지의 과정을 기술하였는데 이미지 데이터 전처리로부터 변환 이후의 후처리까지 전 과정의 자세한 기술과 함께 모델 적용 시 발생된 문제점과 향후 보완점에 대해 논하며 모델 활용 개선 방안을 제시하였다.

This study focuses on the generation of Korean fonts using an image style transfer model. Image Style Transfer using artificial intelligence technology is an artificial intelligence-based image conversion and generation technology that allows content and style images to be input into models, respectively, with the images that constitute the content remaining unchanged and with only style applicable to and learned in various images. This study aims to create a new font based on the image of Yook-sa Lee's handwriting by applying this image style transfer technology to the generation of Korean fonts. In order to proceed, the study utilizes a basic image style transfer model, in this case the pix2pix model, and a dual-memory-augmented font-generation network model, useful when the absolute amount of font data required for learning is insufficient. The stud uses the DM-Font model to learn the handwritten image of a poet with a very small amount of handwriting data and finally to generate 736 target letters. It discusses the problems and future complementary points of the model application.

뉴미디어아트가 형성하는 지각적 공간은 신체의 다중감각으로 경험하는 가상적 실재화, 그리고 이중화된 이미지화 작용으로 인해 변화된 주관적인 공간이다. 즉, 기술적 장치의 매개적 성격과 스크린-인터페이스의 작용으로 인해 신체의 다중감각으로 미적 대상을 실재화시키는 과정, 스크린을 보는 관찰과 동시에 신체화되는 이중적 시각을 가지게 되는 것이라 할 수 있다. 이로서 뉴미디어아트는 관람자에게 공간을 신체로서 감각하게 하는 미적 지각을 형성하게 하는데, 이는 다시 공간이 가진 역사적, 문화적, 관습적 맥락과 뒤섞여 새롭게 공간을 인식하게 하는 요인이 된다. 따라서 뉴미디어아트에서 형성되는 지각적 공간이란 관찰자이면서 동시에 참여자인 관람객의 신체 내부에서 형성되는 내재적인 이미지화가 될 수 있을 것으로, 이는 다시 ‘지금-여기’에 존재하고 있는 현상학적이면서도 미학적인 현존재로서 환원되어 확장된다. 이와 같은 맥락에서 뉴미디어아트 인터페이스의 이중적이면서 작동적인 이미지화를 바탕으로 매체와 실시간으로 상호작용하는 가운데 형성되는 미적 지각은 다시 물리적으로 관계를 맺고 있는 공간으로 투사되어 상황적 공간, 사건적 공간, 그리고 장소로서의 공간을 형성하고 있음을 말하고자 한다.

The perceptual space formed by new media art is a subjective type of space that can be changed by virtual realization and redundant imaging as experienced by multiple senses of the body. In other words, it can be said that due to the mediating nature of technical apparatuses and the action of the screen as an interface, the process of realizing an aesthetic object with multiple senses of the body and the dual perspective of being the embodiment at the same time as observing the screen, are realized. As a result, new media art allows viewers to form an aesthetic perception that senses space as a body, which in turn mingles with the historical, cultural, and customary context of space to recognize new space. Therefore, the perceptual space formed in new media art can be an intrinsic form of imaging arising inside the bodies of users who are both observers and participants, becoming reduced and expanded as a phenomenological and aesthetic existence existing in the 'now-here'. In this context, based on the dual and operational imaging of the new media art interface, the aesthetic perceptions formed while interacting with the media in real time are projected back into a physically related space to form a situational space, an event space, and a space as a place.