Earticle

독립형 VR기기가 활발히 개발되기 전 스마트폰을 HMD로 만들려는 움직임이 있었고 구글의 카드보드와 삼 성의 기어 VR이 그 예이다. 하지만 독립형 VR기기의 출시와 모바일 기기의 한계로 현재는 대부분 AR로 전 환되어 사용되었다. 그렇지만 지난 10년간 모바일 VR과 AR의 기술도 발달했지만, 그동안 모바일 기기의 성 능도 향상되었다. 따라서 발달한 기술들을 바탕으로 손 추적을 뛰어넘어 손동작 분류를 모바일 기기에서 기 존의 VR과 AR 콘텐츠와의 상호작용에 활용할 수 있다. 본 논문에서는 Manomotion을 이용하여 2D 또는 3D 의 골격을 추적하고 손동작 분류를 구현했으며 게임을 사용하여 검증하였다.

Before standalone mobile VR (Virtual Reality) were actively developed, there was a movement to make smartphones into HMD (Head-Mounted Display). Google's cardboard and Samsung's GearVR are examples. However, smartphone-based VR has shifted to AR (Augmented Reality) due to the release of standalone VR and the limitations of mobile devices. As examples of using the AR, we can wear accessories even without trying them on, and we can be also guided by arrows on the map when finding a place that we have never visited before. Over the past decade, mobile devices' performance has improved with the development of mobile VR and AR. As a result, the combination of hand gesture classification beyond hand tracking can be utilized for interaction with VR and AR content. In this paper, we describe how to use the hand gesture for the user interaction for the mobile VR and AR. When realizing the gesture classification, we used Manomotion to implement the gesture estimation and 2D/ 3D skeleton was tracked in real time. In this paper, we suggest the methods to classify the hand gesture and verify them through successfully recognizing the gesture and using them at a practical game. We also measure the performance, and the suggested algorithm requires only 0.425 msec to recognize the gesture. This interface can be also used to improve the convenience of users other than games for mobile VR and AR.

최근 디지털 의상으로 제품을 만드는 것이 활성화됨에 따라서 삼차원 공간의 컴퓨터 그래픽을 이용하는 게 임엔진을 및 3D Tool로 샘플을 만들기 시작했다. 이러한 트렌드에 따라서 밴드 기업들은 디지털 의류 모델 을 화상 회의 프로그램을 이용하여 협업하기 시작했다. 하지만 화상 회의에서의 원격화면 공유 기능은 각 공유자의 바탕화면 혹은 각 사용자가 사용하고 있는 데스크탑에 보여지는 화면만을 공유하여 발표화면을 보여주는 기능에 그치고 있어 협업작업에서 필요한 사용자 간의 상호작용을 지원하기에는 부족한 점이 있 다. 본 연구에서는 디지털 의상 협업 작업 시 화상 회의를 사용함에 있어서 불편한 점들을 개선하고 회의를 효율적으로 진행하기 위한 Framework를 제작했다. 프레임워크 제작을 위해 Unity3D 게임엔진과 WebRTC 그 리고 Javascript를 사용하였으며, 중계서버 제작을 위하여 클라우드 AWS 서비스를 사용했다. 시연 결과 화상 회의 참여자들은 스크린에 인터랙션을 할 수 있었으며 따로 프로그램을 설치할 필요가 없었다. 그리고 최대 해상도를 1440p까지 높여 기존의 화상 회의에서의 화질을 더 개선할 수 있었다. 해당 시연 결과를 통하여 기존의 다른 화상 회의 앱과 기능들을 비교하여 제안한 Framework의 효용성을 검증했다.

Recently, with the activation of making products with digital costumes, we have begun making samples with game engines and 3D tools that use computer graphics in three-dimensional space. Following this trend, band companies began collaborating on digital clothing models using video conferencing programs. However, the remote screen sharing function in video conferencing only shows the presentation screen by sharing only the desktop of each share or the desktop used by each user, which is insufficient to support the interaction between users necessary for collaborative work. In this study, a framework was created to improve inconveniences in using video conferencing during digital costume collaboration work and to efficiently proceed with meetings. Unity 3D game engine, WebRTC, and HTML5 Javascrpit were used to create the framework, and cloud AWS services were used to create relay servers. As a result of the demonstration, video conference participants were able to interact on the screen and did not need to install a separate program. In addition, the maximum resolution was increased to 1440p to further improve the image quality in conventional video conferencing. Through the demonstration results, the utility of the proposed framework was verified by comparing the functions with other existing video conference apps.

게임을 구현하는 동안 주기성을 보장해야될 필요성이 있는 경우가 많이 있다. 예를 들어 많은 경우에 캐릭 터의 충돌은 주기적으로 처리되어야 될 필요성이 있는데 주기적으로 처리하지 못하는 경우 게임에서 충돌 을 감지하지 못하는 경우가 발생할 수 있다. 또한 슈팅 게임에서는 많은 경우에 사용자의 편의를 위하여 특 정 버튼을 누르면 무기를 자동적으로 발사하는 기능을 포함하고 있어 주기적으로 무기를 발사해야될 필요 성이 있다. 한편 유니티를 사용하여 게임을 구현할 때 이러한 주기성을 보장하기 위해서 WaitForSeconds로 지연을 발생시킨 코루틴, InvokeRepeating, FixedUpdate, .NET의 Timers.Timer가 사용될 수 있다. 그러나 이러한 다양한 방법들로 인하여 방법의 선택에 어려움이 있어 연구를 진행하였다. 본 연구에서는 1분 동안 6000번 메서드를 주기적으로 실행하고 주기성과 횟수를 측정하였다. 또한 다양한 환경에서의 실험을 위하여 추가의 모델 렌더링이 없는 경우와 렌더링을 추가한 경우, 다양한 해상도에서 주기성과 메서드 호출 횟수를 모두 측정했다. 실험 결과, 부하가 적은 환경에서는 InvokeRepeating이 가장 6000회에 가까웠으며 부하가 큰 환경 에서는 Timers.Timer가 가장 6000회에 가까웠으며 실행 주기의 편차가 가장 적었다. 이러한 실험들을 통하여 유니티를 통하여 게임을 구현할 때 일정 시간 내에 실행되는 횟수가 중요한 게임에서 성능 부하가 크지 않 은 경우 InvokeRepeating을, 성능 부하가 크다면 .NET의 Timer를 쓰는 것이 적합함을 알아내었다. 본 연구를 통하여 개발자는 유니티에서 제공되는 주기성 제공 방법들 중에서 적절한 방법을 선택할 수 있다.

There are many cases where it is necessary to ensure periodicity while implementing the game. For example, collision checks need to be handled periodically, and the game may not detect collisions when they are not handled periodically. In addition, shooting games include the function of automatically firing weapons when a specific button is pressed for the user's convenience. As a result, it is necessary to fire weapons periodically. To ensure this periodicity when implementing games using Unity, Timers.Timer of .Net, InvokeRepeating, FixedUpdate, and coroutine with WaitForSeconds, can be used. However, it was difficult to select one of the methods due to the variety, so this research was conducted to help the choice. In this study, a method was periodically executed 6000 times per minute. And, both the periodicity and the executed number of method calls were measured. We also measured them at various resolutions, with additional model rendering and without it for experiments. As a result of the experiment, the number of method calls was the closest to 6000 times when InvokeRendering was used in a low-workload case. When Timers.Timer was used, it was the closest to 6000 times in a high-workload environment, and the deviation of the execution cycle was the least. Through these experiments, we concluded that InvokeRepeating was appropriate if the workload was not high in a game. However, it was appropriate to use the Timer within .NET in the case where the workload was high. Through this study, the developers can choose one of the provided methods by Unity.

최근 소프트웨어(SW) 교육의 중요성이 부각되면서 SW 교육을 위한 다양한 정책과 플랫폼이 발표되고 있다. 특히 SW 교육을 효율적으로 진행하기 위해서는 단순히 교재와 수업만으로는 한계가 있으므로, 방과후 학 교, 협동 혹은 실습수업, 캠프운영 등 다양한 시도가 이루어지고 있다. 이 중에서 학습캠프는 집중도 높은 수업, 타 학습자와의 원활한 교류, 지도 교사의 빠른 피드백 등으로 많은 주목을 받고 있는 수업 플랫폼이 다. 이 같은 추세에 발 맞추어 로봇체험캠프, 앱개발 캠프 등 다양한 캠프들도 등장하고 있다. 특히, 게임제 작 캠프는 SW교육을 처음 접하는 학생들의 흥미와 학습 동기부여를 높여주어 많은 주목을 받고 있는데, 본 연구에서는 게임전공 연구자들 중심으로 기획 된 게이미피케이션 기반 온라인, 오프라인 코딩 캠프 운영을 통해 온라인과 오프라인 캠프의 재미와 만족도를 비교하고, 각 장단점을 확인하여 게이미피케이션 기반 SW교육 캠프 콘텐츠 제작 및 프로그램 운영 시 고려 할 점들을 고찰 하고자 하였다. 또한, 사용자 인터뷰 를 통해 실제 학습자와 교사의 의견을 수렴하여 각각의 플랫폼이 가지고 있는 단점을 상호 보완하고, 장점 을 부각시키는 방안을 검토 하였다.

As the importance of software (SW) education has recently emerged, a variety of policies and platforms for SW education have been announced. In particular, there is a limit to only textbooks and classes, so various attempts such as gamification, team teaching, and camp learning class are essential for efficient SW education. Among them, the learning camp is a class platform that has lots of advantages due to classes with high concentration, smooth exchanges with other learners, and quick feedback from instructors. In line with this trend, various camps such as robot experience camps and app development camps are also appearing. In particular, the game production camp is attracting a lot of attention because it raises the interest and motivation of students who are new to SW education. In this study, the fun and satisfaction of camps of each platform were compared through a questionnaire after learning the gamification-based online and offline coding camps designed by game major researchers using a gamified coding learning program. Through this, it was found that although offline camp is more positive than online camp in terms of fun and satisfaction, continuous learning is difficult due to time, space, and human resources. In addition, it was confirmed that the online camp as an alternative to this also had problems with learners giving up and leaving learning. Lastly, we discussed how to supplement the advantages and disadvantages of online and offline programs through the operation of both online and offline programs.

카메라 어레이와 사진측량(photogrammetry)을 이용한 3차원 스캐닝 기술은 인체 전신을 게임이나 시각효과 (VFX), 가상인간 등의 다양한 컴퓨터 그래픽스 응용 분야에 활용되고 있다. 특히 최근에는 메타버스 분야에 대한 구축이 활발해 지고 있는 추세여서 실제 인물에 대한 전신 스캔을 보다 저렴하게 수행할 수 있는 시 스템에 대한 요구가 증가하고 있다. 본 연구에서는 고가의 DSLR 카메라를 이용한 시스템보다 1/10정도의 가격으로 구축할 수 있는 시스템을 제작하는 사례를 제시하고자 한다. 인체 전신에 대해 동시촬영의 오차가 적은 시스템을 구축하는데 중점을 두었다. 최근의 컴퓨터 그래픽스 기술은 보다 사실적인 캐릭터를 보다 효 율적으로 생성하고 사용할 수 있는 방법으로 발전하고 있다. 따라서 본 시스템은 최근 다양한 연구와 개발 이 이루어지고 있는 메타버스의 캐릭터 구축이나 게임의 캐릭터의 모델링에 활용할 수 있는 장비로 활용될 수 있을 것으로 기대하며, 이러한 시스템을 좀 더 저비용으로 구축하고자 하는 연구자들이나 개발자들에게 도움이 될 수 있을 것으로 본다. 또한 최신의 실시간 렌더링 시스템의 추세와 삼각측량 관련 연구와 기술의 발전에도 기여할 수 있을 것으로 보인다.

3D scanning technology using a camera array and photogrammetry is being used in various computer graphics applications such as games, visual effects (VFX), and virtual humans. In particular, recently, as the construction of the metaverse field is becoming more active, the demand for a system that can perform full-body scans of real people at a lower cost is increasing. In this study, we would like to present a case of manufacturing a system that can be built at a price that is 1/10 of that of a system using an expensive DSLR camera. We focused on building a system with less error in simultaneous imaging of the human body. Recent computer graphics technology is developing as a way to create and use more realistic characters more efficiently. Therefore, it is expected that this system can be used as equipment that can be used for character building in the metaverse, where various studies and developments are taking place, or for character modeling in games. I think it can be helpful for developers. It is also expected to contribute to the trend of the latest real-time rendering systems and the development of photogrammetry-related research and technologies.

게임플레이는 플레이어가 게임과 상호작용을 진행하면서 게임 상황에 대한 판단과 행동의 일련의 과정의 반복이라고 볼 수 있다. 잘 설계된 게임플레이는 플레이어로 하여금 게임에 몰입하도록 유도하며, 지속적으 로 몰입상태를 유지할 수 있도록 한다. RPG에서 게임플레이의 핵심과정중 하나는 몬스터와 상호작용하는 것이다. 일반적인 RPG의 몬스터는 패턴플레이로 구성되어 반복적으로 플레이가 진행되는 상황에서 지루함 을 유발하는 요인으로 작용한다. 이로 인해 게임을 플레이하는 플레이어중 고 레벨 플레이어는 레벨업을 위 해 습득해야 하는 경험치의 양의 증가로 인해 같은 필드에서 같은 몬스터를 오랜 시간동안 플레이하는 것 이 일반적이어서 시간이 지날수록 투자한 시간과 성취욕구 사이에서 만족도가 떨어지는 문제점이 발생한다. 본 연구에서는 플레이어의 성장과정에서 몬스터가 제공하는 정보에 대한 위계의 설정을 통하여 플레이어의 인지과정에 패턴의 변수를 인식하게 하여 다양한 게임플레이가 가능하도록 하며 이를 바탕으로 플로우 (Flow) 과정에서 경험하는 지루함의 요소를 극복하고 지속적으로 몰입과정을 느낄 수 있도록 한다.

Gameplay can be seen as the repetition of a series of processes of judgment and action on the game situation while the player interacts with the game. Well-designed gameplay induces players to immerse themselves in the game and keeps them immersed. One of the core processes of gameplay in RPGs is interacting with monsters. Monsters in general RPGs are composed of pattern play and act as a factor inducing boredom in a situation where the play is repeated. Due to this, it is common for high-level players to play the same monster in the same field for a long time due to the increase in the amount of experience that must be acquired to level up. There is a problem of low satisfaction. In this study, by setting a hierarchy of information provided by monsters in growth process, the player's cognitive process recognizes the variable of the pattern, therethe player's by enabling various game play. It overcomes the element of boredom and allows you to feel the continuous immersion process.

게임은 다른 미디어에 비해 수많은 장르로 나뉘며 빠르게 새로운 장르들이 탄생하고 있다. 장르별로 플레이 어의 경험에 큰 차이가 존재하므로 장르별로 핵심적으로 요구되는 다른 재미를 제공할 수 있는 것이 게임 개발에 있어 성공의 열쇠가 된다. 따라서 효율적인 게임 개발을 위해 선행적으로 장르별 게임 재미요소에 대한 정량적인 연구가 이뤄질 필요가 있다. 본 연구는 게임 개발 실무에서 활용할 수 있는 구체적인 장르별 게임 재미요소의 우선순위를 계층화 분석법을 통해 정량적으로 도출하여 장르별 효율적인 개발이 이뤄지는 데 기여하는데 목적이 있다. 본 연구는 6가지 대분류 게임 장르를 기준으로 상호 복합장르로 자주 융합됨에 도 불구하고, 실무 경험이 풍부한 게임 개발자들도 명확한 재미요소의 차이점을 파악하기 어려운 액션, 어 드벤처, 롤플레잉 게임을 선정하여, 게임의 재미요소 모형에 대입하여 AHP 연구방법론을 통해 액션, 어드벤 처, 롤플레잉 장르별 중요도를 도출하고 중요도에 따른 우선순위를 비교분석했다. 상위계층에서 액션 게임 은 피드백 시스템, 다이내믹스, 메커닉스가, 어드벤처 게임은 스토리가, 롤플레잉 게임은 목표와 스토리가 중요한 것으로 평가됐다. 하위계층에서 액션 게임은 조작통제감, 타격감, 탐험이, 어드벤처 게임은 스토리텔 링, 긴장감(스토리 전개), 탐험이, 롤플레잉 게임은 성장, 캐릭터, 스토리텔링이 중요한 것으로 평가됐다.

Games are divided into numerous genres compared to other media, and new genres are rapidly being created. Since there is a huge difference in the player's experience for each genre, being able to provide different kinds of fun that is essential for each genre is the key to success in game development. Therefore, for efficient game development, it is necessary to conduct quantitative research on the fun factors of games by genre. The purpose of this study is to contribute to the efficient development of each genre by quantitatively deriving the priority of game fun factors by genre that can be used in game development through the AHP method. In this study, action, adventure, and role-playing games were selected based on 6 major game genres. Although these 3 genres are often fused as mutually complex genres, it is difficult for even experienced game developers to clearly understand the difference in fun factors. I derived the importance of each genre of action, adventure, and role-playing through the AHP method for the fun factor model of the game, and compared and analyzed the priorities according to the importance. In the upper tier, feedback system, dynamics, and mechanics in action games, story in adventure games, and goals and story in role-playing games were highly prioritized. In the lower tier, sense of control, feeling of hit, adventure in action games, storytelling, tension(story), adventure in adventure games, and growth, character, and storytelling in role-playing games were highly prioritized.

시각적 데이터는 도처에 존재하며 자연어는 인간이 이해할 수 있는 의사소통 수단이다. VQA(Visual Question Answering)는 이미지를 이미지에 대한 입력과 질문으로 취하고 복잡한 추론을 사용하여 자연어 답변을 생성 하는 시스템이다. 따라서, VQA는 답을 예측하기 위해 이미지에 대한 자세한 이해와 복잡한 이유가 필요하 다. 멀티모달 구조와 가능한 실제 구현을 고려할 때, VQA는 인공지능에게 매우 중요한 과제이다. VQA를 위한 심층 신경망에 사용되는 아키텍처와 하이퍼 파라미터는 결과에 큰 영향을 미친다. 이 프로젝트는 이미 지 특징을 추출하기 위해 사전 훈련된 모델(VGGNet)과 단어를 내장하기 위해 Word2Vec를 도입하고 질문에 서 단어 특징을 얻기 위해 LSTM을 도입하고 결과를 결합한 후 가장 높은 확률을 가진 답을 예측한다.

Visual data is present everywhere and natural language is a way of communication understandable to humans. Visual Question Answering (VQA) is a system which takes image as an input and a question about the image and generates a natural language answer using complex reasoning. Thus, a VQA needs detailed understanding of the image and complex reason to predict the answer. Given its multimodal structure and possible real-world implementations, VQA is a challenge of critical importance for artificial intelligence. The architectures and hyperparameters used in deep neural networks for VQA have a big impact on their results. This project introduces a pretrained model (VGGNet) to extract image features and Word2Vec to embed the words and LSTM to get word features from the question and after combining the results will predict the answer having highest probability.

최근 인터넷은 데이터와 사람, 사물을 연결할 뿐만 아니라 장소와 저작권을 상호 연결하기 시작했다. 실제 로 현실과 가상세계의 경계가 사용자가 더 이상 알아차릴 수 없을 정도로 점점 희미해지고 있다. 사람들이 일상생활을 가상으로 수행할 수 있기 때문에 현실 세계의 경험은 더 이상 불필요 할지도 모른다. 본 논문은 메타버스의 기본 개념 및 기술의 심층적인 이해를 제공하는 것을 목적으로 메타버스의 발전에 대한 연구를 진행하였다. 현재 가장 대표적인 메타버스 플랫폼에 대한 설명과 분석을 통해 메타버스의 장점, 단점, 유저 와 메타버스 플랫폼 사업자가 해결해야 할 문제점에 대해서 연구하였다. 본 논문은 메타버스의 발전과 함께 메타버스가 해결해야할 문제와 기회 그리고 메타버스의 미래에 대해 연구를 목표로 한다.

The current state of the Internet has connected not only the data, people, and things but has already began to interconnect places and ownership. The difference between the real physical world and virtual worlds is becoming thinner and thinner that users can’t even notice anymore. There are times that the real world experiences may no longer exist as people mostly performs their day-to-day activities virtually. This paper deals with the discussion on the evolution of metaverse aiming to provide an in-depth understanding of its fundamental concepts and technologies. The most popular metaverse platforms were also identified with a short discussion of their descriptions. Also, some of the benefits and advantages of metaverse were highlighted as well as the issues and challenges that both the users and metaverse platform operators must address. This paper aims to evoke future studies to address the various challenges and opportunities that lies on the evolution of metaverse.