Earticle

코로나19로 인해 VR 콘텐츠가 주목받고 있는 가운데 VR 콘텐츠의 수요는 증가하였으나, 사용자들을 만족시킬 만한 다양한 콘텐츠의 제작은 부족한 상황이다. 본 논문에서는 VR 콘텐츠의 다양성과 사용자들의 호기심 충족을 위한 제스처 기반의 콘텐츠를 기획, 개발하였다. 새로운 형식의 콘텐츠를 찾는 사용자가 증가하게 되면서 산업계에서도 제스처 인식을 기반으로 하는 콘텐츠를 선보이고 있다. Meta Oculus에서는 제스처 인식 기술을 VR 기기에 탑재하였으며 이를 활용하는 콘텐츠들을 웹사이트에 적극적으로 소개하고 있다. 본 논문에서는 제스처 기반 인터페이스를 사용하여 콘텐츠를 제작하고, 수행할 수 있는 기능들을 설계하고 개발하였다. 디바이스는 제스처 인식 기술이 제공되는 Oculus Quest2를 이용하여 개발을 진행하였으며, Unity 게임엔진을 기반으로 콘텐츠를 제작하였다. 주언어로는 C#, JSON을 사용했으며, Autodesk 사의 3ds MAX, Blender를 사용하여 모델링 및 텍스처링을 진행했다. ‘Robot Doctor VR'은 HMD를 착용한 사용자가 자신의 손으로 직접 조작하며 인체의 기관을 치료하는 게임이다. 나노로봇이 되어 인체 내에서 병에 걸린 장기들의 모습을 살펴보고 치료하는 과정을 게임화하여 사용자들에게 새로운 경험을 제공할 것이다. 사용자의 몰입감 증진과 새로운 콘텐츠의 제시로 개발된 ‘Robot Doctor VR’은 추후 더욱 다양한 신체기관의 탐색을 위하여 현실감 높은 그래픽 콘텐츠의 개발을 목표로 하고 있다. 또한 다양한 제스처 인식을 통한 멀티플레이어로의 확장은 유저들 간의 협업을 통한 콘텐츠의 다양화를 가져오리라 생각한다.

While VR content is gaining in popularity as a result of the COVID-19 epidemic, the demand for VR material has also grown. Nevertheless, the amount of diverse content available to satisfy users is insufficient. In this paper, we planned and developed gesture-based content to pique users' interest in virtual reality and to demonstrate the range of VR content. The industry is currently generating gesture-based content in response to the growing need for new types of content. Meta Oculus incorporates gesture recognition technology into its virtual reality headsets and promotes gesture-based content on its website. We developed and implemented features in this study that enable the generation and execution of content using a gesture-based interface. The device was made utilizing the Oculus Quest2 gesture recognition technology and the Unity game engine. C# and JSON were used as the major programming languages, and modeling and texturing were carried out using Autodesk's 3ds MAX and Blender. 'Robot Doctor VR' is a virtual reality game in which the user manipulates the organs of the human body with their own hands while wearing a head-mounted display. With conversion into a nanorobot, the process of assessing and repairing damaged organs in the human body will be gamified, providing users with an entirely new experience. 'Robot Doctor VR,' which was created to boost user immersion and present new material, aims to develop more realistic graphic content in the future to enable investigations of a wider variety of human organs. Additionally, moving to multiplayer via gesture detection will result in increased content diversity through user participation.

Purpose: The purposes of this study were to develop a workstation computer that allowed intraoperative touchless control of diagnostic and surgical images by a surgeon, and to report the preliminary experience with the use of the system in a series of cases in which dental surgery was performed. Materials and Methods: A custom workstation with a new motion sensing input device (Leap Motion) was set up in order to use a natural user interface (NUI) to manipulate the imaging software by hand gestures. The system allowed intraoperative touchless control of the surgical images. Results: For the first time in the literature, an NUI system was used for a pilot study during 11 dental surgery procedures including tooth extractions, dental implant placements, and guided bone regeneration. No complications were reported. The system performed very well and was very useful. Conclusion: The proposed system fulfilled the objective of providing touchless access and control of the system of images and a three-dimensional surgical plan, thus allowing the maintenance of sterile conditions. The interaction between surgical staff, under sterile conditions, and computer equipment has been a key issue. The solution with an NUI with touchless control of the images seems to be closer to an ideal. The cost of the sensor system is quite low; this could facilitate its incorporation into the practice of routine dental surgery. This technology has enormous potential in dental surgery and other healthcare specialties.

본 논문에서는 패턴 분석 기반의 비접촉 사용자 인터페이스 제어 기법을 제안한다. 본 기법은 카메라가 장착된 기기에서 입력 받은 실시간 영상을 사용하여 패턴의 정보를 분석한다. 정의된 패턴을 기반으로 최초의 패턴 위치를 예측하고, 특징점 추출 기반 추적 기법을 통해 패턴의 위치를 갱신한다. 휴대용 기기의 다양한 사용 환경에 적합하도록, 정규 상관 계수와 특징점 추출 정보를 사용하여 패턴의 예측, 추적을 수행함으로써 밝기 변화에 강인한 사용자 인터페이스 기법을 제안한다. 실험을 통하여 본 논문이 제안하는 알고리즘이 기존의 방법에 비해 우수한 성능을 나타냄을 확인한다.

a본 논문에서는 스마트폰에 내장된 카메라를 이용하여 원격지의 장면을 고해상도로 촬영한 영상을 실시간으로 감시할 수 있는 시스템을 제안한다. 이 시스템은 영상 촬영의 이동성을 주기 위해 다양한 가격과 종류로 출시되어 있는 무선조종자동차에 스마트폰을 탑재시킨다. 무선조종자동차의 원격 제어는 키넥트의 음성 및 제스처 인식 기능을 활용하여 비접촉성 제어입력이 가능하도록 사용자 인터페이스를 제공한다. 이 시스템은 손이나 몸짓이 불편한 환자 또는 작업 중인 작업자가 원격지의 영상을 보아야하는 경우 다양한 형태로 활용될 수 있을 것이다.