Earticle

User motion recognition through image recognition has attracted considerable attention with the development of the Kinect senor by Microsoft. The Kinect exhibits excellent motion recognition performance at a small expense via a motion tracking method utilizing an RGB-D camera. Further, the Kinect offers the advantage that applications can be easily written for it using the Kinect SDK. However, the Kinect also suffers from the disadvantage that it is unable to recognize an image “shielded” by an object because of the application of the vision recognition method by the camera. Consequently, it is difficult to obtain accurate data concerning user movement. Studies on observing an object from various directions with multiple Kinects are being conducted to compensate for this problem, and it is possible to acquire the movement data for only one user in these studies. This study implements the human body trace system for multiple users. We suggest a method to compensate for the location of the user and motion data that cannot be recognized by one Kinect using data acquired by multiple Kinects.

User motion recognition through image recognition has attracted considerable attention with the development of the Kinect senor by Microsoft. The Kinect exhibits excellent motion recognition performance at a small expense via a motion tracking method utilizing an RGB-D camera. Further, the Kinect offers the advantage that applications can be easily written for it using the Kinect SDK. However, the Kinect also suffers from the disadvantage that it is unable to recognize an image “shielded” by an object because of the application of the vision recognition method by the camera. Consequently, it is difficult to obtain accurate data concerning user movement. Studies on observing an object from various directions with multiple Kinects are being conducted to compensate for this problem, and it is possible to acquire the movement data for only one user in these studies. This study implements the human body trace system for multiple users. We suggest a method to compensate for the location of the user and motion data that cannot be recognized by one Kinect using data acquired by multiple Kinects.

본 논문에서는 마이크로소프트 키넥트 센서를 이용한 실시간 성능의 3차원 환경 복원 알고리즘을 소개한다. 기존의 멀티키넥트 시스템을 확장하여 총 열두대의 키넥트를 사용하는데, 키넥트의 높은 대역폭 문제를 해결하기 위하여 키넥트가 여섯 대씩 연결된 두 대의 데스크탑을 UDP 통신으로 연결하였고, 각 키넥트로부터 들어오는 3차원 포인트클라우드로부터 확률적인 3차원 환경복원을 하기 위하여 옥토맵 알고리즘을 차용하였다. 또한, GPU를 연산에 활용함으로써 실시간 성능을 확보하였다.

Applying human engineering simulation to analyzing work capability and movements of operators during manufacturing is highly demanded. However, difficulty in modeling digital human required for simulation makes engineers to be reluctant to utilize human simulation for their tasks. This paper addresses such problem on human engineering simulation by developing the technology to automatize human modeling with multiple Kinects at different depths. The Kinects enable us to acquire the movements of digital human which are essential data for implementing human engineering simulation. In this paper, we present a system for modeling automation of digital human. Especially, the system provides a way of generating the digital model of workers' movement and position using multiple Kinects which cannot be generated by single Kinect. Lastly, we verify the effects of the developed system in terms of modeling time and accuracy by applying the system to four different scenarios. In conclusion, the proposed system makes it possible to generate the digital human model easily and reduce costs and time for human engineering simulation.

자연스러운 3D 실감영상을 감상하기 위해서는 많은 시점의 영상이 필요하며 과거 스테레오 디스플레이 장치로부터 최근 그 시점 수가 크게 늘어난 디스플레이 장치로 기술 발전이 이뤄지고 있으며 이에 따라 다시점 콘텐츠를 생성하기 위한 다양한 기술이 개발되어 있다. 다시점 콘텐츠를 생성하기 위하여 ToF 카메라 및 적외선 패턴을 이용한 방법이 주로 이용되고 있으며 이를 활용한 다시점 콘텐츠 생성을 하는 시도가 이뤄지고 있다. ToF 카메라는 PMD사의 제품 및 SwissRanger 사의 제품이 대표적이며 적외선 패턴을 이용한 방식은 MS사의 Kinect가 대표적이며 본 제품들을 활용한 기술 비교를 통하여 다시점 콘텐츠 생성의 결과 및 이를 비교한 장단점을 구분하였다. PMD사의 ToF 카메라는 두 개 이상의 광원을 사용하여 Depth 추출시에 Hole 영역의 크기가 작으나 ToF 영상의 해상도가 매우 작아 고화질의 콘텐츠를 생성하기 위하여 별도의 영상처리 알고리즘이 요구되었다. 반면 MS사의 Kinect는 Depth 영상의 해상도가 상대적으로 커서 영상처리 알고리즘의 복잡도가 작아지나 Depth 추출을 위한 카메라와 RGB 카메라의 위치가 공간적으로 떨어져 있어 이를 보정하기 위한 알고리즘이 요구되며 다시점 변환시 화질에 있어 상대적으로 떨어지는 것으로 나타났다.

현재까지, 사람과 컴퓨터간의 인터페이스로 키보드와 마우스를 사용하여 왔다. 최근, 유비쿼터스 시대가 도래하면서 스마트 폰의 활용이 대두 되었고, 각 디바이스들은 하나로 통합되고 있다. 이에 따라 인터페이스도 NUI로 발전하였고 터치, 모션 트래킹, 음성, 표정 인식과 같은 멀티 모달 형식으로 더욱 높은 인지 능력과 직관적인 인터페이스가 되도록 각 디바이스 단계에서 개발되고 있다. 본 논문에서는 키넥트를 이용한 마커 없는 직관적인 손동작 인식과 XML 클라우드 기반의 각종 디바이스 통합 인터페이스 구현 설계를 제안한다.

최근 안경을 쓰지 않고 3차원 입체 영상을 볼 수 있는 무안경식 3차원 디스플레이 중에서 DIBR(Depth-Image-Based Rendering) 기반의 중간 영상을 생성하는 연구가 많이 진행되고 있다. DIBR 기반의 중간 영상 생성 방법은 정확한 깊이 정보를 요구하기 때문에 기존의 연구에서는 고가의 깊이 카메라를 활용하였다. 본 연구에서는 마이크로소프트사의 키넥트 센서를 이용한 실사 영상과 깊이 영상을 기반으로 다시점 중간 영상을 생성할 수 있는 시뮬레이션 프로그램을 개발하였다. 이 시뮬레이션은 키넥트(Kinect)를 활용한 저해상도의 깊이 영상으로부터 자연스러운 다시점 영상을 획득하는 것을 목적으로 하며, 이를 위해 생성된 영상의 품질을 평가할 수 있는 기능을 통합적으로 제공한다. 본 논문에서는 이러한 시뮬레이션 프로그램의 시스템 구조와 구현에 대해서 설명한다.

Recently there are many works conducted on utilizing the DIBR (Depth-Image-Based Rendering) based intermediate images for the three-dimensional displays that do not require the use of stereoscopic glasses. However the prior works have used expensive depth cameras to obtain high-resolution depth images since DIBR-based intermediate image generation method requires the accuracy for depth information. In this study, we have developed the simulation to generate multi-view intermediate images based on the depth and color images using Microsoft Kinect. This simulation aims to support the acquisition of multi-view intermediate images utilizing the low-resolution depth and color image from Kinect, and provides the integrated service for the quality evaluation of the intermediate images. This paper describes the architecture and the system implementation of this simulation program.