Earticle

Recently, education game contents with advanced mobile and Web technology have been widely researched. However, considering of interaction involved for children, it is necessary user friendly interfaces and interesting interactions. In addition, it is important to design to encourage the user’s learning motivation as a way to the effect of educational game contents. Therefore, in this study, we designed and implemented the educational game contents system using inter-working between KINECT camera, PC, and android platform based humanoid robot. The designed system consisted of KINECT system for capturing hand gestures, game contents system for playing games, and android humanoid robot system for interacting with users. This system can lead to interests and willingness of users through handy interaction such as hand gestures and interesting quiz game contents. To improve effectiveness and userability, we plant to advance designed educational game contents system that can be operated on a smart TV system including a built-in camera as a further study.

This study proposes a new pallet recognition system using Kinect camera. Depth image of Kinect camera is produced from the infrared ray data of random dot type. This system was applied to an automated guided vehicle(AGV) to recognize the pallet in various conditions. A modularized hardware and software of the pallet recognition system was developed. The performance of the developed pallet recognition system was tested through experiments under various environment, and it show good performance.

Kinect is a motion sensing camera released by Microsoft in November 2010 for the Xbox360 that is used to produce depth and color images. Because Kinect uses an infrared pattern, it generates holes and noises around an object's boundaries in the obtained images. The flickering phenomenon and unmatched edges also occur. In this paper, we propose a real time virtual-view video synthesis algorithm which results in a high quality virtual view by solving these problems stated above. The experimental results show that the proposed algorithm performs much better than the conventional algorithms.

본 연구에서는 건물 실내 공간 정보 획득을 위해 Microsoft사의 $Kinect^{(R)}$ v2를 활용한 point cloud 기법을 도입하였다. 카메라로 취득한 2차원의 투영 공간 이미지 픽셀 좌표를 각 카메라의 보정을 거쳐 3차원 이미지 변환하며 이를 토대로 공간 정보를 구현하였다. 기준점을 중심으로 $360^{\circ}$ 회전하여 취득한 3차원 이미지를 통해 거리 측정이 불가한 기존의 2차원 이미지의 한계를 개선하였으며, 이 과정을 통해 얻은 point cloud를 통해 3차원 map을 형성하였다. 형성된 3차원 map은 기존의 공간정보 융 복합을 위한 센서와 비슷한 수준의 측정 효율을 가지면서 동시에 렌즈 왜곡 현상에 대한 후처리 과정을 통해 공간 정보를 정확하게 측정할 수 있도록 하였다. 측정한 결과를 2D 도면과 실제 공간 및 구조부재의 길이 및 위치 등과 비교하여 검증하였다.

This paper investigates applicability of Microsoft $Kinect^{(R)}$, RGB-depth camera, to implement a 3D image and spatial information for sensing a target. The relationship between the image of the Kinect camera and the pixel coordinate system is formulated. The calibration of the camera provides the depth and RGB information of the target. The intrinsic parameters are calculated through a checker board experiment and focal length, principal point, and distortion coefficient are obtained. The extrinsic parameters regarding the relationship between the two Kinect cameras consist of rotational matrix and translational vector. The spatial images of 2D projection space are converted to a 3D images, resulting on spatial information on the basis of the depth and RGB information. The measurement is verified through comparison with the length and location of the 2D images of the target structure.

자연스러운 3D 실감영상을 감상하기 위해서는 많은 시점의 영상이 필요하며 과거 스테레오 디스플레이 장치로부터 최근 그 시점 수가 크게 늘어난 디스플레이 장치로 기술 발전이 이뤄지고 있으며 이에 따라 다시점 콘텐츠를 생성하기 위한 다양한 기술이 개발되어 있다. 다시점 콘텐츠를 생성하기 위하여 ToF 카메라 및 적외선 패턴을 이용한 방법이 주로 이용되고 있으며 이를 활용한 다시점 콘텐츠 생성을 하는 시도가 이뤄지고 있다. ToF 카메라는 PMD사의 제품 및 SwissRanger 사의 제품이 대표적이며 적외선 패턴을 이용한 방식은 MS사의 Kinect가 대표적이며 본 제품들을 활용한 기술 비교를 통하여 다시점 콘텐츠 생성의 결과 및 이를 비교한 장단점을 구분하였다. PMD사의 ToF 카메라는 두 개 이상의 광원을 사용하여 Depth 추출시에 Hole 영역의 크기가 작으나 ToF 영상의 해상도가 매우 작아 고화질의 콘텐츠를 생성하기 위하여 별도의 영상처리 알고리즘이 요구되었다. 반면 MS사의 Kinect는 Depth 영상의 해상도가 상대적으로 커서 영상처리 알고리즘의 복잡도가 작아지나 Depth 추출을 위한 카메라와 RGB 카메라의 위치가 공간적으로 떨어져 있어 이를 보정하기 위한 알고리즘이 요구되며 다시점 변환시 화질에 있어 상대적으로 떨어지는 것으로 나타났다.

본 논문에서는 타이어 표면의 돌출문자를 인식하여 데이터화 및 수집하는 방법에 관하여 논하였다. 본 논문에서는 기존의 문자를 인식 시스템과 달리 타이어의 돌출문자 인식에 대해 전 처리 단계에서 키넥트 카메라 영상을 이미지 데이터로 변환한 후, 문자 영역을 탐색한다. 그 후 이진 영상, 노이즈 필터 등을 통하여 이미지 개선을 하여 숫자 및 글자를 분석한다. 인식 단계에서는 문자의 판별 등을 이용하여 인식 하고 추가적으로 타이어 정보 인식 오류 보정 알고리즘을 통하여 글자의 오류인식에 대한 보정을 하여 타이어의 돌출 문자를 100% 인식하고자 한다. 본 논문에서는 타이어 문자를 인식하는 방법과 기술을 개발하고자 한다. 이미 문자 인식을 하는 많은 방법들이 있지만, 타이어 문자는 일반적인 문자인식과 다르게 추가된 기술을 요구하기 때문에 문자 인식을 하는 추가 기술 방식과 알고리즘을 개발하고자 한다.

This thesis has discussed how to recognize and convert raised letters on tire to data and collect such data. Unlike the existing recognition system, the system presented by this thesis recognizes raised letters on tire through detecting letters after converting the Kinect camera image into image data in the preprocessing stage. After then, numbers and letters are analyzed through image improvement by use of binary images, noise filter, etc. In the recognition stage, letter distinction is used and raised letters on tire are recognized 100% through correction of errors by way of the correction algorithm for tire data recognition errors. In this paper it will be the development of a method of recognizing characters and the tire technology. Although there are many ways to the already recognized characters, Tire characters requires a technique different from the more general character recognition. For this reason and to develop additional technical methods and algorithms for character recognition.

증강현실과 가상현실 같은 3차원 콘텐츠 보급이 증가함에 따라 실시간 컴퓨터 애니메이션 기술의 중요성이 높아지고 있다. 하지만 컴퓨터 애니메이션 제작 과정은 대부분 수작업 혹은 마커를 부착하는 모션캡쳐 방식으로 이루어져 있다. 때문에 사실적인 영상을 얻기 위해서는 숙련된 전문가에게도 매우 오랜 시간이 필요하다. 이러한 문제점을 해결하기 위해 최근에는 딥러닝 모델과 센서를 기반으로 하는 애니메이션 제작 시스템과 알고리즘이 나오고 있다. 이에 본 논문에서는 딥러닝과 Kinect 카메라 기반 FBX 형식의 애니메이션 제작 시스템에서 자연스러운 인체 움직임을 구현하는 4가지 방법에 대해 연구했다. 각 방법은 환경적 특성과 정확도를 고려하여 선택된다. 첫 번째 방법은 Kinect 카메라를 사용한다. 두 번째 방법은 Kinect 카메라와 보정 알고리즘을 사용한다. 세 번째 방법은 딥러닝 모델을 사용한다. 네 번째 방법은 딥러닝 모델과 Kinect를 사용한다. 제안 방법을 오차와 처리 속도를 실험한 결과, 네 번째 딥러닝 모델과 Kinect를 동시에 사용하는 방법이 다른 방법에 비해 가장 좋은 결과를 보였다.

As the distribution of 3D content such as augmented reality and virtual reality increases, the importance of real-time computer animation technology is increasing. However, the computer animation process consists mostly of manual or marker-attaching motion capture, which requires a very long time for experienced professionals to obtain realistic images. To solve these problems, animation production systems and algorithms based on deep learning model and sensors have recently emerged. Thus, in this paper, we study four methods of implementing natural human movement in deep learning model and kinect camera-based animation production systems. Each method is chosen considering its environmental characteristics and accuracy. The first method uses a Kinect camera. The second method uses a Kinect camera and a calibration algorithm. The third method uses deep learning model. The fourth method uses deep learning model and kinect. Experiments with the proposed method showed that the fourth method of deep learning model and using the Kinect simultaneously showed the best results compared to other methods.

확장현실의 대중화로 사람의 동작을 실시간 3D 애니메이션으로 구현하는 연구가 활발히 진행 중이다. 특히 Microsoft에서 키넥트 카메라를 개발함에 따라 설비의 부담 없이 간단한 조작만으로도 3D 모션 정보 취득이 가능해져 FBX와 같은 3D 형식과 결합하여 실시간 애니메이션 생성이 가능해졌다. 하지만 키넥트는 마커 기반 모션 캡쳐 시스템에 비해 관절 정보의 추정 성능이 뒤떨어져 낮은 정확도를 보인다. 이에 본 논문에서는 키넥트 카메라 기반 FBX 형식의 모션 캡쳐 애니메이션 시스템에서의 자연스러운 인체 움직임을 구현하고자 관절 추정 오류를 보정하는 두 알고리즘을 제안한다. 첫 번째로 키넥트로 사람의 위치 정보를 취득하고 깊이 지도를 생성하여 인체 부위 길이 제약 정보를 이용해 잘못된 관절 위치 값을 보정, 새로운 회전 값을 추정한다. 두 번째로 기존 및 추정된 회전 값들에 미리 설정된 관절 가동 범위 제약을 적용, FBX로 구현해 비정상적인 동작을 제거한다. 실험으로부터 사람의 동작이 개선되는 것을 확인하였고 알고리즘 간 오차를 비교하여 시스템의 우수성을 입증하였다.

Due to the popularization of the Extended Reality, research is actively underway to implement human motion in real-time 3D animation. In particular, Microsoft developed Kinect cameras for 3D motion information can be obtained without the burden of facilities and with simple operation, real-time animation can be generated by combining with 3D formats such as FBX. Compared to the marker-based motion capture system, however, Kinect has low accuracy due to its lack of estimated performance of joint information. In this paper, two algorithms are proposed to correct joint estimation errors in order to realize natural human motion in motion capture animation system in Kinect camera-based FBX format. First, obtain the position information of a person with a Kinect and create a depth map to correct the wrong joint position value using the human body segment length constraint information, and estimate the new rotation value. Second, the pre-set joint motion range constraint is applied to the existing and estimated rotation value and implemented in FBX to eliminate abnormal behavior. From the experiment, we found improvements in human behavior and compared errors between algorithms to demonstrate the superiority of the system.

Rehabilitation exercises are the treatments designed to help patients who are in the process of recovery from injury or illness to restore their body functions back to the original status. However, many patients suffering from chronic diseases have found difficulties visiting hospitals for the rehabilitation program due to lack of transportation, cost of the program, their own busy schedules, etc. Also, the program usually contains a few medical check-ups which can cause patients to feel uncomfortable. In this paper, we develop a remote rehabilitation system with bio-signals by a stereo camera. A Kinect stereo camera manufactured by Microsoft corporation was used to recognize the body movement of a patient by using its infrared(IR) camera. Also, we detect the chest area of a user from the skeleton data and process to gain respiratory status. ROI coordinates are created on a user's face to detect photoplethysmography(PPG) signals to calculate heart rate values from its color sensor. Finally, rehabilitation exercises and bio-signal detecting features are combined into a Windows application for the cost effective and high performance remote rehabilitation system.

본 논문에서는 Kinect Depth 카메라에서 손가락의 방향을 이용한 마우스 커서의 위치 선정에 관한 새로운 방법을 제안한다. 제안하는 방법은 손가락의 방향이 카메라를 향해 있을 경우는 거리변환을 이용한 손의 중점좌표를 이용한다. 손가락의 방향이 카메라를 향해 있지 않을 경우에는 손가락의 끝점 좌표를 이용한다. 손의 중점좌표는 전처리를 거친 영상의 거리변환 결과에서 가장 밝은 픽셀의 좌표를 이용하여 구한다. 손가락의 방향이 카메라를 향해 있을 경우에는 손가락의 끝점 좌표와 손의 중점 좌표 사이의 거리가 가까워지므로 중점좌표를 이용하여, 위치 선정의 정확도를 향상시킬 수 있게 된다. 손가락의 끝점 좌표는 손 영역만을 추출한 영상에서 팔 부분을 제거하여 영상의 중심에서 가장 멀리 떨어져있는 픽셀을 이용하여 구한다. 본 논문에서 제안하는 커서 위치 선정의 정확도를 측정하기 위해 임의의 5개의 기준 좌표를 선정하고 기준 좌표와 측정된 마우스 좌표사이의 오차를 500회 반복하여 측정하여 에러율을 측정한 결과, 평균 11 % 미만의 오차율을 나타내어 제안한 방법의 정확도를 확인할 수가 있었다.

In this paper, we propose new algorithm for positioning of mouse cursor using fingertip direction on kinect depth camera. The proposed algorithm uses center of parm points from distance transform when fingertip point toward screen. Otherwise, algorithm use fingertip points. After image preprocessing, the center of parm points is calculated from distance transform results. If the direction of the finger towards the camera becomes close to the distance between the fingertip point and center of parm point, it is possible to improve the accuracy of positioning by using the center of parm point. After remove arm on image, the fingertip points is obtained by using a pixel on the long distance from the center of the image. To calculate accuracy of mouse positioning, we selected any 5 points. Also, we calculated error rate between reference points and mouse points by performed 500 times. The error rate results could be confirmed the accuracy of our algorithm indicated an average error rate of less than 11%.