Earticle

본 논문에서는 안무저작권의 기본적인 요소인 무용 동작 간의 실질적인 유사성을 검증하기 위하여 인공지능 딥러닝 기술을 적용한 무용 동작의 정량화 방법론을 제안한다. 인간 자세 추정을 위한 딥러닝 네트워크 오픈포 즈 라이브러리를 이용해 2D 댄스 영상에서 추출한 이미지 데이터를 분석하여 18개의 신체 키포인트를 검출했 다. 검출된 키포인트는 스켈레톤 이미지를 출력하기 위해 연결되었고, 데이터 분석을 위한 2차원 공간 좌표 형 태로 변환되었다. 수학적 모델을 이용한 데이터 간의 유사성 검증을 통해 무용 동작 유사성 측정의 가능성을 확인하였다. 본 연구에서 제시된 방법론은 안무저작권의 기초 단위인 무용 동작의 정량적 데이터를 제공함으로 써 인공지능 딥러닝 기술을 활용한 무용 동작 분석 기초 연구의 새로운 시각을 제안하였다.

In this paper, I propose a quantification methodology of dance movements applied with artificial intelligence deep learning technology to verify the practical similarity between dance movements, which are basic elements of dance copyright. I analyzed image data extracted from 2D dance videos using the deep learning network OpenPose library for human pose estimation and detected 18 body key points. The detected key point was connected to output a skeleton image and converted into a two-dimensional spatial coordinate form for data analysis. The possibility of measuring the similarity of dance motion was confirmed through the similarity verification between data using a mathematical model. The methodology presented in this study proposed a new perspective of the basic research on dance motion analysis using artificial intelligence deep learning technology by providing quantitative data on dance motion, which is the basic unit of choreography copyright.

Estimating accurate 3D human poses from a monocular video is fundamental to various computer vision tasks. Existing methods exploit 2D-to-3D pose lifting, multiview images, and depth sensors to model spatio-temporal dependencies. However, depth ambiguities, occlusions, and larger temporal receptive fields pose challenges to these approaches. To address this, we propose a novel prior-free DCNN-based 3D human pose estimation method for monocular image sequences using limb vectors. Our method comprises two subnetworks: a limb direction estimator and a limb length estimator. The limb direction estimator utilizes a fully convolutional network to model limb direction vectors across a temporal window. We show that network complexity can be significantly reduced by utilizing dilated convolutional operations and a relatively smaller receptive field while maintaining estimation accuracy. Moreover, the limb length estimator captures stable limb length estimations from a reliable frame set. Our model has shown superior performance compared to existing methods on the Human3.6M and MPI-INF-3DHP datasets.

카메라를 사용하여 사람의 자세를 추정하는 연구는 비전 연구에서 오래된 주제 중 하나이다. 최근에 도 비전에 기반하여 사람의 자세를 추정하기 위한 연구들이 진행되고 있지만 단일 카메라만으로 정확 한 3D 자세를 추정하기 위해 중요한 깊이 값과 실시간 성능을 위한 추론 속도를 함께 추구하기에는 한계가 있었다. 이러한 문제들을 해결하기 위하여 본 논문에서 제안하는 방법을 활용하여 깊이 값 추 론을 통한 정확성과 실시간으로 사용할 수 있는 추론 속도를 가지는 방법을 제안한다.

최근 딥러닝 기술이 발전함에 따라 많은 컴퓨터 비전 연구 분야에서 주목할 만한 성과들이 지속적으로 나오고 있다. 단일 이미지를 기반으로 사람의 2차원 및 3차원 포즈를 추정하는 연구에서도 비약적인 성능향상을 보여주고 있으 며, 많은 연구자들이 문제의 범위를 확장하며 활발한 연구 활동을 진행하고 있다. 사람의 포즈 추정은 다양한 응용 분야가 존재하고, 특히 이미지나 비디오 분석에서 사람의 포즈는 행동 및 상태, 의도 파악을 위한 핵심 요소가 되기 때문에 상당히 중요한 연구 분야이다. 이러한 배경에 따라 본 논문은 단일 이미지를 기반으로 한 사람의 포즈 추정 기술에 대한 연구 동향을 살펴보고자 한다. 강인하고 정확한 문제 해결을 위해 다양한 연구 활동 결과가 존재한다는 점에서 본 논문에서는 사람의 포즈 추정 연구를 2차원 및 3차원 포즈 추정에 대해서 나누어 살펴보고자 한다. 끝으 로 연구에 필요한 데이터 세트 및 사람의 포즈 추정 기술을 적용하는 다양한 연구 사례를 살펴볼 것이다.

With the recent development of deep learning technology, remarkable achievements have been made in many research areas of computer vision. Deep learning has also made dramatic improvement in two-dimensional or three-dimensional human pose estimation based on a single image, and many researchers have been expanding the scope of this problem. The human pose estimation is one of the most important research fields because there are various applications, especially it is a key factor in understanding the behavior, state, and intention of people in image or video analysis. Based on this background, this paper surveys research trends in estimating human poses based on a single image. Because there are various research results for robust and accurate human pose estimation, this paper introduces them in two separated subsections: 2D human pose estimation and 3D human pose estimation. Moreover, this paper summarizes famous data sets used in this field and introduces various studies which utilize human poses to solve their own problem.

Pose estimation which is regard as the cross-technology of computer vision and pattern recognition, and an important prerequisite for human behavior understanding. Human pose estimation which use the probability theory, machine learning, pattern recognition, graph theory and other theories to get the position, the deflection angle of the various parts of the body. Then make the detection and estimation parameters for the human body pose. When the image has interference in the background, color and scale changed, human pose complex, self-occlusion and interpersonal interaction occlusion may make the precision and accuracy of pose estimation face great challenge. Thus, according to the above problems, this paper use the advanced model of the human body as contour model to descript the complex pose, in order to make the model more accurate and suitable for various human pose, we pre-clustering the human body pose of the training samples before we trained the model and in order to ensure the accuracy of the pose we use robust segmentation of multi-view with a novel shape prior. The experiment shows that the algorithm performs better than the classic algorithm on the public datasets.

딥러닝 기술의 발전에 따라, 딥러닝을 Human Pose Estimation에 적용하는 연구가 활발하게 수행되고 있다. 본 논문에서는 딥러닝을 이용한 여러 기술 중 가장 활발하게 사용이 되고 있는 Open Pose 와 Deeper Cut 기술의 특성을 분석한다.

딥러닝 기술의 발전에 따라, 딥러닝을 Human Pose Estimation에 적용하는 연구가 활발하게 수행되고 있다. 본 논문에서는 딥러닝을 이용한 여러 기술 중 가장 활발하게 사용이 되고 있는 Open Pose 와 Deeper Cut 기술의 특성을 분석한다.

본 논문에서는 매개변수가 더 적고, 빠르게 추정 가능한 MobileViT 기반 모델을 통해 사람 자세 추정 과업을 수행할 수 있는 모델을 제안한다. 기반 모델은 합성곱 신경망의 특징과 Vision Transformer의 특징이 결합한 구조를 통해 경량화된 성능을 입증한다. 본 연구에서 주요 매커니즘이 되는 Transformer는 그 기반의 모델들이 컴퓨터 비전 분야에서도 합성곱 신경망 기반의 모델들 대비 더 나은 성능을 보이며, 영향력이 커지게 되었다. 이는 사람 자세 추정 과업에서도 동일한 상황이며, Vision Transformer기반의 ViTPose가 COCO, OCHuman, MPII 등 사람 자세 추정 벤치마크에서 모두 최고 성능을 지키고 있는 것이 그 적절한 예시이다. 하지만 Vision Transformer는 매개변수의 수가 많고 상대적으로 많은 연산량을 요구하는 무거운 모델 구조를 가지고 있기 때문에, 학습에 있어 사용자에게 많은 비용을 야기시킨다. 이에 기반 모델은 Vision Transformer가 많은 계산량을 요구하는 부족한 Inductive Bias 계산 문제를 합성곱 신경망 구조를 통한 Local Representation으로 극복하였다. 최종적으로, 제안 모델은 MS COCO 사람 자세 추정 벤치마크에서 제공하는 Validation Set으로 ViTPose 대비 각각 5분의 1과 9분의 1만큼의 3.28GFLOPs, 972만 매개변수를 나타내었고, 69.4 Mean Average Precision을 달성하여 상대적으로 우수한 성능을 보였다.

In this paper, we propose a model that can perform human pose estimation through a MobileViT-based model with fewer parameters and faster estimation. The based model demonstrates lightweight performance through a structure that combines features of convolutional neural networks with features of Vision Transformer. Transformer, which is a major mechanism in this study, has become more influential as its based models perform better than convolutional neural network-based models in the field of computer vision. Similarly, in the field of human pose estimation, Vision Transformer-based ViTPose maintains the best performance in all human pose estimation benchmarks such as COCO, OCHuman, and MPII. However, because Vision Transformer has a heavy model structure with a large number of parameters and requires a relatively large amount of computation, it costs users a lot to train the model. Accordingly, the based model overcame the insufficient Inductive Bias calculation problem, which requires a large amount of computation by Vision Transformer, with Local Representation through a convolutional neural network structure. Finally, the proposed model obtained a mean average precision of 0.694 on the MS COCO benchmark with 3.28 GFLOPs and 9.72 million parameters, which are 1/5 and 1/9 the number compared to ViTPose, respectively.

In this paper, a kidnapping detection scheme in which human pose estimation is used to classify accurately between kidnapping cases and normal ones is proposed. To estimate human poses from input video, human's 10 joint information is extracted by OpenPose library. In addition to the features which are used in the previous study to represent the size change rates and the regularities of human activities, the human pose estimation features which are computed from the location of detected human's joints are used as the features to distinguish kidnapping situations from the normal accompanying ones. A frame-based kidnapping detection scheme is generated according to the selection of J48 decision tree model from the comparison of several representative classification models. When a video has more frames of kidnapping situation than the threshold ratio after two people meet in the video, the proposed scheme detects and notifies the occurrence of kidnapping event. To check the feasibility of the proposed scheme, the detection accuracy of our newly proposed scheme is compared with that of the previous scheme. According to the experiment results, the proposed scheme could detect kidnapping situations more 4.73% correctly than the previous scheme.

Since the recent launch of Microsoft Xbox Kinect, research on 3D human pose estimation has attracted a lot of attention in the computer vision community. Kinect shows impressive estimation accuracy and real-time performance on massive graphics processing unit hardware. In this paper, we focus on further reducing the computation complexity of the existing state-of-the-art method to make the real-time 3D human pose estimation functionality applicable to devices with lower computing power. As a result, we propose two simple approaches to speed up the random-forest-based human pose estimation method. In the original algorithm, the random forest classifier is applied to all pixels of the segmented human depth image. We first use a multi-scale approach to reduce the number of such calculations. Second, the complexity of the random forest classification itself is decreased by the proposed cascade approach. Experiment results for real data show that our method is effective and works in real time (30 fps) without any parallelization efforts.

With the increasing demand for the development of human pose estimation, such as human-computer interaction and human activity recognition, there have been numerous approaches to detect the 2D poses of people in images more efficiently. Despite many years of human pose estimation research, the estimation of human poses with images remains difficult to produce satisfactory results. In this study, we propose a robust 2D human body pose estimation method using an RGB camera sensor. Our pose estimation method is efficient and cost-effective since the use of RGB camera sensor is economically beneficial compared to more commonly used high-priced sensors. For the estimation of upper-body joint positions, semantic segmentation with a fully convolutional network was exploited. From acquired RGB images, joint heatmaps accurately estimate the coordinates of the location of each joint. The network architecture was designed to learn and detect the locations of joints via the sequential prediction processing method. Our proposed method was tested and validated for efficient estimation of the human upper-body pose. The obtained results reveal the potential of a simple RGB camera sensor for human pose estimation applications.

사람의 자세는 구면 파노라마에서 다양한 형태로 왜곡되어 나타날 수 있다. 따라서 구면 파노라마에서의 자세 추정은 평면 이미지에서의 경우보다 정확도가 떨어진다. 본 논문에서는 인식률이 높은 얼굴 인식 기법을 도입하여 구면 파노라마 영상에서 안정적으로 사람의 자세를 추정하는 방법을 제시한다. 먼저 구면 파노라마에서 얼굴을 인식한 후에 이에 기반하여 사람의 전신 영역을 추정하고 전신 영역을 포함하는 평면 영상을 획득한다. 획득된 평면 영상에서 자세를 추정하여 스켈레톤을 얻고 이를 캐릭터 모델에 적용한다. 제안 방법을 실영상에 적용하여 실험한 결과 평면 이미지에서와 동일한 수준의 정확도를 보임을 확인하였다.

3차원 인체자세추정은 스포츠, 동작인식, 영상매체의 특수효과 등의 분야에서 널리 활용되고 있는 기술이다. 이를 위한 여러 방법들 중 다중 시점 3차원 인체자세추정은 현실의 복잡한 환경에서도 정밀한 추정을 하기 위해 필수적인 방법이다. 하지만 기존 다중 시점 3차원 인체자세추정 모델들은 3차원 특징 맵을 사용함에 따라 시간 복잡도가 높은 단점이 있다. 본 논문은 계산 복잡도가 적은 트랜스포머 기반 기존 단안 시점 다중 프레임 모델을 다중 시점에 대한 3차원 인체자세추정으로 확장하는 방법을 제안한다. 다중 시점으로 확장하기 위하여 먼저 2차원 인체자세 검출자 CPN(Cascaded Pyramid Network)을 활용하여 획득한 4개 시점의 17가지 관절에 대한 2차원 관절좌표를 연결한 8차원 관절좌표를 생성한다. 그 다음 이들을 패치 임베딩 한 뒤 17×32 데이터로 변환하여 트랜스포머 모델에 입력한다. 마지막으로, 인체자세를 출력하는 MLP(Multi-Layer Perceptron) 블록을 매 반복 마다 사용한다. 이를 통해 4개 시점에 대한 3차원 인체자세추정을 동시에 수정한다. 입력 프레임 길이 27을 사용한 Zheng[5]의 방법과 비교했을 때 제안한 방법의 모델 매개변수의 수는 48.9%, MPJPE(Mean Per Joint Position Error)는 20.6mm(43.8%) 감소했으며, 학습 횟수 당 평균 학습 소요 시간은 20배 이상 빠르다.

The technology of Three-dimensional human posture estimation is used in sports, motion recognition, and special effects of video media. Among various methods for this, multi-view 3D human pose estimation is essential for precise estimation even in complex real-world environments. But Existing models for multi-view 3D human posture estimation have the disadvantage of high order of time complexity as they use 3D feature maps. This paper proposes a method to extend an existing monocular viewpoint multi-frame model based on Transformer with lower time complexity to 3D human posture estimation for multi-viewpoints. To expand to multi-viewpoints our proposed method first generates an 8-dimensional joint coordinate that connects 2-dimensional joint coordinates for 17 joints at 4-vieiwpoints acquired using the 2-dimensional human posture detector, CPN(Cascaded Pyramid Network). This paper then converts them into 17×32 data with patch embedding, and enters the data into a transformer model, finally. Consequently, the MLP(Multi-Layer Perceptron) block that outputs the 3D-human posture simultaneously updates the 3D human posture estimation for 4-viewpoints at every iteration. Compared to Zheng[5]'s method the number of model parameters of the proposed method was 48.9%, MPJPE(Mean Per Joint Position Error) was reduced by 20.6 mm (43.8%) and the average learning time per epoch was more than 20 times faster.

본 논문은 CCTV 화면에서의 다양한 이상상황 중 교량 데이터에 특화된 자세 추정 기반 이상탐지 알고리즘을 소개한다. 교량은 크게 도로, 인도 이렇게 두 구역으로 나눠지며, 사람들의 이동방향이 한정적이라는 특징을 가지는 장소 중 하나이다. 이러한 장소적 특징을 이용하고자 사람 자세 추정을 통해 이상의 기준을 잡고 교량 데이터에 특화된 이상탐지 알고리즘을 제안한다. CCTV 영상은 이상을 정하기 어렵고 이상에 대한 레이블이 없는 데이터가 대부분이며 이상에 대한 레이블 생성시 많은 비용 발생이 필수적이다. 본 연구에서는 이러한 한계점을 극복하고자 영상 데이터를 이미지 단위가 아닌 영상 단위로 레이블이 담긴 weakly label 을 가지는 데이터를 활용한 이상탐지 모델을 이용하였다. 특히, 교량에서의 이상상황의 특징인 사람 자세 추정으로 추출한 특질을 추가하여 기존 알고리즘의 이상탐지 예측 성능을 개선하였다.

사용자 동작 추정이란 이미지 또는 비디오에서 사용자의 관절 위치를 추정하는 과정을 말한다. 기존의 연구들은 사용자의 몸에서 관절의 큰 부분(어깨, 무릎, 골반, 손, 발 등)만을 추정하거나 손의 세부 관절을 별도로 추정 했다. 하지만 특정 분야(수화, 댄스 등)에선 몸짓과 손을 함께 사용하기에 우리는 사용자 몸의 큰 관절과 손의 세부 관절을 같이 추정하는 방법에 대한 연구를 제안한다. 본 논문에서 제안하는 사용자 동작 추정 방법은 Cascades 방법을 이용한 합성곱 신경망 기반 회귀모델을 적용한 방식이다. 손의 관절들은 다른 큰 관절들(어깨, 무릎, 골반 등)보다 작아서 정밀한 추정을 요구하기에 Cascades 방법을 사용해 보다 정밀하게 추정할 수 있다.

투구는 야구의 시작이라 할 만큼 야구에서 주요한 부분을 차지한다. 투구 동작의 정확한 분석은 경기력 향상과 부상 예방 측면에서 매우 중요하다. 올바른 투구 동작을 분석할 때, 현재 주로 사용되는 모션캡처는 환경적으로 치명적인 단점들이 몇 가지 존재한다. 본 논문에서 우리는 이러한 단점들이 존재하는 모션캡처를 대체하기 위하여 RGB 기반의 Human Pose Estimation(HPE) 모델을 활용한 투구 동작의 분석을 제안하며 이에 대한 신뢰도를 검증하기 위해 모션캡처 데이터와 HPE 데이터의 관절 좌표를 Dynamic Time Warping(DTW) 알고리즘의 비교를 통해 두 데이터의 유사도를 검증하였다.

Pitching is a major part of baseball, so much so that it can be said to be the beginning of baseball. Analysis of accurate pitching motions is very important in terms of performance improvement and injury prevention. When analyzing the correct pitching motion, the currently used motion capture method has several critical environmental drawbacks. In this paper, we propose analysis of pitching motion using the RGB-based Human Pose Estimation (HPE) model to replace motion capture, which has these shortcomings, and use motion capture data and HPE data to verify its reliability. The similarity of the two data was verified by comparing joint coordinates using the Dynamic Time Warping (DTW) algorithm.

사람의 자세추정(Human pose estimation)은 사람의 관절 키포인트를 추출하여 자세를 추정하는 방법이다. 폐색현상(Occlusion)이 발생하면, 사람의 관절이 가려지므로 관절 키포인트 추출 성능이 낮아진다. 폐색현상은 총 3가지로 행동할 때 스스로 가려짐, 다른 사물에 의해 가려짐과 배경에 의해 가려짐으로 크게 나뉜다. 본 논문에서는 폐색현상 증강기법을 활용하여 효과적인 자세추정방법을 제안한다. 자세추정방법이 지속적으로 연구되어왔지만, 자세추정방법의 가려짐 현상에 관한 연구는 상대적으로 부족한 상태이다. 이를 해결하기 위해 저자는 사람의 관절을 타겟팅하여 의도적으로 가리는 데이터 증강기법을 제안한다. 본 논문에서의 실험 결과는 의도적으로 폐색현상 증강기법을 활용하면 폐색현상에 강인하며 성능이 올라간 것을 보여준다.

Human pose estimation is a method of estimating a posture by extracting a human joint key point. When occlusion occurs, the joint key point extraction performance is lowered because the human joint is covered. The occlusion phenomenon is largely divided into three types of actions: self-contained, covered by other objects, and covered by background. In this paper, we propose an effective posture estimation method using a masking phenomenon enhancement technique. Although the posture estimation method has been continuously studied, research on the occlusion phenomenon of the posture estimation method is relatively insufficient. To solve this problem, the author proposes a data augmentation technique that intentionally masks human joints. The experimental results in this paper show that the intentional use of the blocking phenomenon enhancement technique is strong against the blocking phenomenon and the performance is increased.

3차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다. Human3.6M과 MPI-INF-3DHP 데이터셋을 사용한 실험은 제안하는 방법이 3차원 휴먼 자세 추정을 위한 단시점 모델의 학습에 효과적임을 보여준다.

3D human pose estimation models can be classified into a multi-view model and a single-view model. In general, the multi-view model shows superior pose estimation performance compared to the single-view model. In the case of the single-view model, the improvement of the 3D pose estimation performance requires a large amount of training data. However, it is not easy to obtain annotations for training 3D pose estimation models. To address this problem, we propose a method to generate pseudo ground-truths of multi-view human pose data from a multi-view model and exploit the resultant pseudo ground-truths to train a single-view model. In addition, we propose a multi-view consistency loss function that considers the consistency of poses estimated from multi-view images, showing that the proposed loss helps the effective training of single-view models. Experiments using Human3.6M and MPI-INF-3DHP datasets show that the proposed method is effective for training single-view 3D human pose estimation models.

3D 사람 자세 추정 기술은 다양한 응용 분야에서의 높은 활용성으로 인해 대량의 학습 데이터가 수집되어 딥러닝 모델 연구가 진행되어 온 반면, 동물 자세 추정의 경우 3D 동물 데이터의 부족으로 인해 관련 연구는 극히 미진하다. 본 연구는 동물 자세 추정을 위한 예비연구로서, 3D 학습 데이터가 없는 상황에서 단일 이미지로부터 3D 사람 자세를 추정하는 딥러닝 기법을 제안한다. 이를 위하여 사전 훈련된 다중 시점 학습모델을 사용하여 2D 자세 데이터로부터 가상의 다중 시점 데이터를 생성하여 훈련하는 연역적 학습 기반 교사-학생 모델을 구성하였다. 또한, 키포인트 깊이 정보 대신 2D 이미지로부터 레이블링 된 순서 깊이 정보에 기반한 손실함수를 적용하였다. 제안된 모델이 동물데이터에서 적용 가능한지 평가하기 위해 실험은 사람 데이터를 사용하여 이루어졌다. 실험 결과는 제안된 방법이 기존 단안 이미지 기반 모델보다 3D 자세 추정의 성능을 개선함을 보여준다.