Earticle

Recently, various deep learning-based approaches have been studied to interpret complex human actions. A significant limitation of conventional methods is their reliance on a fixed graph structure, which restricts their ability to capture discriminative receptive fields. In this paper, we design a deformable spatio-temporal attention-based graph convolutional neural network (deformable STA-GCN) that dynamically identifies informative joints and temporal patterns. The proposed framework integrates two key modules, a deformable spatial attention (DeSA) module and a deformable temporal attention (DeTA) module. The DeSA module is integrated to dynamically identify joints closely related to motion, and the DeTA module is incorporated to identify informative temporal receptive fields. Within each module, an attention mechanism is employed to selectively emphasize the sampled features, enabling the network to extract the most discriminative spatiotemporal information. Experimental results on the NTU RGB+D benchmark dataset demonstrate that the proposed model achieves higher accuracy than the comparison model.

Recently, there has been significant research into the recognition of human activities using three-dimensional sequential skeleton data captured by the Kinect depth sensor. Many of these studies employ deep learning models. This study introduces a novel feature selection method for this data and analyzes it using machine learning models. Due to the high-dimensional nature of the original Kinect data, effective feature extraction methods are required to address the classification challenge. In this research, we propose using the first four moments as predictors to represent the distribution of joint sequences and evaluate their effectiveness using two datasets: The exergame dataset, consisting of three activities, and the MSR daily activity dataset, composed of ten activities. The results show that the accuracy of our approach outperforms existing methods on average across different classifiers.

Optical motion capture is vital for the digitization of human movement, yet marker occlusion often causes unnatural axial twist errors in limb segments. Current refinement methods primarily target marker trajectories or general smoothing, leaving skeleton-based axial rotations inadequately addressed when raw marker data are absent. This study proposes a kinematic framework to automatically detect and refine these twist errors by analyzing the kinematic relationship between parent and child joints. We utilize swing-twist decomposition to isolate the parent joint’s axial rotation and estimate the azimuth rotation to identify kinematic contradictions, such as counter-rotating joint behavior. Validation using synthetic level-shift errors injected into the CMU Motion Capture Database demonstrated a Frame Success Rate (FSR) of 94.81%. The proposed method significantly reduced the Mean Absolute Error (MAE) from 124.61° to 8.91°, effectively removing 92.85% of injected errors while preserving the global orientation of the motion. This approach ensures the kinematic integrity of skeleton animation, providing a robust solution for high-precision motion analysis tasks such as motion retargeting.

본 연구는 3D 스켈레톤 데이터를 활용하여 머신러닝 및 딥러닝 모델을 통해 동작 인식을 수행하고, 모델 간 분류 성능 차이를 비교 분석하였다. 데이터는 NTU RGB+D 데이터의 정면 촬영 데이터로 40명의 참가자가 수행한 60가지 동작을 분류하였다. 머신러닝 모델로는 선형판별분석(LDA), 다중 클래스 서포트 벡터 머신(SVM), 그리고 랜덤 포레스트(RF)가 있으며, 딥러닝 모델로는 RNN 기반의 HBRNN (hierarchical bidirectional RNN) 모델과 GCN 기반의 SGN (semantics-guided neural network) 모델을 적용하였다. 각 모델의 분류 성능을 평가하기 위해 40명의 참가자별로 교차 검증을 실시하였다. 분석 결과, 모델 간 성능 차이는 동작 유형에 크게 영향을 받았으며, 군집 분석을 통해 각 동작에 대한 분류 성능을 살펴본 결과, 인식이 비교적 쉬운 큰 동작에서는 머신러닝 모델과 딥러닝 모델 간의 성능 차이가 유의미하지 않았고, 비슷한 성능을 나타냈다. 반면, 손뼉치기나 손을 비비는 동작처럼 정면 촬영된 관절 좌표만으로 구별하기 어려운 동작의 경우, 딥러닝 모델이 머신러닝 모델보다 관절의 미세한 움직임을 인식하는 데 더 우수한 성능을 보였다.

This study investigates the effectiveness of 3D skeleton data for human action recognition by comparing the classification performance of machine learning and deep learning models. We use the subset of the NTU RGB+D dataset, containing only frontal-view recordings of 40 individuals performing 60 different actions. Our study uses linear discriminant analysis (LDA), support vector machine (SVM), and random forest (RF) as machine learning models, while the deep learning models are hierarchical bidirectional RNN (HBRNN) and semantics-guided neural network (SGN). To evaluate model performance, cross-subject cross-validation is conducted. Our analysis demonstrates that action type significantly impacts model performance. Cluster analysis by action category shows no significant difference in classification performance between machine learning and deep learning models for easily recognizable actions. However, for actions requiring precise differentiation based on frontal-view joint coordinates such as 'clapping' or 'rubbing hands', deep learning models show a higher performance in capturing subtle joint movements compared to machine learning models.

다중 데이터 기반의 행동 인식 과정에서 데이터 수집 반경이 비교적 제한되는 영상 데이터의 결측에 대한 보완이 요구된다. 본 논문에서는 6축 센서 데이터를 이용하여 결측된 영상 데이터를 생성함으로써 행동 인식의 성능을 개선하는 방법을 제안한다. 가속도와 자이로 센서로부터 수집된 행동 데이터를 이용하여 GAN(Generative Adversarial Network)을 통해 영상에서의 관절(Skeleton) 움직임에 대한 데이터를 생성하고자 한다. 이를 위해 DeepLabCut 기반 모델 학습을 통해 관절 좌표를 추출하며, 전처리된 센서 시퀀스 데이터를 가지고 GRU 기반 GAN 모델을 통해 관절 좌표에 대한 영상 시퀀스 데이터를 생성한다. 생성된 영상 시퀀스 데이터는 영상 데이터의 결측이 발생했을 때 대신 행동 인식 모델의 입력값으로 활용될 수 있어 성능 향상을 기대할 수 있다.

본 논문에서는 척추 관련 질환을 예방하고, 잘못된 자세를 사용자에게 피드백하여 자세교정에 도움을 주기 위한 연구를 수행하였다. 이를 위해 키넥트 센서를 사용하였으며, 사용자의 움직임을 측정하기 위해 골격 데이터 좌표 값을 인덱스 화하여 움직임 변화정도를 측정하였다. 구현된 시스템은 자세판별 뿐만 아니라 사용자의 산만도 모니터링이 가능함을 확인하였다.

In this paper, a study was conducted to prevent spinal - related diseases and to help posture correction by feeding back the wrong attitude to the users. Kinect sensor was used for this purpose. In order to measure the movement of the user, the degree of motion change was measured by indexing the skeletal data coordinate value. It is confirmed that the implemented system can observe not only posture but also distraction of user.

본 논문에서는 스마트 기기를 사용할 시 자세가 거북목 자세인지 아닌지 판별하는 시스템을 제안한다. 거북목 증후군이란 목이 구부정하게 앞으로 나오는 자세를 오래 취해 목이 일자목으로 바뀌고 뒷목, 어깨, 허리 등에 통증이 생기는 증상을 말하며, 수술이나 약물치료보다 평소의 자세 습관을 고치는 방법이 효과적이다. 기존의 연구들은 노트북에 내장되어있는 웹캠을 이용한 CNN기반의 학습모델은 영상의 명도와 학습 데이터 등에 많은 영향을 받고 학습 데이터를 모을 때 초상권 문제로 수집이 어렵다. 본 논문에서는 이러한 문제를 예방하고자 Openpose 오픈 소스를 이용한 뼈대를 기반으로 측면에서의 앉은 자세를 한습 모델로 실시간 검증하여, 거북목 자세인지 아닌지를 효율적이고 정확하게 판별한다.

3차원 영상은 2차원 영상에 비해 데이터량이 매우 방대하다. 따라서 3차원 데이터를 효율적으로 압축하는 것은 매우 중요하다. 현재까지 대부분의 연구는 데이터량이 체적소(voxel)에 비해 월등히 적은 메쉬(mesh)를 기반으로 하여 이루어져 왔다. 하지만, 메쉬를 이용한 데이터 압축의 경우 체적소에 비해 데이터 자체의 규칙성이 떨어져 체적소를 이용한 압축에 비해 압축 효율이 낮다. 그리고, 체적소 데이터를 이용할 경우, 이를 스켈레톤화 하여 데이터량을 더욱 줄일 수 있다. 따라서 본 논문에서는 3차원 체 적소 데이터의 규칙성과 스켈레톤을 이용한 압축 기법을 제안할 것이다.