Earticle

최근 동영상 공유 플랫폼에서 유명 아이돌과 댄서의 안무 영상이 공유되고 콘텐츠 소비자들은 이를 보고 따라 춰서 새로운 콘텐츠를 창출하고 있다. 또한 많은 기업에서 빠른 동작의 인식과 동작 간의 유사도를 측정하는 기술을 요구하고 있다. 본 연구는 동작 인식 및 동작 간의 유사도를 계산하는 방법을 제안한다. 동영상에서 안무 혹은 동작의 데이터를 추출하고 데이터 간의 유사도를 계산한다. 동작의 데이터는 OpenPose로 골격을 추출하여 이를 이용해 관절의 각도 데이터를 추출하고. 유사도는 코사인 유사도를 사용하여 계산하는 방법을 제안한다. 다음과 같은 방법으로 같은 동작의 유사도는 0.995의 유사도를 보였고 다른 동작의 유사도는 0.931의 유사도를 보였다.

COVID-19 발병 및 확산으로 인해 신체 활동이 감소하고 피로와 무기력함을 호소하는 사람들이 증가하였다. 이에 따라 많은 사람들이 건강에 대한 관심 증가로 건강 증진과 면역력 강화를 위해 운동을 택하고 있으며, 이를 위해 홈 트레이닝 애플리케이션을 활용하고 있지만 자세 지도의 부재로 인해 잘못된 운동 자세로 인한 근골격계 부상과 근육의 불균형과 같은 문제가 발생할 수 있다. 이러한 문제를 예방하고 해소하기 위해 본 논문에서는 운동하는 사람의 객체 검출과 관절 추정을 통해 정확한 운동 자세 분류하고 평가하여 지도하는 모델을 제안한다. 제안된 모델은 웹 캠으로부터 수집된 영상 프레임을 YOLOv7(You Only Look Once version 7) 모델의 입력 데이터로 사용하여 사람 객체를 검출하고, 관절 추정의 정확도를 높이기 위해 전경 추출을 이용하여 배경을 제거한 객체를 추출한다. 추출된 사람 객체 이미지를 OpenPose 의 입력 데이터로 사용하여 관절 좌표를 추출하고, 이 좌표를 이용하여 정확한 피트니스 운동 자세에 대해 평가하고, 분류기의 입력 데이터로 사용하여 3 대 운동인 벤치프레스, 스쿼트, 데드리프트의 종류를 분류한다. 본 논문의 모델을 통해 피트니스 운동을 하는 사람의 관절 동작을 자동으로 인식하여, 정확한 운동 자세를 취하지 않은 경우를 감지하고 교정하는 데 적용될 수 있을 것이다. 이를 통해, 근골격계 부상 예방과 근육의 불균형의 문제를 해소하는 데 큰 도움이 될 것으로 예상한다. 또한 피트니스 트레이닝 분야뿐만 아니라 의료 분야에서도 활용될 있을 것이라 기대한다.

최근에 빠르게 확산되고 있는 CCTV와 같은 영상기기들은 거의 모든 공공기관, 기업, 가정 등에서 비정상적인 상황 을 감시하고 대처하기 위한 수단으로 활용되고 있다. 그러나 대부분의 경우 이상상황에 대한 인식은 모니터링하고 있는 사람 에 의해 수동적으로 이루어지고 있어 즉각적인 대처가 미흡하며 사후 분석용으로만 활용되고 있다. 본 논문에서는 최신 딥러 닝 기술과 실시간 전송기술을 활용하여 이벤트 발생시 스마트폰으로 이상 상황을 동영상과 함께 실시간으로 전송하는 동영 상 감시 시스템의 개발 결과를 제시한다. 개발된 시스템은 오픈포즈 라이브러리를 이용하여 실시간으로 동영상으로 부터 인간 객체를 스켈레톤으로 모델링한 후, 딥러닝 기술을 이용하여 인간의 행동을 자동으로 인식하도록 구현하였다. 이를 위해 Caffe 프레임워크를 개발된 오픈포즈 라이브러리를 다크넷 기반으로 재구축하여 실시간 처리 능력을 대폭 향상 시켰으며, 실험을 통해 성능을 검증하였다. 본 논문에서 소개할 시스템은 정확하고 빠른 행동인식 성능과 확장성을 갖추고 있어 다양한 용도의 동영상 감시 시스템에 활용될 수 있을 것으로 기대된다.

Recently, video equipments such as CCTV, which is spreading rapidly, is being used as a means to monitor and cope with abnormal situations in almost governments, companies, and households. However, in most cases, since recognizing the abnormal situation is carried out by the monitoring person, the immediate response is difficult and is used only for post-analysis. In this paper, we present the results of the development of video surveillance system that automatically recognizing the abnormal situations and sending such events to the smartphone immediately using the latest deep learning technology. The proposed system extracts skeletons from the human objects in real time using Openpose library and then recognizes the human behaviors automatically using deep learning technology. To this end, we reconstruct Openpose library, which developed in the Caffe framework, on Darknet framework to improve real-time processing. We also verified the performance improvement through experiments. The system to be introduced in this paper has accurate and fast behavioral recognition performance and scalability, so it is expected that it can be used for video surveillance systems for various applications.

건설업은 사망자 수가 가장 많이 발생하는 산업이며, 다양한 제도 개선에도 사망자는 크게 줄어들지 않고 있 다. 이에 따라, CCTV 영상에 인공지능(AI)을 적용한 실시간 안전관리가 부각되고 있다. 건설현장의 영상에 대한 AI 를 적용한 근로자 탐지연구가 진행되고 있지만, 건설업의 특성상 복잡한 배경 등의 문제로 인해 성능 발현에 제한이 있다. 본 연구에서는 근로자의 탐지 및 자세 추정에 대한 성능 향상을 위해 YOLO 모델과 OpenPose 모델을 융합하 여, 복잡 다양한 조건에서의 근로자에 대한 탐지 성능을 향상시켰다. 이는 향후 근로자의 불안전안 행동 및 건강관리 측면에서 활용도가 높을 것으로 예상된다.

The construction is the industry with the highest fatalities, and the fatalities has not decreased despite various institutional improvements. Accordingly, real-time safety management by applying artificial intelligence (AI) to CCTV images is emerging. Although some research on worker detection by applying AI to images of construction sites is being conducted, there are limitations in performance expression due to problems such as complex background due to the nature of the construction industry. In this study, the YOLO model and the OpenPose model were fused to improve the performance of worker detection and posture estimation to improve the detection performance of workers in various complex conditions. This is expected to be highly useful in terms of unsafe behavior and health management of workers in the future.

최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.

Recently, research on behavior analysis tracking human posture and movement has been actively conducted. In particular, OpenPose, an open-source software developed by CMU in 2017, is a representative method for estimating human appearance and behavior. OpenPose can detect and estimate various body parts of a person, such as height, face, and hands in real-time, making it applicable to various fields such as smart healthcare, exercise training, security systems, and medical fields. In this paper, we propose a method for classifying four exercise movements - Squat, Walk, Wave, and Fall-down - which are most commonly performed by users in the gym, using OpenPose-based deep learning models, DNN and CNN. The training data is collected by capturing the user's movements through recorded videos and real-time camera captures. The collected dataset undergoes preprocessing using OpenPose. The preprocessed dataset is then used to train the proposed DNN and CNN models for exercise movement classification. The performance errors of the proposed models are evaluated using MSE, RMSE, and MAE. The performance evaluation results showed that the proposed DNN model outperformed the proposed CNN model.

최근 어린이집이나 유치원 등 교육기관에서 아동학대가 빈번히 발생하고 있다. 정부는 CCTV 설치를 의무화하였지만 CCTV 영상을 열람하는 것이 쉽지 않다. 본 논문에서는 CCTV 영상을 이용하여 아동학대를 판단하는 모델을 제안한다. 먼저 아동학대란 성인이 물리적으로 아동에게 가해를 하는 것이므로 성인과 아동을 분류하는 모델이 필요하다. 기존의 Haar기법을 사용하여 성인과 아동을 분류하려면 정면 영상이 필요하지만 OpenPose를 사용하면 정면과 측면에 구애받지 않고 성인과 아동을 분류할 수 있다. 본 연구에서는 아동이 학대를 당할 때 성인과 아동의 자세의 특성을 적용하여 아동 학대 판단 모델을 설계 및 구현하였다. 구현한 시스템은 현재 설치되어있는 CCTV를 활용하므로 추가적인 설치가 필요하지 않고 실시간으로 아동학대가 발생하고 있는지 모니터링 할 수 있으므로 이에 따른 빠른 대처가 가능할 것으로 사료된다.

Recently child abuse has occurred frequently in educational institutions such as daycare center and kindergarten. Therefore, government made it mandatory to install CCTVs, but it is not easy to inspect the CCTV images. In this paper, we propose a model for judging child abuse using CCTV images. First of all, child abuse is a physical abuse of children by adults, thus a model for classifying adults and children is needed. The existing Haar scheme uses the frontal image to classify adults and children. However, the OpenPose allows to classify adults and children regardless of frontal and side image. In this research, a child abuse judgment model was designed and implemented by applying characteristics of adult and child posture when a child was abused. Since the implemented system utilizes the currently installed CCTV image, it is possible to monitor the child abuse in real time without any additional installation, which enables us to cope with the abuse promptly.

본 연구에서는 국방 감시 정찰 시스템을 OpenPose와 DNN(Deep Neural Networks), CNN(Convolutional Neural Networks), LSTM(Long Short-Term Memory)과 같은 딥러닝 네트워크를 통해 구현하였다. 본 연구의 시스템은 기존의 감시 정찰 시스템과는 다른 방식의 거동수상자(target) 인식 방법을 제안하고 있으며, 제안하는 방법은 촬영되는 영상에서 사람들의 모션을 분류함으로써 일반인과 거동수상자를 구분하는 것이다. 이를 위해 OpenPose를 통해 영상 내의 대상의 skeleton 데이터를 추출한다. 이때, 추출되는 skeleton 데이터에 포함되는 keypoints를 DNN, CNN, LSTM에 입력하여 모션을 분류하게 된다. 분류되는 모션들은 사주경계와 같이 군에서 배울 수 있는 모션으로 선정하였다. 시스템이 모션을 분류하여 거동수상자를 인식하게 되면 지도에 이를 표시하고 추적을 한다. 추적 알고리즘에서는 프레임별로 OpenPose를 통해 추출된 keypoints 값의 변화를 계산하여 거동수상자의 이동방향을 계산하고 카메라에서 얻은 depth 정보를 활용하여 카메라 위치를 기반으로 거동수상자를 지도에 표시하도록 한다. 이와 같은 모든 연산은 전체 이미지가 아닌 skeleton 데이터를 활용하였기 때문에 전체적인 연산량을 감소시킬 수 있게 된다.

In this study, defense surveillance reconnaissance systems were implemented through deep learning networks such as OpenPose and deep neural networks (DNN), convolutional neural networks (CNN), and long short-term memory (LSTM). This study proposes a target recognition method which differs from the existing surveillance reconnaissance systems. This method consists in distinguishing between ordinary people and targets by classifying motions in the images being filmed. Thus, the skeleton data of the target in the image are extracted using OpenPose. Then, keypoints included in the extracted skeleton data are entered into DNN, CNN, and LSTM to classify the motion. The classified motions are selected as motions learned in the military, such as overall security. When the system classifies motions and recognizes targets, it identifies them on the map and tracks them. The tracking algorithm calculates the movement direction of the target by calculating the change in the values of keypoints extracted through OpenPose by frames. Finally, it uses the depth information obtained from the camera to display targets on the map based on the camera location. All these computations are based on the use of the skeleton data rather than the entire image, thus reducing the overall computation.