In this study, we propose the improved action recognition method that integrates a cosine similarity-based object tracking algorithm. The proposed system is based on object detection using Faster R-CNN, pose estimation using HRNet, and action classification using PoseC3D. The key improvement lies in applying the cosine similarity-based tracking algorithm to the output of PoseC3D, allowing consistent identification and tracking of individual objects across consecutive frames. As a result, the proposed method enables the recognition of the pitcher in baseball videos including multiple objects. Experimental results showed an accuracy of 97% in baseball videos with a single individual. Further experiments on baseball videos with multiple individuals demonstrated a 92% accuracy in recognizing the pitcher.
한국어
본 연구에서는 코사인 유사도 기반 객체 추적 알고리즘을 통합한 개선된 행동 인식 방법을 제안한다. 제 안된 시스템은 Faster R-CNN을 사용한 객체 검출, HRNet을 이용한 포즈 추정, 그리고 PoseC3D를 활용한 행동 분류를 기반으로 한다. 핵심 개선 사항은 PoseC3D의 출력에 코사인 유사도 기반 추적 알고리즘을 적용하여 연속 된 프레임에서 각 개별 객체를 일관되게 식별하고 추적하는 것이다. 이를 통해 다양한 인물이 등장하는 야구 영상 에서 투수를 인식할 수 있도록 하였다. 실험을 진행한 결과, 한 사람이 등장하는 야구 영상에서는 97%의 정확도 를 나타내었으며, 시각화를 통해 타자와 투수, (외)야수 등 각 인물을 잘 인식하고 있음을 확인할 수 있었다. 이어 서 다중 인물 중 투수를 인식하여 영상을 추출하는 실험을 진행한 결과, 92%의 정확도로 투수를 인식하였음을 확인할 수 있었다.
목차
요약 Abstract Ⅰ. 서론 Ⅱ. 관련 연구 Ⅲ. 시스템 구조 3.1 시스템 구조 및 동작 3.2 기존 시스템의 한계 3.3 코사인 유사도 기반 추적 알고리즘을 적용한 행동 인식 시스템 Ⅳ. 성능 평가 4.1 구현 내용 4.2 실험 내용 및 결과 Ⅴ. 결론 REFERENCES
Ever since next generation convergence technology became one of the most important industries in the nation, computing professionals have encountered a growing number of challenges. Along with scholars and colleagues in related fields, they have gathered in avariety of forums and meetings over the last few decades to share their knowledge, experiences and the outcome of their research. These exchanges have led to the founding of the International Next-generation Convergence technology (INCA) on December 1, 2015. INCA was registered as an incorporated association under the Ministry of Information and Communications. The main purpose of the organization is to improve our society by achieving the highest capability possible in next generation convergence technology.
간행물
간행물명
차세대융합기술학회논문지 [The Journal of Next-generation Convergence Technology Association]