Earticle

본 논문에서는 컴퓨터 비전 분야의 대표적인 도전 과제 중의 하나인 강인한 객체 추적을 위한 새로운 접근을 제안하 고 있다. 중첩과 같이 객체의 추적을 어렵게 하는 문제를 해결하기 위해 색상과 깊이를 함께 사용하는 복합 특징 공 간에서의 스웜 최적화를 기반으로 하는 강인한 객체 추적 모델을 제안한다. 추적하고자 하는 대상에 대한 색상 특징 과 함께 깊이 특징을 복합적으로 사용함으로써 추적 대상의 중첩과 재등장 상황에서도 추적 성능을 제고할 수 있다. 먼저, 입력 영상을 여러 개의 패치로 구분하고 각 패치로부터 색상 특징과 깊이 특징의 동기화 및 통합을 수행하여 색상-깊이 복합 특징 공간에서 특징을 추출한다. 다음으로 스웜 최적화를 통해 파티클의 위치를 업데이트하며 추적 대상 객체를 추적한다. 이 과정에서 추적 대상의 중첩 및 크기 변화에 대응하여 강인한 객체 추적을 가능하게 한다. 제안하는 접근법의 검증을 위해 색상-깊이 공개 데이터셋인 프린스턴 트래킹 벤치마크(PTB; Princeton Tracking Benchmark)를 사용한다. 제안하는 방법에 의한 실험 결과 기존 방법에 비해 추적 성능의 개선을 가져온다는 것을 확인할 수 있다.

This paper proposes a robust object tracking scheme that is one of the most representative challenge in computer vision research area. In order to solve the problems in object tracking such as occlusion, this paper employs swarm optimization in complex feature space using color and depth features. This complex feature space can increase performance of target tracking in occlusion and reappearance situation. First, the input image is divided into several patches, and the color and depth features are synchronized and integrated from each patch to extract features from the color-depth composite feature space. Then, the target object is tracked by updating the position of particles in swarm optimization. During this process, it enables to track target object robustly even in occlusion and size changes of the target. For performance evaluation, this paper uses Princeton Tracking Benchmark (PTB), a color-depth public dataset. The experimental results using the proposed method, it can be confirmed that tracking performance is improved compared to the existing methods.

본 논문은 서베일런스 네트워크에서 이동하는 객체 추적 시 영상 데이터의 전송량을 감소시키는 신경망 계산 시간의 단축 알고리즘을 제안한다. 객체 검출은 디지털화 연속된 영상으로부터 객체 존재 유무를 판단하고, 객체가 존재할 경우 영상 내 객체의 위치, 방향, 크기 등을 알아내는 기술로 정의된다. 그러나 영상 내의 객체는 위치, 크기, 빛의 방향 및 밝기, 장애물 등의 환경적 변화로 인해 객체 모양이 다양해지므로 정확하고 빠른 검출이 어렵다. 따라서 본 논문에서는 신경망을 사용하여 몇 가지 환경적 조건을 극복한 정확하고 빠른 객체 검출 방법을 제안한다. 검색 영역의 축소는 영상 내 색상 영역의 분할과 차영상을 이용하였고, 주성분 분석을 통해 신경망의 입력 벡터를 축소시킴으로써 신경망 수행 시간과 학습 시간을 단축시켰다. 실시간으로 입력되는 동영상에서 모두 실험하였으며, 색상 영역의 분할을 사용할 경우 입력 영상의 칼라 설정의 유무에 따른 검출 성공률의 차를 보였다. 실험 결과에서 보면 제안하는 방법으로써 객체의 움직임을 탐지하였을 때 기존의 방법보다 30% 정도 더 높은 인식 성능을 보여준다.

This paper proposes algorithm to reduce the computing time in a neural network that reduces transmission of data for tracking mobile objects in surveillance networks in terms of detection and communication load. Object Detection can be defined as follows : Given image sequence, which can forom a digitalized image, the goal of object detection is to determine whether or not there is any object in the image, and if present, returns its location, direction, size, and so on. But object in an given image is considerably difficult because location, size, light conditions, obstacle and so on change the overall appearance of objects, thereby making it difficult to detect them rapidly and exactly. Therefore, this paper proposes fast and exact object detection which overcomes some restrictions by using neural network. Proposed system can be object detection irrelevant to obstacle, background and pose rapidly. And neural network calculation time is decreased by reducing input vector size of neural network. Principle Component Analysis can reduce the dimension of data. In the video input in real time from a CCTV was experimented and in case of color segment, the result shows different success rate depending on camera settings. Experimental results show proposed method attains 30% higher recognition performance than the conventional method.

본 논문은 서베일런스 네트워크에서 영상의 색상 정보를 이용한 객체 추적 방법을 제안한다. 이 방법은 적 응적인 색상 모델을 이용한 객체 검출을 수행한다. 객체 윤곽선 검출은 객체 인식과 같은 응용에서 중요한 역할을 수행한다. 실험 결과는 색상과 크기에서 객체의 다양한 변화가 있을 때에도 성공적인 객체 검출을 증명한다. 실시간 으로 객체를 검출하는 응용 분야에서 대량의 영상 데이터를 전송할 때 색상 분포의 형태를 찾아내는 것이 가능하다. 객체의 특정 색상 정보는 입력 영상에서 동적으로 변화하는 색상에서 자주 수정되어진다. 그래서, 이 알고리즘은 해 당 추적 영역 안에서 객체의 추적 영역 정보를 탐지하고 그 객체의 움직임만을 추적한다. 실험을 통해, 본 논문은 어떤 이상적인 상황하에서 제안하는 객체 추적 알고리즘이 다른 방법보다 더 강인한 면이 있다는 것을 보여준다.

In this paper, we propose an object tracking method using the color information of the image in surveillance network. This method perform a object detection using of adaptive color model. Object contour detection plays an important role in application such as object recognition. Experimental results demonstrate successful object detection over a wide range of object’s variation in color and scale. In applications to detect an object in real time, when transmitting a large amount of image data it is possible to find the mode of a color distribution. The specific color of an object is modified at dynamically changing color in image. So, this algorithm detects the tracking area information of object within relevant tracking area and only tracking the movement of that object.Through experiments, we show that proposed method is more robust than other methods under certain ideal situations.

본 논문은 감지와 통신 데이터 전송량의 관점에서 서베일런스 네트워크에서 움직이는 객체를 추적하기 위하 여 전송 데이터를 감소시키는 최소 윤곽선 추적 알고리즘을 제안한다. 이 알고리즘은 객체 추적에 대한 감지를 수행 하고 서버와의 영상 데이터 전송 시 영상 데이터 전송량을 줄임으로써 서버와의 통신 부하를 최소화한다. 이 알고리 즘은 객체의 운동학을 기초로 최소 추적 영역을 사용한다. 객체의 운동학의 모델링은 예정된 시간 안에서 이동할 수 있는 객체에 의해 운동 역학적으로 방문될 수 없는 추적 영역의 부분을 제거하는 것으로써 시작한다. 실시간으로 객 체를 검출하는 응용 분야에서 대량의 영상 데이터를 전송시에 전송 부하를 줄일 수 있는 효과가 있다.

This paper proposes a minimal contour tracking algorithm that reduces transmission of data for tracking mobile objects in surveillance networks in terms of detection and communication load. This algorithm perform detection for object tracking and when it transmit image data to server from camera, it minimized communication load by reducing quantity of transmission data. This algorithm use minimal tracking area based on the kinematics of the object. The modeling of object's kinematics allows for pruning out part of the tracking area that cannot be mechanically visited by the mobile object within scheduled time. In applications to detect an object in real time,when transmitting a large amount of image data it is possible to reduce the transmission load.

본 논문은 영상 데이터에서 객체 추적과 감정 인식을 동시에 수행할 수 있는 딥러닝 기반 통합 프레임워크를 제안한다. 기존 시스템에서는 객체 추적과 감정 인식이 독립적으로 운영되어, 하 나의 영상에서 두 작업을 동시에 처리할 때 연산 비효율성과 정보 불일치가 발생하는 한계가 있었 다. 이를 해결하기 위해 본 연구에서는 사전 학습된 ResNet50 기반 CNN 모델을 통해 공간적 특징 을 추출하고, Stacked LSTM 모델을 통해 시간적 의존성을 학습하여 객체 위치와 감정을 동시에 예 측하는 멀티태스크 통합 인식 구조를 설계하였다. 후처리 단계에서는 칼만 필터와 헝가리안 알고리 즘을 활용한 객체 ID 관리 및 IoU 기반 감정-객체 매칭을 수행하여 다중 객체 환경에서의 추적 안 정성을 확보하였다. CK+, AFEW 감정 데이터셋과 MOT17 객체 추적 데이터셋을 활용한 실험 결과, 제안 시스템은 객체 추적 MOTA 72.6%, 비디오 감정 인식 정확도 73.4%(AFEW 기준), 통합 처리 시 실시간 처리 속도 28.3 FPS를 달성하였으며, 기존 독립 파이프라인 대비 연산량 34.2% 절감 효과를 확인하였다. 절제 실험을 통해 각 모듈의 기여도를 검증하였으며, 본 연구는 감시 시스템, 스마트 리 테일, 인간-컴퓨터 상호작용 등 다양한 분야에 실용적으로 적용 가능하다.

This paper proposes a deep learning-based integrated framework that simultaneously performs object tracking and emotion recognition in video data. Existing systems operate these two tasks independently, resulting in computational inefficiency and information inconsistency when processing both tasks from a single video stream. To address these limitations, the proposed framework employs a pre-trained ResNet50-based CNN model for spatial feature extraction and a Stacked LSTM model for temporal dependency learning, enabling simultaneous prediction of object positions and emotions through a unified multi-task recognition architecture. In the post-processing stage, Kalman Filter and Hungarian Algorithm-based object ID management, along with IoU-based emotion-object matching, ensure tracking stability in multi-object environments. Evaluated on the CK+, AFEW emotion datasets and the MOT17 object tracking dataset demonstrate that the proposed system achieves a MOTA of 72.6% for object tracking, 73.4% accuracy for video-based emotion recognition (on AFEW), and a real-time processing speed of 28.3 FPS, with a 34.2% reduction in computational load compared to independent pipeline approaches. Ablation studies validate the contribution of each module, and the proposed framework demonstrates practical applicability in surveillance systems, smart retail, and human-computer interaction.

차량 탐지와 분류 기술은 교통 관리와 도로 안전 향상을 위한 핵심 기술로, 교통 흐름 분석과 도로 설계 최적화에 중요한 역할을 한다. 기존의 영상 처리 기반 기술은 조명 변화, 악천후, 복잡한 도로 환경에서 성능 한계를 보였지 만, 딥러닝 기술의 발전으로 이러한 문제를 해결할 수 있다. 본 연구는 YOLOv8 객체 탐지 알고리즘과 SORT (Simple Online and Realtime Tracking) 기반 궤적 추적을 결합한 차량 탐지 및 분류 시스템을 제안한다. 이 시스템은 말레이시아 고속도로 데이터를 활용하여 다양한 기상 조건(맑은 날, 저조도, 비 오는 환경)에서 실험적으 로 검증했다. 실험 결과, 평균 탐지 정확도 99.7%, 분류 정확도 99.5%, 속도 계산 오차 1.5~2.4km/h를 기록하 였으며, 본 시스템이 실시간 교통 흐름 관리와 분석에 적합한 신뢰성 높은 솔루션임을 입증했다.

Vehicle detection and classification technologies are pivotal for traffic management and road safety enhancement, enabling traffic flow analysis and road optimization. Traditional image-based methods often face challenges such as lighting variations, adverse weather, and complex road environments. Leveraging advancements in deep learning, this study proposes a vehicle detection and classification system combining YOLOv8 object detection and SORT (Simple Online and Realtime Tracking) trajectory tracking. Using Malaysian highway data, the system's performance was experimentally validated across various conditions, including clear, low-light, and rainy environments. The results demonstrated an average detection accuracy of 99.7%, classification accuracy of 99.5%, and a speed calculation error ranging from 1.5 to 2.4 km/h, establishing the system as a reliable solution for real-time traffic management and analysis.

최근 리테일 산업계에서는 COVID-19 등의 다양한 외부 환경 위협으로부터의 대응과 AI 기술을 활용한 경쟁력 을 갖추기 위한 정보기술 융합 및 활용 요구가 증가하고 있으나 리테일 산업에서의 데이터를 활용하기 위한 연구와 응용 서비스의 활용사례가 매우 부족하다. 본 연구는 CCTV 영상 데이터 기반의 AI 활용 응용 서비스 활용 사례연구로 리테일 공간에서의 CCTV 영상 데이터 수집, 객체 탐지 및 추적 AI 모델 활용, 실시간 추적된 객체와 트래킹 데이터를 저장하기 위한 시계열 데이터베이스 활용, 시계열 데이터를 활용한 모니터링, 리테일 공간의 혼잡도와 관심도를 분석하 기 위한 히트맵, 리테일 공간에서의 실시간 상황 모니터링, COVID-19와 같은 사회적 위협으로부터의 접촉자 분석과 추적을 위한 사회적 거리 두기 현황, 비인가자의 보안 구역의 접근 모니터링 애플리케이션을 설계하고 이를 실제 구현 하여 리테일 공간에서의 CCTV 영상 데이터를 활용한 애플리케이션 설계를 통해 CCTV 영상 데이터 기반의 AI 융합 응용 서비스 활용 모델을 제시하였으며, 실제 구현을 통해 설계된 활용 모델을 검증하였다.

Recently, the retail industry has been increasingly demanding information technology convergence and utilization to respond to various external environmental threats such as COVID-19 and to be competitive using AI technologies, but there is a very lack of research and application services. This study is a CCTV video data-driven AI application case study, using CCTV image data collection in retail space, object detection and tracking AI model, time series database to store real-time tracked objects and tracking data, heatmap to analyze congestion and interest in retail space, social access zone.We present the orientation and verify its usability in the direction designed through practical implementation.

본 논문에서는 현재와 이전의 영상 프레임 뿐 만 아니라 영상의 축척과 이전 위치에 주어진 객체의 비율과 위치 추정에 대한 학습 문제로서 사람 추적 문제를 다룬다. 본 논문에서는 회선 신경망 분류기를 이용한 사람 검출 방법을 제안한다. 제안하는 방법은 신경망을 정규화하고 검출 작업을 위한 특징 표현을 자동으로 최적화함으로써 사 람 검출의 정확성을 향상시킨다. 제안하는 방법에서는 감시 영상 시스템에서 실시간 영상이 들어오면 제일 먼저 위 치를 추정하는 작업을 수행하기 위하여 회선신경망을 학습시킨다. 기존의 다른 학습 방법과 달리 회선신경망은 두 쌍의 연속된 영상 프레임으로부터 공간적이고 시간적인 특징을 모두 공동으로 학습시킨다. 회선 신경망에 의해 학습 된 특징을 이용하는 SVM 분류기의 정확성은 회선 신경망의 정확성과 일치한다. 이것은 자동적으로 최적화된 특징의 중요성을 확인시켜 준다. 그러나, 회선 신경망을 이용한 사람 객체의 분류에 대한 계산 시간은 사용된 특징의 타입 과 관계없이 SVM의 것보다 약 40분의 1정도로 작다.

In this paper, we have studied tracking as a training stage of considering the position and the scale of a person given its previous position, scale, as well as next and forward image fraction. Unlike other learning methods, CNN is thereby learning combines both time and spatial features from the image for the two consecutive frames. We introduce multiple path ways in CNN to better fuse local and global information. A creative shift-variant CNN architecture is designed so as to alleviate the drift problem when the distracting objects are similar to the target in cluttered environment. Furthermore, we employ CNNs to estimate the scale through the accurate localization of some key points. These techniques are object-independent so that the proposed method can be applied to track other types of object. The capability of the tracker of handling complex situations is demonstrated in many testing sequences. The accuracy of the SVM classifier using the features learnt by the CNN is equivalent to the accuracy of the CNN. This fact confirms the importance of automatically optimized features. However, the computation time for the classification of a person using the convolutional neural network classifier is less than approximately 1/40 of the SVM computation time, regardless of the type of the used features.

본 논문에서는 보다 정확한 물체 인식을 위하여 물체의 특징점 검출 시스템을 제안한다. 물체의 특징점 검출 시스템은 학습 단계와 검출 단계로 구분된다. 학습 단계에서는 각 특징점의 탐색영역을 설정하기 위한 관심영역 모델과 탐색영역에서 특징점을 검출하기 위한 각 특징점별 검출기를 생성한다. 검출 단계에서는 학습 단계에서 생성했던 관심영역모델을 이용하여 입력 영상에서 각각의 특징점의 탐색영역을 설정한다. 시스템에서 검출하고자 하는 특징점 검출 방법은 고속 푸리에 변환을 이용하기 때문에 검출 속도가 빠르며 물체의 추적 시 실패하는 확률이 낮아진다. 제안하는 방법을 개발하여 실험 영상에 적용한 결과 추적하고자 하는 물체가 불규칙적인 속도로 움직일 때에도 안정적으로 추적함을 알 수 있었다. 실험 결과는 기존의 방법들에서 사용되었던 다양한 데이터 집합에 적용하였을 때 우수한 성능을 보여준다.

In this paper, we propose a landmark-detection system of object for more accurate object recognition. The landmark-detection system of object becomes divided into a learning stage and a detection stage. A learning stage is created an interest-region model to set up a search region of each landmark as pre-information necessary for a detection stage and is created a detector by each landmark to detect a landmark in a search region. A detection stage sets up a search region of each landmark in an input image with an interest-region model created in the learning stage. The proposed system uses Fast Fourier Transform to detect landmark, because the landmark-detection is fast. In addition, the system fails to track objects less likely. After we developed the proposed method was applied to environment video. As a result, the system that you want to track objects moving at an irregular rate, even if it was found that stable tracking. The experimental results show that the proposed approach can achieve superior performance using various data sets to previously methods.

레이저 포인터를 검출하는 과정은 포인터의 위치를 검출하는 과정과 입력된 레이저 포인터의 좌표를 모니터의 좌표로 변환하는 과정이 있다. 기존의 Mean-Shift 알고리즘의 경우에는 계산량이 많아서 실시간으로 입력되는 동영상에는 부적합하다. 본 논문에서는 상황 기반의 실시간 레이저 포인터 검출과 추적을 제안하였다. 제안하는 방법은 배경이 복잡한 형태이거나 배경이 동적으로 움직일 때에도 강건한 결과를 얻을 수 있다. 또한, 실환경에 적용한 결과 검출하고자 하는 물체가 예측 영역을 넘나들거나 다른 불확실한 변화에도 안정적으로 반응함을 알 수 있었다. 제안하는 방법을 개발하여 논리적 타당성과 유효성을 검증하기 위해 실험적인 적용을 시도하고자 한다. 따라서 서베일런스 시스템에서 영상인식의 정확도와 질을 향상시켰다

There are two kinks of processes could detect the laser pointer. One is the process which detects the location of the pointer. the other one is a possibility of dividing with the process which converts the coordinate of the laser pointer which is input in coordinate of the monitor. The previous Mean-Shift algorithm is not appropriately for real-time video image to calculate many quantity. In this paper, we proposed the context driven real-time laser pointer detection and tracking. The proposed method is a possibility of getting the result which is fixed from the situation which the background and the background which are complicated dynamically move. In the actual environment, we can get to give constant results when the object come in, when going out at forecast boundary. Ultimately, this paper suggests empirical application to verify the adequacy and the validity with the proposed method. Accordingly, the accuracy and the quality of image recognition will be improved the surveillance system.

Three-dimensional (3D) object tracking is crucial in computer vision applications, particularly in autonomous driving, robotics, and surveillance. Despite advancements, effectively utilizing multimodal data to improve multi-object detection and tracking (MODT) remains challenging. This study introduces ACMODT, an affinity computation-based multi-object detection and tracking framework that integrates camera (2D) and LiDAR (3D) data for enhanced MODT performance in autonomous driving. This approach leverages EPNet as a backbone, utilizing 2D?3D feature fusion for accurate proposal generation. A deep neural network (DNN) extracts robust appearance and geometric features, while an improved affinity computation module combines Refined Boost Correlation Features (RBCF) and 3D-Extended Geometric IoU (3D-XGIoU) for precise object association. Motion prediction is refined using a Kalman filter (KF), and Gaussian Mixture Model (GMM)-based data association ensures consistent tracking. Experiments on the KITTI car tracking benchmark for quantitative analysis and the RADIATE dataset for visualization demonstrate that our method achieves superior tracking accuracy and precision compared to state-of-the-art multi-object tracking (MOT) approaches, proving its effectiveness for real-time object tracking.

This study proposes a mother-slave robot tracking system that identifies the target, predicts its location, and tracks it based on a single image. The proposed system utilizes a Convolutional Neural Network (CNN) for object detection, to identify the target robot. The distance and angle between the robots are then calculated through linear regression analysis, which offers a more efficient and cost-effective solution than traditional methods. The performance of the system was evaluated, resulting in an accuracy of 99.59% for object detection, and an average distance error of 2.04% for the estimated location.

Multi-object tracking techniques are receiving increasing attention due to the growing demand of autonomous driving. Recently, the performance of multi-object tracking has been improved significantly thank to deep learning technique. Most of multi-object tracking methods based on deep learning, however, are highly prone to frequent tracking losses and track-ID switching in case of limited viewpoint and occluded objects. To alleviate this problem, we propose a multi-camera Collaborate Multi Object Tracking (CMOT) method which performs online association of multiple tracked vehicles from stereo vision camera. CMOT not only provides global tracking IDs between multiple cameras but also helps reduce the problem of ID switching compared with the conventional multi-object tracking based on single camera. It can, therefore, improve the overall performance of multi-vehicle tracking compared to each individual camera. We demonstrate the multi-object tracking performance of the proposed method using stereo images of the KITTI dataset.

In autonomous driving, environmental perception and decision-making are technologies that acquire signals based on various sensors and generate information that enables obstacle avoidance, emergency stops, and path planning. Such environmental perception technologies are limited in that they depend on expensive sensors such as LIDAR and RADAR, so research on environmental perception technologies using only cameras is actively being conducted. Studies predicting traffic accidents based on dashcam footage have also been performed as part of such research. This is challenging because only limited forward-looking footage can be acquired, and the surrounding environment is dynamic and changes quickly, making analysis difficult. Existing research has focused on learning the spatialtemporal feature representation to solve these problems. This paper extracts the trajectories of the ego-vehicle and surrounding vehicles using Visual SLAM and Multiple Object Tracking algorithms and uses them as inputs to the graph convolutional neural network(GCN) to learn the spatialtemporal feature representation. In addition, the features learned through the GCN are used as inputs to a bayesian neural network(BNN) to predict the probability of accidents, and its ability to predict accidents in advance has been verified by comparison with existing studies.

The usage of Unmanned Aerial Vehicles (UAVs) has escalated widely in recent years. The mobility they provide and their capability to be used autonomously has made them applicable to a wide range of fields for both the civilians and the military. However, the flight safety is pivotal during UAV flights for any application and it is necessary that the recently ordained rules are complied with. Ensuring the compliance of such rules and regulations is especially difficult when using these UAVs are used in Autonomous mode. To establish the flight safety and compliance with the regulations, computer vision can be utilized while in autonomous mode. This is predominantly true when the flight is conducted in the proximity of crowds, animals, moving vehicles or when emergency and precision landings need to be performed. To that extent, we present a concept of drone flight control system which utilizes object detection and tracking algorithms.