Earticle

최근에는 강력한 특징 추출 방법에 대한 연구가 활발히 진행되고 있다. 대다수의 최신 방법들에서는 회색조 영상에 서의 계산 비용을 줄이는 방법에 대해 다루고 있다. 하지만 이러한 변환 방법은 정보가 손실되고 매칭 성능에 영향 을 줄 수 있다. 본 연구에서는 비선형 스케일 공간에서 다중 스케일 2D 불변 컬러 검출기와 기술어를 제안한다. 본 연구의 알고리즘은 HLS (색조, 밝기 및 채도) 공간의 색상 정보를 활용한다. 비선형 스케일 공간은 각 색상 채널에 대해 개별적으로 구축되며 적응형 Hessian 응답을 키포인트 추출에 사용된다. 부분적으로 적응형 흐림 효과를 나 타내기 위해 영상 데이터에서 중요한 가장자리를 보존하면서 영상 노이즈를 줄일 수 있는 FED (Fast Explicit Diffusion) 방법을 사용한다. FED 방법을 사용함으로써 뛰어난 키포인트 지역화 정확성과 특색 있는 특징을 찾을 수 있다. 또한, 본 연구에서는 HLS 색상 정보와 비선형 스케일 공간의 기울기 정보를 결합한 CM-LMB (Color Modified-Local Difference Binary) 기술자를 제안한다. 본 연구에서 제안한 시스템 (HLS-AKAZE)은 표준 영 상 데이터셋에서 뛰어난 성능을 보여 주며, 특정 이미지 (Less-Informative 그레이 스케일 이미지)에서 성능이 향 상되었다. 또한, 본 연구에서 제안하는 방법은 회전 및 스케일 그리고 조명에 대하여 불변성을 보인다.

In recent years, there have been significant research on robust feature extraction methods. Most state-of-the-art methods operate on grayscale images to decrease the computational expenses. We observe that this conversion can cause information loss and effect the matching performance. In this study, a multi-scale 2D invariant color detector and descriptor in nonlinear scale spaces is proposed. The algorithm exploits color information in HLS (Hue, Lightness, and Saturation) space. Nonlinear scale spaces are built separately for each color channel and adaptive Hessian responses are calculated for keypoint extraction. Fast Explicit Diffusion (FED) scheme is used for locally adaptive blurring to the image data. FED reduces image noise while preserving important edges. This aids in superior keypoint localization accuracy and feature distinctiveness. In addition, a Color Modified-Local Difference Binary (CM-LMB) descriptor is proposed. It combines HLS color information with gradient information in nonlinear scale space. Our proposed system (HLS-AKAZE) shows comparable performance in standard image datasets and good performance improvements in certain images (Less-Informative Grayscale Images). HLS-AKAZE is rotation, scale, and illumination invariant.

파노라마 영상은 카메라 시야각의 제한을 극복할 수 있으므로 로봇 비전, 스테레오 카메라, 보안 감시 등의 분야에서 효율적으로연구되고 있다. 파노라마 영상은 사람의 시야각 이상의 넓은 화각을 가진 영상을 구현할 수 있으며 시야각의 현장감을 중심으로실제로 현장에 있는 듯한 실감 공간을 제공하는 기술이다. 영상에서 기하학적 변화에 강인한 특징점 및 대응점을 검출하고 호모그래피 행렬을 추정하는데 있어서 모든 대응점을 사용하면 연산량이 많아지고 정확한 호모그래피 행렬을 추정하기 어렵다. 따라서 본논문에서는 전처리 과정에서 입력 영상들의 히스토그램을 비교 분석하여 유사도가 높은 중첩되는 영역을 추정하며 특징점을 검출하기 위해 SURF 알고리즘을 사용하였다. 또한 영상을 입력하는 순서를 해결하여 순서에 제약 없이 영상을 입력하여 파노라마를 생성할 수 있도록 하였다.

The panorama is a good alternative to overcome narrow FOV under study in robot vision, stereo camera and panorama imageregistration and modeling. The panorama can materialize view with angles wider than human view and provide realistic spacewhich make feeling of being on the scene based on realism. If we use all correspondence, it is too difficult to find strongfeatures and correspondences and assume accurate homography matrix in geographic changes in images as load of calculationincreases. Accordingly, we used SURF algorithm to estimate overlapping areas with high similarity by comparing andanalyzing the input images’histograms and to detect features. And we solved the problem of input order so we can makepanorama by input images without order.

A recent study to determine the fall is focused on analyzing fall motions using a recurrent neural network (RNN), and uses a deep learning approach to get good results for detecting human poses in 2D from a mono color image. In this paper, we investigated the improved detection method to estimate the position of the head and shoulder key points and the acceleration of position change using the skeletal key points information extracted using PoseNet from the image obtained from the 2D RGB low-cost camera, and to increase the accuracy of the fall judgment. In particular, we propose a fall detection method based on the characteristics of post-fall posture in the fall motion analysis method and on the velocity of human body skeleton key points change as well as the ratio change of body bounding box’s width and height. The public data set was used to extract human skeletal features and to train deep learning, GRU, and as a result of an experiment to find a feature extraction method that can achieve high classification accuracy, the proposed method showed a 99.8% success rate in detecting falls more effectively than the conventional primitive skeletal data use method.

버스는 대중적으로 많이 이용되는 교통수단이다. 그만큼 승객의 안전관리를 위해 철저한 대비가 필요하다. 하지만 2018년 승차하기 위해 접근하는 노인을 인지하지 못하고 버스가 출발하면서 사망사고가 발생하는 등 안전 시스템이 미흡한 상황이다. 기존에 뒷문 계단 쪽 센서를 통해 끼임 사고를 방지하는 안전 시스템은 있지만, 이러한 시스템은 위 사고처럼 승하차하려는 과정에서 발생하는 사고를 예방하진 못한다. 버스 승객의 승하차 의도를 예측할 수 있다면, 위와 같은 사고를 예방하는 안전 시스템 개발에 도움이 될 것이다. 그러나 승객의 승하차 의도를 예측하는 연구는 부족한 상태이다. 따라서 본 논문에서는 버스에 부착된 카메라 영상에서 UDP-Pose를 통해 승객의 skeleton keypoints를 추출하고, 이를 활용한 1×1 CNN3D 기반의 버스 승객 승하차 의도를 예측하는 모델을 제안한다. 제안한 모델은 승객의 승하차 의도를 예측하는 부분에서 RNN, LSTM 모델보다 약 1~2% 높은 정확도를 보여준다.

Buses are a popular means of transportation. As such, thorough preparation is needed for passenger safety management. However, the safety system is insufficient because there are accidents such as a death accident occurred when the bus departed without recognizing the elderly approaching to get on in 2018. There is a safety system that prevents pinching accidents through sensors on the back door stairs, but such a system does not prevent accidents that occur in the process of getting on and off like the above accident. If it is possible to predict the intention of bus passengers to get on and off, it will help to develop a safety system to prevent such accidents. However, studies predicting the intention of passengers to get on and off are insufficient. Therefore, in this paper, we propose a 1×1 CNN3D-based getting on and off intention prediction model using skeleton keypoints of passengers extracted from the camera image attached to the bus through UDP-Pose. The proposed model shows approximately 1~2% higher accuracy than the RNN and LSTM models in predicting passenger's getting on and off intentions.

본 연구에서는 MS Kinect v2 RGBD 카메라 기반의 Human-Skeleton Keypoints와 2-Stacked Bi-LSTM 모델을 이용하여 낙상 행위를 탐지하는 방법을 제안한다. 기존의 연구는 RGB 영상에서 OpenPose 등의 딥러닝 모델을 이용하여 골격 정보를 추출한 후 LSTM, GRU 등의 순환신경망 모델을 이용해 인식을 수행하였다. 제안한 방법은 카메라로부터 골격정보를 바로 전달 받아 가속도 및 거리의 2개의 시계열 특징을 추출한 후 2-Stacked Bi-LSTM 모델을 이용하여 낙상 행위를 인식하였다. 어깨, 척추, 골반 등 주요 골격을 대상으로 중심관절을 구하고 이 중심관절의 움직임 가속도와 바닥과의 거리를 특징으로 제안하였다. 추출된 특징은 Stacked LSTM, Bi-LSTM 등의 모델과 성능비교를 수행하였고 GRU, LSTM 등의 기존연구에 비해 향상된 검출 성능을 실험을 통해 증명하였다.

In this study, we propose a method for detecting fall behavior using MS Kinect v2 RGBD Camera-based Human-Skeleton Keypoints and a 2-Stacked Bi-LSTM model. In previous studies, skeletal information was extracted from RGB images using a deep learning model such as OpenPose, and then recognition was performed using a recurrent neural network model such as LSTM and GRU. The proposed method receives skeletal information directly from the camera, extracts 2 time-series features of acceleration and distance, and then recognizes the fall behavior using the 2-Stacked Bi-LSTM model. The central joint was obtained for the major skeletons such as the shoulder, spine, and pelvis, and the movement acceleration and distance from the floor were proposed as features of the central joint. The extracted features were compared with models such as Stacked LSTM and Bi-LSTM, and improved detection performance compared to existing studies such as GRU and LSTM was demonstrated through experiments.

드론을 이용하여 촬영한 영상은 소규모 지역에 대하여 고품질의 3차원 공간정보를 빠르게 구축할 수 있어 신속한 의사결정이 필요한 분야에 적용되고 있다. 드론 영상을 기반으로 공간정보를 구축하기 위해서는 인접한 드론 영상 간에 특징점 추출하고 영상 매칭을 수행하여 영상 간의 관계를 결정할 필요가 있다. 이에 본 연구에서는 드론을 이용하여 촬영한 주차장과 호수가 공존하는 지역, 건물이 있는 도심 지역, 자연 지형의 들판 지역의 3가지 대상지역을 선정하고 AKAZE (Accelerated-KAZE), BRISK (Binary Robust Invariant Scalable Keypoints), KAZE, ORB(Oriented FAST and Rotated BRIEF), SIFT (Scale Invariant Feature Transform), and SURF (Speeded Up Robust Features) 알고리즘의 성능을 분석하였다. 특징점 추출 알고리즘의 성능은 추출된 특징점의 분포, 매칭점의 분포, 소요시간, 그리고 매칭 정확도를 비교하였다. 주차장과 호수가 공존하는 지역에서는 BRISK 알고리즘의 속도가 신속하였으며, SURF 알고리즘이 특징점과 매칭점의 분포도와 매칭 정확도에서 우수한 성능을 나타내었다. 건물이 있는 도심 지역에서는 AKAZE 알고리즘의 속도가 신속하였으며 SURF 알고리즘이 특징점과 매칭점의 분포도와 매칭 정확도에서 우수한 성능을 나타내었다. 자연 지형의 들판 지역에서는 SURF 알고리즘의 특징점, 매칭점이 드론으로 촬영한 영상 전반적으로 고르게 분포되어 있으나 AKAZE 알고리즘이 가장 높은 매칭 정확도와 신속한 속도를 나타내었다.

Images taken using drones have been applied to fields that require rapid decision-making as they can quickly construct high-quality 3D spatial information for small regions. To construct spatial information based on drone images, it is necessary to determine the relationship between images by extracting keypoints between adjacent drone images and performing image matching. Therefore, in this study, three study regions photographed using a drone were selected: a region where parking lots and a lake coexisted, a downtown region with buildings, and a field region of natural terrain, and the performance of AKAZE (Accelerated-KAZE), BRISK (Binary Robust Invariant Scalable Keypoints), KAZE, ORB (Oriented FAST and Rotated BRIEF), SIFT (Scale Invariant Feature Transform), and SURF (Speeded Up Robust Features) algorithms were analyzed. The performance of the keypoints extraction algorithms was compared with the distribution of extracted keypoints, distribution of matched points, processing time, and matching accuracy. In the region where the parking lot and lake coexist, the processing speed of the BRISK algorithm was fast, and the SURF algorithm showed excellent performance in the distribution of keypoints and matched points and matching accuracy. In the downtown region with buildings, the processing speed of the AKAZE algorithm was fast and the SURF algorithm showed excellent performance in the distribution of keypoints and matched points and matching accuracy. In the field region of natural terrain, the keypoints and matched points of the SURF algorithm were evenly distributed throughout the image taken by drone, but the AKAZE algorithm showed the highest matching accuracy and processing speed.

This paper proposes an object tracking system based on keypoints using homography in mobile environments. The proposed system is based on markerless tracking, and there are four modules which are recognition, tracking, detecting and learning module. Recognition module detects and identifies an object to be matched on current frame correspond to the database using LSH through SURF, and then this module generates a standard object information. Tracking module tracks an object using homography information that generate by being matched on the learned object keypoints to the current object keypoints. Then update the window included the object for defining object's pose. Detecting module finds out the object based on having the best possible knowledge available among the learned objects information, when the system fails to track. The experimental results show that the proposed system is able to recognize and track objects with updating object's pose for the use of mobile platform.

Understanding and classification of the human's emotion play an important tasks in interacting with human and machine communication systems. This paper proposes a novel emotion recognition method by extracting facial keypoints, which is able to understand and classify the human emotion, using active Appearance Model and the proposed classification model of the facial features. The existing appearance model scheme takes an expression of variations, which is calculated by the proposed classification model according to the change of human facial expression. The proposed method classifies four basic emotions (normal, happy, sad and angry). To evaluate the performance of the proposed method, we assess the ratio of success with common datasets, and we achieve the best 93% accuracy, average 82.2% in facial emotion recognition. The results show that the proposed method effectively performed well over the emotion recognition, compared to the existing schemes.

최근 미디어 분야에도 인공지능(AI)을 적용한 다양한 서비스가 등장하고 있는 추세이다. 하지만 편집점을 찾아 영상을 이어 붙이는 영상 편집은, 대부분 수동적 방식으로 진행되어 시간과 인적 자원의 소요가 많이 발생하고 있다. 이에 본 연구에서는 Video Swin Transformer를 활용하여, 발화 여부에 따른 영상의 편집점을 탐지할 수 있는 방법론을 제안한다. 이를 위해, 제안 구조는 먼저 Face Alignment를 통해 얼굴 특징점을 검출한다. 이와 같은 과정을 통해 입력 영상 데이터로부터 발화 여부에 따른 얼굴의 시 공간적인 변화를 모델에 반영한다. 그리고, 본 연구에서 제안하는 Video Swin Transformer 기반 모델을 통해 영상 속 사람의 행동을 분류한다. 구체적으로 비디오 데이터로부터 Video Swin Transformer를 통해 생성되는 Feature Map과 Face Alignment를 통해 검출된 얼굴 특징점을 합친 후 Convolution을 거쳐 발화 여부를 탐지하게 된다. 실험 결과, 본 논문에서 제안한 얼굴 특징점을 활용한 영상 편집점 탐지 모델을 사용했을 경우 분류 성능을 89.17% 기록하여, 얼굴 특징점을 사용하지 않았을 때의 성능 87.46% 대비 성능을 향상시키는 것을 확인할 수 있었다.

Recently, various services using artificial intelligence(AI) are emerging in the media field as well However, most of the video editing, which involves finding an editing point and attaching the video, is carried out in a passive manner, requiring a lot of time and human resources. Therefore, this study proposes a methodology that can detect the edit points of video according to whether person in video are spoken by using Video Swin Transformer. First, facial keypoints are detected through face alignment. To this end, the proposed structure first detects facial keypoints through face alignment. Through this process, the temporal and spatial changes of the face are reflected from the input video data. And, through the Video Swin Transformer-based model proposed in this study, the behavior of the person in the video is classified. Specifically, after combining the feature map generated through Video Swin Transformer from video data and the facial keypoints detected through Face Alignment, utterance is classified through convolution layers. In conclusion, the performance of the image editing point detection model using facial keypoints proposed in this paper improved from 87.46% to 89.17% compared to the model without facial keypoints.

최근 가상현실(VR, Virtual Reality) 등 가장 많은 분야에서 가장 활발히 응용되고 있는 영상매체 중 하나가 전방위 영상 또는 파노라마 영상이다. 이 영상은 다양한 방법으로 획득된 영상들을 스티칭하여 생성하는데, 그 과정에서 스티칭에 필요한 특징점들을 추출하는데 가장 많은 시간이 소요된다. 이에 본 논문은 현재 가장 널리 사용되고 있는 SIFT 특징점을 추출하는 연산시간을 감소하는 것에 목적을 두고 SIFT 특징점들을 추출에 관여하는 파라미터들을 분석한다. 본 논문에서 고려하는 파라미터는 가우시안 필터링에 사용되는 가우시안 커널의 초기 표준편차, 국소극점을 추출하기 위한 가우시안 차영상군의 수, 그리고 옥타브 수의 세 가지이다. SIFT 알고리즘으로는 이 알고리즘을 제안한 Lowe 방식과 컨볼루션 캐스캐이드(convolution cascade) 방식인 Hess 방식을 고려한다. 먼저 각 파라미터 값이 연산시간에 미치는 영향을 분석하고, 실제 스티칭 실험을 수행하여 각 파라미터가 스티칭 성능에 미치는 영향을 분석한다. 마지막으로 두 분석결과를 토대로 성능저하 없이 연산시간을 최소로 하는 파라미터 값들을 추출한다.

Recently, one of the most actively applied image media in the most fields such as virtual reality (VR) is omni-directional or panorama image. This image is generated by stitching images obtained by various methods. In this process, it takes the most time to extract keypoints necessary for stitching. In this paper, we analyze the parameters involved in the extraction of SIFT keypoints with the aim of reducing the computation time for extracting the most widely used SIFT keypoints. The parameters considered in this paper are the initial standard deviation of the Gaussian kernel used for Gaussian filtering, the number of gaussian difference image sets for extracting local extrema, and the number of octaves. As the SIFT algorithm, the Lowe scheme, the originally proposed one, and the Hess scheme which is a convolution cascade scheme, are considered. First, the effect of each parameter value on the computation time is analyzed, and the effect of each parameter on the stitching performance is analyzed by performing actual stitching experiments. Finally, based on the results of the two analyses, we extract parameter value set that minimize computation time without degrading.

손가락 관절문(FKP, finger-knuckle-print)을 이용한 개인 인증은 손가락 관절부에 나타나는 주름의 특징을 이용하는 것으로, 텍스처의 방향 정보가 중요한 특징이 된다. 본 논문에서는 SIFT 알고리즘을 이용하여 특징점들을 추출하고, 벡터 유사도 정합을 통해 FKP를 효과적으로 인증할 수 있는 방법을 제안하다. 벡터는 질의 영상에서 추출한 특징점과 이에 대응되는 참조 영상의 특징점을 연결하는 방향 벡터로 정의된다. 국소적인 특징점 쌍으로부터 방향 벡터를 생성하기 때문에 방향 벡터 자체는 국소적인 특징만을 나타내지만, 두 영상 간에 존재하는 다른 벡터들 간의 유사도를 비교함으로써 전역적인 특징으로 확장되는 장점이 있다. 실험결과 제안하는 방법은 기존의 방향코드를 이용한 다양한 방식에 비하여 우수한 성능을 나타내었다.

Personal verification using finger-knuckle-print(FKP) uses lines and creases at the finger-knuckle area, so the orientation information of texture is an important feature. In this paper, we propose an effective FKP verification method which extracts keypoints using SIFT algorithm and matches the keypoints by vector similarity. The vector is defined as a direction vector which connects a keypoint extracted from a query image and a corresponding keypoint extracted from a reference image. Since the direction vector is created by a pair of local keypoints, the direction vector itself represents only a local feature. However, it has an advantage of expanding a local feature to a global feature by comparing the vector similarity among vectors in two images. The experimental results show that the proposed method is superior to the previous methods based on orientation codes.

Sign language has completely different meaning depending on the direction of the hand or the change of facial expression even with the same gesture. In this respect, it is crucial to capture the spatial-temporal structure information of each movement. However, sign language translation studies based on Sign2Gloss2Text only convey comprehensive spatial-temporal information about the entire sign language movement. Consequently, detailed information (facial expression, gestures, and etc.) of each movement that is important for sign language translation is not emphasized. Accordingly, in this paper, we propose Spatial-temporal Keypoints Centered Sign2Gloss2Text Translation, named STKC-Sign2 Gloss2Text, to supplement the sequential and semantic information of keypoints which are the core of recognizing and translating sign language. STKC-Sign2Gloss2Text consists of two steps, Spatial Keypoints Embedding, which extracts 121 major keypoints from each image, and Temporal Keypoints Embedding, which emphasizes sequential information using Bi-GRU for extracted keypoints of sign language. The proposed model outperformed all Bilingual Evaluation Understudy(BLEU) scores in Development(DEV) and Testing(TEST) than Sign2Gloss2Text as the baseline, and in particular, it proved the effectiveness of the proposed methodology by achieving 23.19, an improvement of 1.87 based on TEST BLEU-4.