Earticle

이 논문에서는 비디오 영상에서의 블록 모션 측정을 위한 통계학적인 특징에 기반 한 알고리즘을 제안한다. 우선 참조 블록의 통계학적인 특징을 구하고, 이를 참조 블록의 통계적 특징과 정규 시작점 패턴 (SPP) 에 퍼져 있는 블록에서의 특징을 비교하여, SPP에서의 시작점 (SP) 후보를 선택하는 데에 적용한다. 최종적인 SP 들은 SP 후보 들에서의 평균절대차이 (MAD) 값으로 구한다. 마지막으로 기존의 고속탐색 알고리즘인 BBG나 DS 그리고 TSS중 하나를 이용하여 참조블록의 모션 벡터를 최종 SP를 시작점으로 하여 계산하였다. 실험결과는 기대 했던 바와 같이 최종 SP로부터의 시작점들이 전역최소값 (global minimum)에 근접함을 보여 주었다.

We propose a block motion estimation algorithm based on a statistical image feature for video sequences. The statistical feature of the reference block is obtained, then applied to select the candidate starting points (SPs) in the regular starting points pattern (SPP) by comparing the statistical feature of reference block with that of blocks which are spread ower regular SPP. The final SPs are obtained by their Mean Absolute Difference(MAD) value among the candidate SPs. Finally, one of conventional fast search algorithms, such as BRGDS, DS, and three-step search (TSS), has been applied to generate the motion vector of reference block using the final SPs as its starting points. The experimental results showed that the starting points from fine SPs were as dose as to the global minimum as we expected.

Measuring the match degree of two or more blocks or pixels in a file carving technique is a very important key point. A lot of studies on the matching of panoramic images and continuous images have been performed. In addition, since the general image matching includes a region of overlap, it is possible to find the position of matching only by matching of features. In the beginning of this study, block matching was measured based on the same scale as MAE of neighboring pixels of the block. In the proposed method, the set of image fragments that can be morphologically paired with the image segment A is called Bi, and the prediction pixels (Ppred_A) are generated from the adjacent pixels of A and Bi by using a linear interpolation method. On the contrary, the prediction pixels Ppred_Bi are generated from neighboring pixels of Bi in the same manner. The prediction pixels obtained through this process can show a higher degree of matching than the primary block matching such as MAE by measuring the similarity of the relative pieces of the image fragment pair to the adjacent pixels.

스마트 기기의 급속한 발전에 따라 사용자 인증을 위한 매체와 기술도 다양해지고 있다. 본 논문에서는 대부분의 스마트 기기에 부착되어 있는 RGB 카메라로부터 획득되는 동작 영상으로 사용자를 인증하는 방법을 제안한다. 제안하는 방법은 통계적 특징과 영상 고유의 특징 기술자를 결합하고, 특징행렬에 대한 행과 열 단위의 상관계수를 유사도 평가에 활용함으로써 시스템의 신뢰성을 높이고, 동작 데이터의 RGB 정보만을 활용하므로 계산의 효율성과 구현의 편의성도 함께 갖추고 있다. 공용 데이터베이스를 이용한 실험을 통하여 제안하는 방법의 실용 가능성을 확인하였다.

With the rapid development of the smart devices, a variety of media and technologies have been exploiting in the area of user authentication. This paper proposes a novel approach to perform user authentication, which uses gesture video signals acquired from the RGB camera of a smart device. The method combines the statistical features with the unique feature descriptors of images, and utilizes a similarity measure with the block-wise correlation coefficients of the feature matrices to increase the reliability of the system. By using only the RGB information from gesture data, the method is also sought for the computational efficiency and the ease of implementation. The experiments with a benchmark data set confirm the availability of the proposed method.

In recent years, dynamic hand gesture recognition has been a research hotspot of human-computer interaction. Since most existing algorithms contain problems with high computational complexity, poor real-time performance and low recognition rate, which cannot satisfy the need of many practical applications. Moreover, key frames obtained by inter-frame difference degree algorithm contain less information, which leads to less identified species and lower recognition rate. To solve these problems, we present a dynamic hand gesture trajectory recognition method based on the theory of block feature to extract key frames and the skin-color clustering’s hand gesture segmentation. Firstly, this method extracts block feature of degree of difference between frames in hand gesture sequence to select key frames accurately. Secondly, the method based on skin-color clustering is applied to obtain the area of hand gesture after segmenting hand gestures from images. Finally, hidden Markov model (HMM), in which the angle data of hand gesture trajectories are input, is used for modeling and identifying dynamic hand gestures. Experimental results show that the method of key-frame extraction is used to obtain information of dynamic hand gestures accurately, which would improve the recognition rate of dynamic hand gesture recognition and, at the same time, can guarantee the real-time of hand gesture recognition system. The average recognition rate is up to 86.67%, and the average time efficiency is 0.39s.

오늘날 컴퓨터 네트워크 인프라 구축이 일반화되고 인터넷 사용자의 수가 증가하는 가운데 망에는 대용량의 트래픽이 흐르고 있다. 네트워크 트래픽은 2014년에 월간 47 엑사바이트(Exabyte), 2015년 월간 62 엑사바이트로 엄청 난 증가를 보인다. 인터넷 트래픽 중에서 동영상 트래픽의 비중은 전체 60%를 차지하여 인터넷 트래픽 상승의 견인차 역할을 수행하고 있다. 엄청난 인터넷 트래픽의 성장에 비해서 네트워크 인프라는 이를 지원하기 턱없이 부족하여 모 바일 네트워크에서 음성통화의 품질저하라는 극단적인 부작용이 나타나고 있다. 미래에 예상되는 잠재적인 위험을 사전 에 방지하기 위해 SURF 특징과 블록 모양을 이용한 동영상 압축 방법을 제안한다. 제안한 방법은 기존의 방법보다 좋은 성능을 보이는 것을 확인하였다.

Today, computer network infrastructure is commonplace and internet user increase. Transmission bandwidth for network traffic is increasing. The data amount of 2014 and 2015 year measured 47 and 62 exabyte, it shows a tremendous increase. Video traffic occupy 60 percent among internet traffic. Enormous growth of Internet traffic than the network infrastructure is not enough to support them, so mobile network occur side-effects such as fall of voice communication. In this paper, we proposed the video compression method using SURF feature and block shaping in order to avoid potential damage. Our proposed method can provide enough performance than previous method.

This paper introduces a new local feature extraction method and image matching method for the localization and classification of targets. Proposed method is based on the block-by-block projection associated with directional pattern of blocks. Each pattern has its own eigen-vertors called as CEBs(Classified Eigen-Blocks). Also proposed block-based image matching method is robust to translation and occlusion. Performance of proposed feature extraction and matching method is verified by the face localization and FLIR-vehicle-image classification test.

This paper presents a study on the use of encoder-derived features in decoder-side depth estimation. The scheme of multiview video encoding does not require the transmission of depth maps (which carry the geometry of a three-dimensional scene) as only a set of input views and their parameters are compressed and packed into the bitstream, with a set of features that could make it easier to estimate geometry in the decoder. The paper proposes novel recursive block splitting for the feature extraction process and evaluates different scenarios of feature-driven decoder-side depth estimation, performed by assessing their influence on the bitrate of metadata, quality of the reconstructed video, and time of depth estimation. As efficient encoding of multiview sequences became one of the main scopes of the video encoding community, the experimental results are based on the "geometry absent" profile from the incoming MPEG Immersive video standard. The results show that the quality of synthesized views using the proposed recursive block splitting outperforms that of the state-of-the-art approach.

연속된 초음파 영상 시퀀스로부터 파노라마 영상을 만들기 위해서는 인접된 프레임 사이의 움직임을 추정해야 한다. 기존에는 고정 블록 움직임 추정 방법이 주로 사용되고 있는데 본 논문은 정확성을 높이고 계산시간을 단축하기 위해 다해상도 영상을 이용한 특징점 기반 블록 움직임 추정 방법을 제안한다. 기존의 블록 움직임 추정 방법은 규칙적으로 블록을 배치하기 때문에 추정된 움직임의 정확도를 높이기 위해서는 블록의 크기가 커지기 때문에 처리 시간이 오래 걸린다. 본 논문에서는 특징점을 중심으로 블록을 배치하여 움직임 추정의 정확도는 유지하면서 블록의 크기를 줄일 수 있었다. 어파츄어문제(aperture problem)을 줄이기 위해 코너점을 특징점으로 하였다. 움직임 추정 영역은 일정한 크기의 부영역으로 나누고, 각 부영역에서 가장 코너 강도가 큰 점을 선택하였다. 특징점을 선택하는 데는 해리스 스테판 코너검출기를 사용하였다. 코너점들이 한 곳으로 편중될 경우 블록들이 움직임 추정 영역에서 골고루 분산되지 않아 이렇게 구한 블록 움직임을 이용하여 전역 움직임을 구하면 오차가 커진다. 본 논문에서는 이러한 문제를 해결하기 위해 특징점을 선택하는 영역에 제한을 두도록 하였다. 초음파 영상에는 스펙클과 잡음이 많아 코너점을 구하기 전에 영상 평활화를 해야 한다. 계산시간을 줄이고 잡음이 감소된 영상에서 코너점을 구하기 위해 저해상도 영상에서 블록 움직임을 구한 후 점점 고해상도로 확산하는 형태로 다해상도 영상을 사용한다. 실제 세가지 종류의 초음파 영상 시퀀스에 대해 실험결과 제안된 방법은 기존의 방법에 비해 움직임 추정 오차(Displaced Frame Difference)를 평균 66.02에서 58.98로 줄이면서 계산시간은 평균 71ms에서 44ms 으로 빠르게 됨을 알 수 있었다.

This paper presents a method for feature based block motion estimation that uses multi -resolution image sequences to obtain the panoramic images in the continuous ultrasound image sequences. In the conventional block motion estimation method, the centers of motion estimation blocks are set at the predetermined and equally spaced locations. This requires the large blocks to include at least one feature, which inevitably requires long estimation time. In this paper, we propose an adaptive method which locates the center of the motion estimation blocks at the feature points. This make it possible to reduce the block size while keeping the motion estimation accuracy The Harris-Stephen corner detector is used to get the feature points. The comer points tend to group together, which cause the error in the global motion estimation. In order to distribute the feature points as evenly as Possible, the image is firstly divided into regular subregions, and a strongest corner point is selected as a feature in each subregion. The ultrasound Images contain speckle patterns and noise. In order to reduce the noise artifact and reduce the computational time, the proposed method use the multi-resolution image sequences. The first algorithm estimates the motion in the smoothed low resolution image, and the estimated motion is prolongated to the next higher resolution image. By this way the size of search region can be reduced in the higher resolution image. Experiments were performed on three types of ultrasound image sequences. These were shown that the proposed method reduces both the computational time (from 77ms to 44ms) and the displaced frame difference (from 66.02 to 58.08).

본 논문은 연속 초음파 영상으로부터 모자이크 영상을 구하기 위한 특징점 기반 블록 움직임 추출 방법에서 정확도를 높이고 계산 시간을 줄이기 위해 다해상도(multi-resolution)영상을 이용한 계층적 특징점 기반 블록 움직임 추출 방법을 제시하였다. 초음파 영상에서의 Speckle 노이즈의 영향을 줄이기 위해 저해상도의 영상에서 특징점을 추출하고, 계산 시간을 줄이기 위해 저해상도 영상의 추정된 움직임을 고해상도 영상의 움직임 추정에 적용하여 탐색 범위를 줄였다. 그 결과 계산 시간을 개선하면서 모자이크 영상의 정확도를 높일 수 있었다.

본 논문은 연속 초음파 영상으로부터 모자이크 영상을 구하기 위한 특징점 기반 블록 움직임 추출 방법에서 정확도를 높이고 계산 시간을 줄이기 위해 다해상도(multi-resolution)영상을 이용한 계층적 특징점 기반 블록 움직임 추출 방법을 제시하였다. 초음파 영상에서의 Speckle 노이즈의 영향을 줄이기 위해 저해상도의 영상에서 특징점을 추출하고, 계산 시간을 줄이기 위해 저해상도 영상의 추정된 움직임을 고해상도 영상의 움직임 추정에 적용하여 탐색 범위를 줄였다. 그 결과 계산 시간을 개선하면서 모자이크 영상의 정확도를 높일 수 있었다.

모자이크는 여러 개의 작은 영상들을 모아서 하나의 큰 영상을 만드는 것을 말한다. 본 논문에서는 모자이크 방법 중 하나인 사진을 이용하여 영상을 만드는 포토 모자이크 방법을 컴퓨터 알고리즘으로 구현하는 기술 제안을 한다. 이미지를 원하는 사이즈의 타일로 나눈 다음, 나눠진 타일을 16등분을 한다. 16등분된 이미지 각 요소들에 대하여 RGB 평균값을 계산하여 총 48개 특징값을 추출하여 데이터베이스에 저장해둔다. 그리고 타일과 비교가 될 이미지들은 이미 똑같은 작업을 통하여 데이터베이스에 저장이 되어 있다. 이렇게 저장된 값들을 통하여 유클리드 거리를 통하여 두 이미지의 유사도를 측정하게 된다. 최적의 값을 찾으면 바로 대입하는 것이 아니라 이전에 있던 타일 이미지의 명암값을 새로 삽입되는 타일에 부여를 하여, 부드러운 영상을 만들게 된다. 그리고 타일을 삽입할 때 이전에 사용된 이미지는 배열의 마지막으로 옮겨지게 되며 사용횟수를 체크하여 반복적 사용을 제한하였다.

모자이크는 여러 개의 작은 영상들을 모아서 하나의 큰 영상을 만드는 것을 말한다. 본 논문에서는 모자이크 방법 중 하나인 사진을 이용하여 영상을 만드는 포토 모자이크 방법을 컴퓨터 알고리즘으로 구현하는 기술 제안을 한다. 이미지를 원하는 사이즈의 타일로 나눈 다음, 나눠진 타일을 16등분을 한다. 16등분된 이미지 각 요소들에 대하여 RGB 평균값을 계산하여 총 48개 특징값을 추출하여 데이터베이스에 저장해둔다. 그리고 타일과 비교가 될 이미지들은 이미 똑같은 작업을 통하여 데이터베이스에 저장이 되어 있다. 이렇게 저장된 값들을 통하여 유클리드 거리를 통하여 두 이미지의 유사도를 측정하게 된다. 최적의 값을 찾으면 바로 대입하는 것이 아니라 이전에 있던 타일 이미지의 명암값을 새로 삽입되는 타일에 부여를 하여, 부드러운 영상을 만들게 된다. 그리고 타일을 삽입할 때 이전에 사용된 이미지는 배열의 마지막으로 옮겨지게 되며 사용횟수를 체크하여 반복적 사용을 제한하였다.

In this paper, we proposed an temporal error concealment (EC) using the proposed boundary matching method and the adaptive block matching method. The proposed boundary matching method improves the spatial correlation of the macroblocks (MBs) by reusing the pixels of the concealed MB to estimate a motion vector of a error MB. The adaptive block matching method inspects the horizontal edge and the vertical edge feature of a error MB surroundings, and it conceals the error MBs in reference to more stronger edge feature. This improves video quality by raising edge connection feature of the error MBs and the neighborhood MBs. In particular, we restore a lost MB as the unit of 8${\times}$16 block or 16${\times}$8 block by using edge feature from the surrounding macroblocks. Experimental results show that the proposed algorithm gives better results than the conventional algorithms from a subjective and an objective viewpoint.

본 논문에서는 2D-DCT 변환된 동영상 프레임 사이의 오차 블록들의 활성 레벨(atcivity level)과 에지의 특성을 분류하여 동영상의 적응적인 양자화를 제안한다. 각 블록에서는 활성 레벨이 각기 다르고, 같은 활성 레벨이라 할지라도 에지의 특성도 각기 다르게 나타난다. 적응적인 양자화를 위해서, 2D-DCT 변환된 영상 오차의 각 블록의 활성레벨 뿐만 아니라 AC 계수들의 분포에 따른 에지 특성을 분류하면, 블록의 활성 레벨만을 일률적으로 적용한 Sorting 방법의 경우보다 향상된 영상을 복원할 수 있다. 블록의 활성 레벨은 AC energy에 의해서 측정하고, 에지 특성은 AC 계수들의 분포에 의해 결정하게 된다.

장면 전환 검출은 비디오 데이터의 효율적인 관리를 위한 주요 기술로서 다양한 영상에 실제적으로 적용하기 위해서 적응적인 검출 기술이 요구된다. 본 논문에서는 가변 참조 구간의 평균 특징값을 이용한 적응적인 장면 전환 검출 알고리즘을 제안한다. 제안하는 알고리즘은 비디오 프레임에서 추출한 특징값들 중에서 가변 구간 동안의 평균 특징값을 참조하여 적응적 임계값을 정의하고, 특징값과 임계값을 비교하여 장면 전환 유무를 판단한다. 동일한 비디오 데이터를 사용한 실험을 통해서 제안한 방법이 기존의 방법들보다 검출 결과가 최대 15%이상 향상되었음을 확인하였다. 제안한 방법은 여러 가지 특징 추출 방법에 대해서도 좋은 성능을 나타내었으며, 홈캐스트사의 TVUS 모델에서 구현함으로써 하드웨어 성능이 낮은 플랫폼에서 실시간 장면 전환 검출이 가능한 것을 확인하였다. 따라서 제안하는 방법은 휴대용 미디어 장치나 유사 휴대형기기에서 유용하게 사용될 수 있을 것이다.

Shot change detection is an important technique for effective management of video data, so detection scheme requires adaptive detection techniques to be used actually in various video. In this paper, we propose an adaptive shot change detection algorithm using the mean of feature value on variable reference blocks. Our algorithm determines shot change detection by defining adaptive threshold values with the feature value extracted from video frames and comparing the feature value and the threshold value. We obtained better detection ratio than the conventional methods maximally by 15% in the experiment with the same test sequence. We also had good detection ratio for other several methods of feature extraction and could see realtime operation of shot change detection in the hardware platform with low performance was possible by implementing it in TVUS model of HOMECAST company. Thus, our algerian in the paper can be useful in PMP(portable multimedia player) or other portable players.

장면 전환 검출은 비디오 데이터의 효율적인 관리를 위한 주요 기술로서 다양한 영상에 실제적으로 적용하기 위해서 적응적인 검출 기술이 요구된다. 본 논문에서는 가변 참조 구간의 평균 특징값을 이용한 적응적인 장면 전환 검출 알고리즘을 제안한다. 제안하는 알고리즘은 비디오 프레임에서 추출한 특징값들 중에서 가변 구간 동안의 평균 특징값을 참조하여 적응적 임계값을 정의하고, 특징값과 임계값을 비교하여 장면 전환 유무를 판단한다. 동일한 비디오 데이터를 사용한 실험을 통해서 제안한 방법이 기존의 방법들보다 검출 결과가 최대 15%이상 향상되었음을 확인하였다. 제안한 방법은 여러 가지 특징 추출 방법에 대해서도 좋은 성능을 나타내었으며, 홈캐스트사의 TVUS 모델에서 구현함으로써 하드웨어 성능이 낮은 플랫폼에서 실시간 장면 전환 검출이 가능한 것을 확인하였다. 따라서 제안하는 방법은 휴대용 미디어 장치나 유사 휴대형기기에서 유용하게 사용될 수 있을 것이다.

Shot change detection is an important technique for effective management of video data, so detection scheme requires adaptive detection techniques to be used actually in various video. In this paper, we propose an adaptive shot change detection algorithm using the mean of feature value on variable reference blocks. Our algorithm determines shot change detection by defining adaptive threshold values with the feature value extracted from video frames and comparing the feature value and the threshold value. We obtained better detection ratio than the conventional methods maximally by 15% in the experiment with the same test sequence. We also had good detection ratio for other several methods of feature extraction and could see realtime operation of shot change detection in the hardware platform with low performance was possible by implementing it in TVUS model of HOMECAST company. Thus, our algorithm in the paper can be useful in PMP(portable multimedia player) or other portable players.