Earticle

본 논문에서는 관심영역 분리에 따른 적응적인 움직임 보정에 기초한 효과적인 프레임 율 증가 기법을 제안한다. 기존에 가장 많이 알려진 방법인 확장 양방향 움직임 추정 방법(EBME)의 단점을 극복하기 위해, 제안된 알고리즘은 상호 보완적인 비대칭 영역에 대해 양방향 움직임 추정을 수행한다. 그런 후에, 블록 단위로 움직임이나 변화가 있는 영역을 관심영역으로 분류하고 관심영역의 블록 특성에 따라 움직임 벡터를 세부적으로 보정한다. 제안하는 알고리즘은 기존의 선형적인 움직임에 기초하는 확장 양방향 움직임 추정보다 특히 폐색영역에 대해 효율적인 움직임 추정을 한다. 다양한 테스트 비디오 시퀀스들에 대하여 실험한 결과에 따르면, 제안한 방식은 기존 EBME 대비 평균 0.59dB의 화질 개선을 달성하였음을 보인다.

This paper proposes an effective FRUC (Frame Rate Up-Conversion) technique, which is based on ROI (Region Of Interest) separations and adaptive motion vector refinement. In this paper, in order to overcome the weakness of the EBME (Extended Bi-lateral Motion Estimation) algorithm, which is widely known in FRUC techniques, first, the proposed algorithm performs a bi-directional motion estimation for the complementary asymmetric region. Then, the proposed algorithm classifies each block into ROI or non-ROI block and refine motion vectors in accordance with their block characteristics to have a higher accuracy than the conventional EBME algorithm, specially, for the occlusion regions. The experimental results show that the proposed algorithm can improves 0.59dB on average PSNR as compared to the conventional method.

Motion estimation (ME) and motion compensation (MC) are the key elements for frame rate up-conversion (FRUC) system. Fast and accurate motion estimation is the premise of high quality motion compensation. Unlike conventional unidirectional motion estimation which brings holes, overlaps and blocking artifacts, the bi-directional motion estimation does not produce any overlapped pixel or hole in the interpolated frames. As a result, the bi-directional motion estimation has better performance than conventional unidirectional motion estimation. This paper presents an efficient FPGA architecture targeting bi-directional motion estimation hardware implementation. This proposed architecture can achieve real-time processing for 1280x720@60Hz under 200MHz operating frequency. The design is described in Verilog HDL, verified in Virtex5 FPGA platform. Experimental results show that the proposed architecture has high performance and low cost for bi-directional motion estimation algorithm. This architecture can be used for video post-processing system.

In this paper, we propose a Motion Estimation (ME) using new blocks based on the Frame Difference (FD) between two adjacent frames for Frame Rate-up Conversion (FRC). The proposed algorithm decides the shape of blocks by the FD. The experimental results show that the proposed method has better performance than conventional methods.

This paper proposes new frame rate up-conversion algorithms. Adaptive motion estimation based on block complexity information are used to obtain more accurate motion vectors. Because the information on block complexity is extracted from the motion estimation prediction size from the original frame, additional computational complexity is not imparted. In experimental results, the proposed algorithms provide robust frame interpolation performance for whole test sequences. Also, the computational complexity of the proposed algorithm is reduced to a benchmark algorithm.

본 논문에서는 영상의 프레임률을 증가시키기 위한 새로운 움직임 벡터 평활화 기법과 움직임 보상 기법에 대해 제안한다. 제안하는 움직임 벡터 평활화 방법은 적응적 가중 벡터 중간값 필터를 사용하는 기존 방법의 한계를 극복하기 위해 정확도를 반영하여 가중치를 개선함으로써 잘못된 움직임 평활화를 줄인다. 또한 기존 움직임 보상 기법인 OBMC로 보간된 영상의 화질을 향상시키기 위해 원래의 블록을 4등분하여 등분된 각 블록을 기준으로 움직임 벡터를 재추정하고 이를 통해 보간 프레임을 생성하는 방법을 제안하다. 모의실험 결과는 제안된 방법이 객관적 측면과 주관적 측면에서 기존 기법에 비해 우수한 화질을 제공할 수 있음을 보인다.

This paper proposes a new motion vector smoothing and motion compensation method to increase the frame rate of videos. The proposed method reduces false motion vector smoothing by improving the weight with reflecting accuracy to overcome the limitation of the conventional motion vector smoothing using the adaptively weighted vector median. Also, to improve the interpolated image quality of the conventional OBMC(Overlapped Block Motion Compensation), a scheme that divides an original block into 4 sub-blocks and then generates the interpolated frame using the reestimated motion vector for each sub-block is proposed. The simulation results prove that the proposed method can provide much better objective and subjective image quality than the conventional method.

본 논문에서는 적응적 중첩 블록 움직임 보상 방법을 이용한 새로운 양방향 프레임 율 향상 방법을 제안한다. 제안한 방법에서는 참조 영역의 움직임 복잡도에 기반한 적응적 중첩 블록 음직임 보상 방법이 사용된다. 움직임 복잡도는 이전에 부호화된 움직임 추정과정에서 판단되므로 중첩 블록 움직임 보상 방법에 적응적 기법을 추가적인 계산 복잡도 없이 적용 가능하다. 실험결과는 제한한 방법이 기존 방법에 비해 객곽적, 주관적 화질에서 우수함을 보여준다.

In this paper, a new bilateral frame rate up-conversion algorithm using adaptive overlapped block motion compensation is proposed. In this algorithm, the adaptive overlapped block motion compensation is based on the motion complexity of the reference region. As the motion complexity is determined by the size of the previously coded motion estimation prediction, the overlapped block motion compensation method is selected without any additional computational complexity. Experimental results show that the proposed algorithm provides better image quality than conventional methods both objectively and subjectively.

본 논문은 EBME(Extended Bilateral Motion Estimation) 알고리듬에서 동일한 움직임 벡터들의 방향과 크기를 고려한 알고리듬을 제안하였다. EBME는 BME(Bilateral Motion Estimation)보다 높은 연산량을 요구하기 때문에 프레임 내의 x, y방향 각각의 평균 움직임 벡터크기를 이용하여 동적프레임과 정적프레임을 판단하고, EBME 수행여부를 판단하여 연산량을 줄인다. 또한 동일한 움직임 벡터들의 방향과 크기를 비교하여 MVS(Motion Vector Smoothing)단계 수행여부를 판단함으로써 연산량을 줄인다. 제안하는 알고리듬을 적용한 실험 결과 기존의 EBME 알고리듬에 비해 수행시간은 단축되고 PSNR(Peak Signal to Noise Ratio)은 향상 되었다.

In this paper, frame rate up conversion (FRUC) algorithm considering the direction and magnitude of identical motion vectors is proposed. extended bilateral motion estimation (EBME) has higher complexity than bilateral motion estimation (BME). By using average magnitude of motion vector with x and y direction respectively, dynamic frame and static frame are decided. We reduce complexity to decide EBME. also, After we compare the direction and magnitude of identical motion vectors, We reduce complexity to decide motion vector smoothing(MVS). Experimental results show that this proposed algorithm has fast computation and better peak singnal to noise ratio(PSNR) results compared with EBME.

폐색영역 탐지(Occlusion detection)와 중간값 필터(Median filter)를 조합한 새로운 움직임 추정 기반의 프레임율 변환(Frame rate up-conversion based on motion estimation) 기술을 소개한다. 움직임 추정은 움직임 벡터(Motion vector)를 얻기 위해 수행한다. 그 후 폐색영역 탐지방법은 폐색된 부분에서 움직임 벡터를 개선한다. 폐색된 영역에서는 잘못된 움직임 벡터를 찾을 가능성이 높으므로 움직임 벡터 의존율이 적은 중간값 필터를 적용하고, 비폐색된 영역에서는 움직임 벡터가 연속적이고 신뢰도가 높으므로 BDMC(Bi-Directional Motion Compensated interpolation)를 적용하여 보간 영상을 생성한다. 양방향 움직임 벡터를 사용하는 BDMC는 움직임 벡터의 연속성과 신뢰도가 높을수록 좋은 결과를 얻는다. 실험결과에서 제안된 알고리즘이 기존의 방법보다 더 나은 성능을 갖는다. 실험에서의 평균 PSNR(Peak signal to noise ratio)은 테스트 시퀀스들에 대하여 BDMC 대비 약 0.16dB 향상되었다.

A new technology on video frame rate up-conversion (FRUC) is presented by combining the median filter and motion estimation (ME) with an occlusion detection (OD) method. First, ME is performed to have a motion vector. Then, the OD method is used to refine motion vector in the occlusion region. Since the wrong motion vector can be obtained with high possibility in the occluded area, a median filtering that less depends on the motion vector is applied to that area, and since the motion vector is continuous and robust in the non-occluded area, BDMC(Bi-Directional Motion Compensated interpolation) is applied to obtain interpolated image in that area. BDMC using the bi-directional motion vectors achieves good results when continuity and robustness of the motion vector is higher. Experimental results show that the proposed algorithm provides better performance than the conventional approach. The average gain of PSNR (Peak Signal to Noise Ratio) is approximately 0.16 dB in the test sequences compared with BDMC.

In this paper we propose a new frame rate up conversion scheme which is used to overcome the motion blur problem of liquid crystal display caused by its slow response. The conventional bilateral motion estimation method which is mainly used in the frame rate up conversion scheme has a drawback that it cannot find true motion vector if there are blocks with simple texture in the search range. To solve this problem, a texture adaptive bilateral motion estimation method that increases cost value of block with simple texture is proposed. Also a motion estimation scheme that utilizes neighboring motion vector effectively is proposed to reduce computation time required to estimate motion. Since the proposed scheme does not apply all available motion vectors within the search range, the execution time of frame rate up conversion can be reduced dramatically. Experimental results show that the interpolated frame image quality of the proposed method is improved in subjective as well as objective view point compared with that of the conventional method.

In this paper, a frame rate up-conversion algorithm using the motion vector frequency of neighboring blocks to reduce the block artifacts caused by failure of conventional motion estimation based on block matching algorithm is proposed. Experimental results show good performance of the proposed scheme with significant reduction of the erroneous motion vectors and block artifacts.

낮은 프레임률을 가지는 동영상을 높은 프레임률 디스플레이 장치를 통해 재생하는 경우 프레임률 향상기법이 필요하다. 프레임 향상 기법은 연속된 원본 프레임 사이에 프레임을 보간함으로써 생성하며 이러한 프레임 보간방법은 크게 프레임 복사 기법과 움직임벡터 기반의 보간기법으로 나뉜다. 프레임 복사 기법은 단순히 보간하고자 하는 프레임의 이전 또는 이후 프레임을 복사하는 기법으로 매우 낮은 복잡도를 가지지만 저키현상이 발생하는 단점이 있다. 움직임 벡터 추정 및 보상을 통한 프레임 보간기법은 다시 화소단위의 방법과 블록단위의 움직임 추정 방법으로 나눌 수 있다. 화소기반의 경우 영역별 다른 보간 방법을 사용하여 보간을 수행하며 높은 복잡도를 가지는 단점이 있다. 블록기반 방법은 상대적으로 낮은 복잡도를 가지지만 블록킹현상이 발생한다는 단점을 가진다. 제안하는 방법은 블록단위의 움직임 추정 기반 프레임률 향상기법으로 프레임내 움직임의 선형성을 이용하여 움직임을 추정한다. 이 과정에서 보간하고자 하는 프레임 이전 두 프레임과 이후 한 프레임을 사용하여 움직임 추정 및 보상을 수행함으로써 프레임을 보간하다. 실험결과 제안한 알고리즘은 객관적 화질 측면에서 이전의 다른 방법과 비교하여 높은 성능을 보이고 특히 해상도가 높은 경우 더욱 우수한 성능을 가지는 것으로 나타났으며 주관적 화질 또한 상대적으로 우수한 것을 볼 수 있었다.

A frame rate up-conversion scheme is needed when moving pictures with a low frame rate is played on appliances with a high frame rate. Frame rate up-conversion methods interpolate the frame with two consecutive frames of the original source. This can be divided into the frame repetition method and motion estimation-based the frame interpolation one. Frame repetition has very low complexity, but it can yield jerky artifacts. The interpolation method based on a motion estimation and compensation can be divided into pixel or block interpolation methods. In the case of pixel interpolation, the interpolated frame was classified into four areas, which were interpolated using different methods. The block interpolation method has relatively low complexity, but it can yield blocking artifacts. The proposed method is the frame rate up-conversion method based on a block motion estimation and compensation using the linearity of motion. This method uses two previous frames and one next frame for motion estimation and compensation. The simulation results show that the proposed algorithm effectively enhances the objective quality, particularly in a high resolution image. In addition, the proposed method has similar or higher subjective quality than other conventional approaches.

본 논문은 기존의 시간적으로 이웃한 프레임 사이의 움직임을 추정 보상하여 새로운 프레임을 생성하는 프레임률 향상 기법 (frame rate up conversion)을 제안한다. 움직임 추정(Motion Estimation)을 통하여 계산된 움직임 벡터를 이용하여 프레임을 생성하며, 생성된 프레임에서 발생되는 구멍 (hole)과 중첩 (overlap) 영역을 처리하는 기법을 제안한다. 특히 k-NN 보간법(k-nearest neighbor interpolation)[3]과 중간값을 적응적으로 활용하여 향상된 화질의 영상을 생성한다. 실험 결과를 통하여 제안하는 기술의 우수성을 입증하였다.

본 논문은 기존의 시간적으로 이웃한 프레임 사이의 움직임을 추정 보상하여 새로운 프레임을 생성하는 프레임률 향상 기법 (frame rate up conversion)을 제안한다. 움직임 추정(Motion Estimation)을 통하여 계산된 움직임 벡터를 이용하여 프레임을 생성하며, 생성된 프레임에서 발생되는 구명 (hole)과 중첩 (overlap) 영역을 처리하는 기법을 제안한다. 특히 k-NN 보간법(k-nearest neighbor interpolation)[3]과 중간값을 적응적으로 활용하여 향상된 화질의 영상을 생성한다. 실험 결과를 통하여 제안하는 기술의 우수성을 입증하였다.

본 논문에서는 MC-FRUC(Motion Compensated Frame Rate Up-Conversion) 에서 사용될 수 있는 주파수 영역에서의 블로킹 현상(blocking artifacts) 검출 알고리즘을 제안한다. MC-FRUC 알고리즘은 블록 단위로 움직임 벡터를 계산하여 움직임 보상을 수행함으로써 블록 경계선 주변에서 블로킹 현상이 발생할 수 있다. 본 논문에서는 효율적인 블로킹 현상 검출을 위해 보간된 영상(interpolated frame)의 주파수 성분을 분석하여 블록경계에서 블록킹 현상을 감소시킨다. 실험결과에서 제안된 알고리즘이 기존의 FRUC 방법보다 더 나은 주관적 화질을 보인다. 제안한 방법은 또한 기존의 BDMC(Bi-Directional Motion Compensation) 대비 평균 약 0.45 dB PSNR(Peak Signal to Noise Ratio)이 향상되었다.

This paper proposes a blocking artifacts detection algorithm in frequency domain for MC-FRUC (Motion Compensated Frame Rate Up-Conversion). Conventional MC-FRUC algorithms occur blocking artifacts near interpolated block boundaries since motion compensation is performed from block-based motion vector. For efficiently decreasing blocking artifacts, this paper analyses frequency characteristics of the interpolated frame and reduces blocking artifacts on block boundaries. In experimental results the proposed method shows better subjective quality than some conventional FRUC method and also increases the PSNR(Peak Signal to Noise Ratio) value on average 0.45 dB compared with BDMC(Bi-Directional Motion Compensation).

최근 스마트 기기의 보급과 무선 인터넷망의 보급으로 언제 어디에서나 비디오를 시청할 수 있다. 하지만 무선 인터넷 망의 품질이 안좋을 경우 영상의 QoS(Quality of Service)를 낮춰 프레임을 스킵하여 전송하게 된다. 이 때 FRUC(Frame Rate Up Conversion)기술을 적용한다면 원본의 프레임 레이트를 확보할 수 있어 QoS를 높일 것으로 기대한다. FRUC에서 MV(Motion Vector)추정시에 연산량이 매우 높아서 스마트 기기에 적용하는 것이 어렵지만 H.264코덱으로 인코딩된 동영상은 자체적으로 MV정보를 갖고 있기 때문에 이 MV를 FRUC에 적용할 수 있다면 FRUC의 연산량을 줄일 수 있을 것이다. 본 논문에서는 H.264 MV와 FRUC의 MV의 차이를 분석하고 유용성을 판단하는 실험을 통해 H.264로 인코딩 된 비디오의 MV중 상당수가 FRUC에 적합함을 확인했다.

Recently, People can use the video streaming services without constraints of space and time because wireless Internet and smart mobile devices are widely spread. However, when network condition is bad, the quality of the video streaming is also decreased. One of the solutions is FRUC (Frame Rate Up Conversion) that can provide better QoS. However, since this technique requires a huge amount of computational resources like ME(Motion Estimation), it is unable to be used in the mobile devices such as smartphone. If Motion Vector in H.264 is applied to FRUC, it could decrease computational resources. This paper analyze difference between H.264 MV(Motion Vector) and FRUC MV. This results implies that a lot of MV in H.264 can apply to FRUC.

본 논문에서는 움직임 추정을 이용한 새로운 프레임 율 향상 변환 알고리듬을 제안한다. 제안 된 알고리듬은 더 정확한 움직임 벡터를 찾기 위해 움직임 추정 방법에서 오차의 분산을 추가적으로 이용한다. 그런 다음, 이웃 움직임 벡터들의 분산 및 현재 움직임 벡터와 이웃하는 평균 움직임 벡터 간의 분산을 사용하여 잘못 찾아진 움직임 벡터를 탐색한다. 탐색된 벡터들은 8 개의 이웃 움직임 벡터의 가중 합에 의해 수정된다. 또한, 보다 정확한 움직임 벡터를 찾고 동시에 계산 복잡도를 줄일 수 있는 적응적 탐색 영역 결정 알고리듬을 제안한다. 결과적으로, 제안하는 알고리듬은 기존의 알고리듬들에 비해 평균 최대 신호 대 잡음 비 (PSNR)와 구조적 유사도 (SSIM)을 각각 1.44dB 및 0.129까지 향상시켰다.

In this paper, we propose a new motion estimation algorithm for frame rate up-conversion. The proposed algorithm uses the variance of errors in addition to SAD in motion estimation to find more accurate motion vectors. Then, it decides which motion vectors are wrong using the variance of neighbor motion vectors and the variance between current motion vector and neighbor's average motion vector. Next, incorrect motion vectors are corrected by weighted sum of eight neighbor motion vectors. Additionally, we propose adaptive search range algorithm, so we can find more accurate motion vectors and reduce computational complexity at the same time. As a result, proposed algorithm improves the average peak signal-to-noise ratio and structural similarity up to 1.44 dB and 0.129, respectively, compared with previous algorithms.

본 논문에서는 새로운 움직임 추정(motion estimation, ME) 방식을 사용한 프레임 비율 변환(frame rate conversion, FRC) 기법에 대해 제안한다. 기존의 프레임 비율 변환을 위한 움직임 추정 방식은 영상 압축에서 사용되고 있는 SAD를 사용하여 블록(block) 단위로 움직임 벡터를 추정하는 방식에 기초를 두고 있다. 그러나 잔여 신호(residual signal)를 저장하는 영상 압축과 달리, 잘못된 움직임 추정은 합성된 출력 영상에서 심각한 품질 저하를 가져올 수 있다. 이를 보완하기 위해 움직임 개선(motion refinement, MR)이 사용되고 있지만, 근본적인 해결을 위해서는 정확한 움직임 추정 알고리즘 사용이 필요하다. 특히 SAD를 통한 움직임 추정은 고르지 못한 움직임 벡터장(motion vector field, MVF)을 형성할 수 있으며, 종래의 연구에서 이를 해결하기 위해 SAD(sum of absolute difference)에 벡터의 공간제약(spatial constraint) 항목을 추가하여 비교적 고른 움직임 벡터장을 형성하는 방식이 제시되었다. SAD와 공간 제약 항목의 반영 비율에 따라 움직임 벡터의 중요성과 움직임 벡터장의 일관성이 서로 상충하는데, 기존의 방식은 이 비율을 일정한 상수(constant)값을 사용하고 있으며, 이러한 방식은 이미지의 특성에 따라 결과가 달라진다. 본 논문에서는 SAD와 공간 제약 항목 사이의 반영 비율을 이미지의 특성에 적응하는 방식을 사용하는 움직임 예측을 제시하고, 수행한 결과를 기존의 방식에 의한 결과와 비교하였다.

본 논문에서는 새로운 움직임 추정(motion estimation, ME) 방식을 사용한 프레임 비율 변환(frame rate conversion, FRC) 기법에 대해 제안한다. 기존의 프레임 비율 변환을 위한 움직임 추정 방식은 영상 압축에서 사용되고 있는 SAD를 사용하여 블록(block) 단위로 움직임 벡터를 추정하는 방식에 기초를 두고 있다. 그러나 잔여 신호(residual signal)를 저장하는 영상 압축과 달리, 잘못된 움직임 추정은 합성된 출력 영상에서 심각한 품질 저하를 가져올 수 있다. 이를 보완하기 위해 움직임 개선(motion refinement, MR)이 사용되고 있지만, 근본적인 해결을 위해서는 정확한 움직임 추정 알고리즘 사용이 필요하다. 특히 SAD를 통한 움직임 추정은 고르지 못한 움직임 벡터장(motion vector field, MVF)을 형성할 수 있으며, 종래의 연구에서 이를 해결하기 위해 SAD(sum of absolute difference)에 벡터의 공간제약(spatial constraint) 항목을 추가하여 비교적 고른 움직임 벡터장을 형성하는 방식이 제시되었다. SAD와 공간 제약 항목의 반영 비율에 따라 움직임 벡터의 중요성과 움직임 벡터장의 일관성이 서로 상충하는데, 기존의 방식은 이 비율을 일정한 상수(constant)값을 사용하고 있으며, 이러한 방식은 이미지의 특성에 따라 결과가 달라진다. 본 논문에서는 SAD와 공간 제약 항목 사이의 반영 비율을 이미지의 특성에 적응하는 방식을 사용하는 움직임 예측을 제시하고, 수행한 결과를 기존의 방식에 의한 결과와 비교하였다.

프레임율 상향 변환은 프레임 사이의 시간적 연속성을 고려하여 객체의 움직임을 예측, 이 정보를 토대로 가상의 프레임을 생성하는 기술이다. 프레임율 상향 변환은 양쪽 프레임의 평균값을 취하는 블렌딩 기반의 보간 방법을 사용하기 때문에 오추정된 모션 벡터는 품질이 낮은 보간 프레임들을 생성한다. 따라서, 전처리 혹은 후처리를 통해 품질을 높일 수 있게 하기 위해서, 품질이 낮은 보간 프레임들의 특성을 분석하여야 한다. 본 논문에서는 이런 특성을 파악하기 위해서 밝기값 히스토그램과 모션벡터의 상관성을 분석하였고, 이 피쳐들이 품질이 낮은 보간 프레임을 판단하는 근거가 될 수 있음을 밝기값 히스토그램의 카이제곱 검정방법과 모션 벡터의 공분산 차이의 절대값에 대한 실험 및 분석을 통해 파악하였다.

Frame Rate Up Conversion (FRUC) generate interpolated frames between existing frames using motion estimation and motion compensation interpolation considering temporal redundancy. Falsely-estimated FRUC, however, can generate poor quality frames because FRUC typically uses blending-based interpolation method. As skipping an interpolating process between frames generate mis-estimated motion vectors, could improve Quality of Services of FRUC. In this Paper we analyze luminance histogram and motion vector consistency in frames generating poor quality interpolated frames. We conclude these features could help to be a clue in classifying the frames, which often result in the poor quality of FRUC results through the analysis and experiment.