Earticle

As the extension of High Efficiency Video Coding (HEVC) for 3D video coding, 3D-HEVC achieves high efficiency for the compression of the multi-view videos plus depth (MVD) format. In order to ensure the performance of depth map coding, a new depth intra coding tool called Depth Modeling Mode (DMM) is introduced. However, the process of DMM significantly increases the computational complexity of depth map coding due to the blind traversal of all wedgelet partitions. In this paper, a fast intra prediction algorithm for DMM mode in depth map coding is proposed. In the first step, the unnecessary DMM mode is skipped by judging whether the best prediction mode in Rough Mode Decision (RMD) is DC mode. In the second step, the direction information represented by a permitted angle range is acquired based on the best prediction mode achieved in RMD. In the third step, a searching subset is obtained based on the direction information and the position information represented by the coordinates of the pixel with biggest depth value change in each boundary of PU. Then the patterns within the searching subset are tested by view synthesis optimization (VSO) to find the minimum distortion partition. Compared with the coarse-refinement algorithm, the proposed algorithm shows significant time saving with acceptable performance loss.

본 논문에서는 비트평면 부호화를 이용한 적응적 깊이정보 맵 부호화에서 블록 단위 비트율 조절 방법을 제안한다. 기존 방법에서는 깊이정보 맵에 대한 비트율 조절을 위해 양자화 변수를 이용하여 분리된 비트평면의 이진 영상들 중 특정 비트평면의 이진 영상만 부호화하는 방법을 통해 비트율을 조절할 수 있었다. 본 논문에서는 비트율-왜곡 최적화 방법을 이용하여 블록 단위로 부호화할 비트평면의 이진영상을 결정하는 방법을 제안한다. 실험 결과 제안하는 방법이 기존 방법보다 BD-PSNR이 0.2 dB 향상되었고 BD-rate가 2.97% 감소되어 제안하는 방법의 우수함을 확인할 수 있었다.

본 논문에서는 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 블록 기반 적응적 깊이정보 맵 부호화 방법에서는 깊이정보 맵에 대한 비트율 조절을 위해 양자화 변수를 이용하여 부호화할 비트평면의 수를 결정한다. 이러한 양자화 변수에 의한 제약 조건에서 벗어나서 부호화할 비트평면을 블록 단위에서 결정하는 방법을 제안한다. 실험 결과, 제안하는 방법이 블록 기반 적응적 깊이정보 맵 부호화 방법보다 BD-PSNR이 0.25 dB 향상되었고 BD-rate가 3.5% 감소되어 제안하는 방법의 우수함을 확인할 수 있었다.

This paper proposes an efficient depth-map coding method. The adaptive block-based depth-map coding method decides the number of bit planes to be encoded according to the quantization parameters to obtain the desired bit rates. So, the depth-map coding using the block-based decision of the bit-plane to be encoded proposes to free from the constraint of the quantization parameters. Simulation results show that the proposed method, in comparison with the adaptive block-based depth-map coding method, improves the average BD-rate savings by 3.5% and the average BD-PSNR gains by 0.25dB.

본 논문에서는 실제 영상과는 다른 특성을 지니는 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 깊이정보 맵은 객체 내부 혹은 배경 부분에서 상당히 완만한 특성을 지니지만, 객체 경계 부분에서는 아주 날카로운 에지 성분이 존재한다는 특징이 있다. 그리고 깊이정보 맵을 비트평면 단위로 분리하였을 때, 비트평면 간 완전일치/반전일치되는 특성이 객체 경계 부분에서 자주 발생한다는 특징이 있다. 그래서 본 논문에서는 객체 경계 부분에서 비트평면의 이진 영상간 일치여부를 적절하게 이용하기 위하여 깊이정보 맵을 비트평면 단위로 분리하여 비트평면 간 적응적 XOR 연산을 이용한 블록 기반 비트평면 부호화 방법을 제안한다. 또한 비트평면 단위 영상 부호화 방법과 DCT 기반 동영상 압축 방법(H.264/AVC)의 장점을 적절하게 이용하기 위하여 블록 단위 비트평면 부호화 방법과 기존의 블록 단위 동영상 부호화 방법을 적응적으로 선택하여 부호화하였다. 실험 결과 제안하는 방법이 H.264/AVC보다 BD-PSNR이 0.9 dB ~ 1.5 dB 향상되었고 BD-rate가 11.8 % ~ 20.8 % 감소되었다. 또한 제안하는 방법이 블록 기반 적응적 깊이정보 맵 부호화 방법보다 BD-PSNR이 0.5 dB ~ 0.8 dB 향상되었고 BD-rate가 7.7 % ~ 12.2 % 감소되어 제안하는 방법의 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상 영상 간의 비교에서 제안하는 방법이 DCT 기반 동영상 압축 방법보다 주관적 화질이 향상된 것을 확인할 수 있었으며, 블록 기반 적응적 깊이정보 맵 부호화 방법과 비교하여 주관적 화질이 비슷하다는 것을 확인 할 수 있었다.

This paper proposes an efficient coding method of the depth-map which is different from the natural images. The depth-map are so smooth in both inner parts of the objects and background, but it has sharp edges on the object-boundaries like a cliff. In addition, when a depth-map block is decomposed into bit planes, the characteristic of perfect matching or inverted matching between bit planes often occurs on the object-boundaries. Therefore, the proposed depth-map coding scheme is designed to have the bit-plane unit coding method using the adaptive XOR method for efficiently coding the depth-map images on the object-boundary areas, as well as the conventional DCT-based coding scheme (for example, H.264/AVC) for efficiently coding the inside area images of the objects or the background depth-map images. The experimental results show that the proposed algorithm improves the average bit-rate savings as 11.8 % ~ 20.8% and the average PSNR (Peak Signal-to-Noise Ratio) gains as 0.9 dB ~ 1.5 dB in comparison with the H.264/AVC coding scheme. And the proposed algorithm improves the average bit-rate savings as 7.7 % ~ 12.2 % and the average PSNR gains as 0.5 dB ~ 0.8 dB in comparison with the adaptive block-based depth-map coding scheme. It can be confirmed that the proposed method improves the subjective quality of synthesized image using the decoded depth-map in comparison with the H.264/AVC coding scheme. And the subjective quality of the proposed method was similar to the subjective quality of the adaptive block-based depth-map coding scheme.

본 논문에서는 3D-Video에서 가상시점 영상을 생성하는데 필요한 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 가상시점 영상은 실사 영상의 깊이정보 맵을 이용한 시점보간(View Interpolation) 방법으로 생성된다. 일반적으로 깊이정보 맵의 부호화에는 H.264 등의 자연영상에 대한 동영상 부호화 방법을 그대로 적용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 특성을 고려하지 않은 방법이다. 따라서 본 논문에서는 깊이정보 맵의 영상특성을 고려하여, 맵 정보를 그레이 코드로 변환한 후 비트평면 단위로 부호화하는 방법과, H.264 부호화 방법을 블록단위로 적응적으로 선택하여 부호화하는 방법을 제안하였다. 실험결과로서 제안하는 방법의 성능은 H.264 부호화 방법에 비하여, BD-PSNR이 평균 0.5dB 향상되고, BD-rate는 평균 7.43% 감소되어 부호화효율이 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상시점 영상 간의 비교에서 제안하는 방법이 H.264 부호화 방법에 비해 주관적 화질이 크게 향상된 것을 확인할 수 있었다.

This paper proposes an efficient depth-map coding method for generating virtual-view images in 3D-Video. Virtual-view images can be generated by the view-interpolation based on the depth-map of the image. A conventional video coding method such as H.264 has been used. However, a conventional video coding method does not consider the image characteristics of the depth-map. Therefore, this paper proposes an adaptive depth-map coding method that can select between the H.264/AVC coding scheme and the proposed gray-coded bit plane-based coding scheme in a unit of block. This improves the coding efficiency of the depth-map data. Simulation results show that the proposed method, in comparison with the H.264/AVC coding scheme, improves the average BD-rate savings by 7.43% and the average BD-PSNR gains by 0.5dB. It also improves the subjective picture quality of synthesized virtual-view images using decoded depth-maps.

본 논문에서는 MPEG 3차원 비디오 표준 깊이정보 맵에 대한 효율적인 무손실 압축 방법을 제안한다. 일반적으로 깊이정보 맵을 부호화할 때 자연영상에 적용되는 H.264 등의 동영상 부호화 방법을 그대로 사용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 영상특성을 고려하지 않은 방법이다. 본 논문에서는 깊이정보 맵의 무손실 압축 방법으로 MPEG-4 Part-2 Visual의 이진 형상 부호화를 이용한 비트평면 부호화 방법을 제안하였다. 실험결과로서 제안하는 방법이 28.91:1의 압축률을 실현하였고, 화면 내 예측만을 수행한 경우에 JPEG-LS보다 24.84%, JPEG-2000보다 39.35%, H.264 (CAVLC 적용)보다 30.30% 그리고 H.264 (CABAC 적용)보다 16.65% 정도의 비트량 절감을 실현하였고, 또한 화면 내 예측뿐만 아니라 화면 간 예측을 모두 수행한 경우에 H.264 (CAVLC 적용)보다 36.22% 그리고 H.264 (CABAC 적용)보다 23.71% 정도의 비트량 절감을 실현할 수 있었다.

This paper proposes a method for efficient lossless depth map coding for MPEG 3D-Video coding. In general, the conventional video coding method such as H.264 has been used for depth map coding. However, the conventional video coding methods do not consider the image characteristics of the depth map. Therefore, as a lossless depth map coding method, this paper proposes a bit-plane based lossless depth mar coding method by using the MPEG-4 Part 2 shape coding scheme. Simulation results show that the proposed method achieves the compression ratios of 28.91:1. In intra-only coding, proposed method reduces the bitrate by 24.84% in comparison with the JPEG-LS scheme, by 39.35% in comparison with the JPEG-2000 scheme, by 30.30% in comparison with the H.264(CAVLC mode) scheme, and by 16.65% in comparison with the H.264(CABAC mode) scheme. In addition, in intra and inter coding the proposed method reduces the bitrate by 36.22% in comparison with the H.264(CAVLC mode) scheme, and by 23.71% in comparison with the 0.264(CABAC mode) scheme.

The 3D-AVC standard aims at improving coding efficiency by applying new techniques for utilizing intra, inter and view predictions. 3D video scenes are rendered with existing texture video and additional depth map. The depth map comes at the expense of increased computational complexity of the encoding process. For real-time applications, reducing the complexity of 3D-AVC is very important. In this paper, we present a fast intra mode decision algorithm to reduce the complexity burden in the 3D video system. The proposed algorithm uses similarity between texture video and depth map. The best intra prediction mode of the depth map is similar to that of the corresponding texture video. The early decision algorithm can be made on the intra prediction of depth map coding by using the coded intra mode of texture video. Adaptive threshold for early termination is also proposed. Experimental results show that the proposed algorithm saves the encoding time on average 29.7% without any significant loss in terms of the bit rate or PSNR value.

본 논문에서는 High Efficiency Video Coding(HEVC)을 기반으로 구현된 3D 스케일러블 코덱에서 부호화 효율을 향상시킬 수 있는 기술을 제안한다. 기존의 3D-HEVC에서는 dependent view를 부호화 할 때, 자신의 깊이 영상이 존재하지 않아 이웃 view의 base view의 깊이 영상을 이용하여 텍스처를 부호화한다. 하지만 스케일러블 부호화를 지원하는 형태의 3D-HEVC에서는 자신의 하위 spatial layer의 깊이영상을 이용하여 부호화 할 수 있다. 본 논문에서는 3D 스케일러블 코덱에서 텍스처 정보를 부호화하기 위한 향상된 깊이영상 예측방법을 제안한다. 저자들이 구현한 3D 스케일러블 코덱을 이용하여 제안한 알고리즘으로 실험을 한 결과, 제안하는 알고리즘이 기존 기술 대비 효율적인 것을 확인 할 수 있었다.

The conventional 3D-HEVC uses the depth data of the other view instead of that of the current view because the texture data has to be encoded before the corresponding depth data of the current view has been encoded, where the depth data of the other view is used as the predicted depth for the current view. Whereas the conventional 3D-HEVC has no other candidate for the predicted depth information except for that of the other view, the scalable 3D-HEVC utilizes the depth data of the lower spatial layer whose view ID is equal to that of the current picture. The depth data of the lower spatial layer is up-scaled to the resolution of the current picture, and then the enlarged depth data is used as the predicted depth information. Because the quality of the enlarged depth is much higher than that of the depth of the other view, the proposed scheme increases the coding efficiency of the scalable 3D-HEVC codec. Computer simulation results show that the scalable 3D-HEVC is useful and the proposed scheme to use the enlarged depth data for the current picture provides the significant coding gain.