Earticle

본 연구에서는 U-Net, 잔차 신경망, 서브 픽셀 컨볼루션을 기반으로 새로운 초해상도 신경망을 제안한다. U-Net의 최대 풀링으로 인해 세부적인 정보의 손실이 일어나는 것을 막기 위해 서브 픽셀 컨볼루션을 활용한 다운 샘플 링 그리고 연결을 제안한다. 이는 필터 안의 최대 값만으로 새로운 피처맵을 만드는 최대 풀링과 다르게 필터 안의 모든 픽셀을 사용한다. 2x2 크기의 필터가 지나가면서 왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래의 픽셀들로만 이루어진 피처맵을 만든다. 이를 통해 크기가 절반이 되고, 피처맵이 개수가 4배가 된다. 그리고 연산량을 줄이기 위해 두 가지 방법을 제안했다. 첫 번째는 U-Net의 업 컨볼루션 대신 연산량이 없고, 성능이 더 좋은 서브 픽셀 컨볼루션을 사용한다. 두 번째는 U-Net의 연결 층 대신 두 피처 맵을 더하는 층을 사용한다. 밴치 마크 데이터 세트로 실험한 결과 스케일 2의 set5 데이터를 제외하고 모든 스케일 및 벤치마크 데이터 세트에서 더 나은 PSNR 값을 보여주고, 국소부위의 패턴 을 명확하게 표현할 수 있었다.

In this study, we propose a novel super-resolution neural network based on U-Net, residual neural network, and sub-pixel convolution. To prevent the loss of detailed information due to the max pooling of U-Net, we propose down-sampling and connection using sub-pixel convolution. This uses all pixels in the filter, unlike the max pooling that creates a new feature map with only the max value in the filter. As a 2x2 size filter passes, it creates a feature map consisting only of pixels in the upper left, upper right, lower left, and lower right. This makes it half the size and quadruple the number of feature maps. And we propose two methods to reduce the computation. The first uses sub-pixel convolution, which has no computation, and has better performance, instead of up-convolution. The second uses a layer that adds two feature maps instead of the connection layer of the U-Net. Experiments with a banchmark dataset show better PSNR values on all scale and benchmark datasets except for set5 data on scale 2, and well represent local area patterns.

Equivalent-time sampling can improve measurement or sensing systems because it enables a broader frequency band and higher delay resolution for periodic signals with lower sampling rates than a Nyquist receiver. Meanwhile, a digital down-conversion (DDC) technique can be implemented using a straightforward radio frequency (RF) circuit. It avoids timing skew and in-phase/quadrature gain imbalance instead of requiring a high-speed analog-to-digital converter to sample an intermediate frequency (IF) signal. Therefore, when equivalent-time sampling and DDC techniques are combined, a significant synergy can be achieved. This study provides a parameter design methodology for optimal equivalent-time sampling using DDC.

인체 선형 모델 (이하 SMPL 모델)은 3 차원 사람 모델로, 3 차원 컴퓨터 그래픽 기술이 발전함에 따라 활용 범위가 확대될 수 있다. 다운샘플링 (Down-sampling)으로 여러 해상도의 SMPL 모델이 사용가능 하다면, 3 차원 컴퓨터 그래픽 기술 발전에 도움이 될 것이다. 3 차원 모델의 다운샘플링을 위한 많은 메쉬 단순화 (Mesh simplification) 기법이 존재한다. 하지만 기존의 기법만을 사용하면 다운 샘플링 한 모델의 자세 (Pose)를 변경했을 때 기대한 것과 다른 결과물이 만들어지는 문제가 발생한다. 본 논문에서는 가장 가까운 정점으로 SMPL 모델의 관절 회귀자 (Joint regressor) 값을 넘겨주어 문제를 해결하는 다운샘플링 (Down-sampling) 방법을 제시한다.

HEVC 표준은 기존의 H.264 표준을 대체할 차세대 고효율 영상 압축 코덱이다. H.264 표준에 비해 약 50% 수준으로 비트레이트를 감소시켰지만 계산 복잡도는 약 1.4배 정도 증가하였다. 계산 복잡도를 낮추기 위해 다양한 고속화 알고리즘들이 제안되어 왔다. 인트라 코딩에는 rough mode decision(RMD) 기법이 적용되었다. 최적의 모드를 선정하기 위한 rate-distortion optimization (RDO) 과정은 복잡도가 높기 때문에 RMD를 사용하여 더 간소화된 방법으로 RDO 단계를 위한 후보 모드들을 선정한다. 그러나 큰 사이즈의 블록들의 경우 RMD 과정 역시 계산 복잡도를 줄일 필요가 있다. 본 논문에서는 RMD 과정에서 참조 픽셀을 가져오고, 예측 픽셀 생성하는 과정에서 다운 샘플링을 적용하였으며 참조 소프트웨어에 적용된 기존 RMD 방식에 비해 계산량을 70%가량 줄일 수 있었다. 이때 BDBR 증가는 0.04%로 미미한 수준이다. 제안한 다운샘플링 기법을 RMD 하드웨어에 적용하면 게이트 카운트는 약 33%, 버퍼의 크기는 약 66% 줄어든다.

HEVC is the next compression standard and is expected to be used widely replacing the conventional H.264/AVC standard. The compression ratio of the HEVC is twice times than H.264/AVC, whereas its computational complexity is increased by up to 40%. Many research efforts have been made to reduce the computational complexity and to speed up encoding. For intra coding, the rough mode decision (RMD) is commonly applied. The rate-distortion optimization (RDO) process to decide the best mode is too complex so that RMD chooses the candidate modes with a simple process and sends the candidates to RDO process. However, for large-size blocks, the RMD also requires considerable computations. In this paper, a down-sampling scheme is proposed for the RMD process. The reference pixel loading, predicted pixel generation are performed using the down-sampled pixel data. When the proposed scheme is applied to the RMD, the computational complexity is reduced by 70% with a marginal bitrate increase of 0.04%. In terms of area of hardware-based RMD, the gate count and the buffer size is reduced 33% and 66%, respectively.

본 논문은 컬러 필터 어레이 (CFA) 영상에 대한 공동의 컬러보간(Demosaicking)과 임의 배율의 다운샘플링(arbitrary-ratio down sampling)알고리즘을 제시한다. 컬러보간은 단일 센서를 사용하는 다양한 영상 저장 시스템에서 영상 신호 처리 파이프 라인의 필수적인 부분이다. 또한, 스마트폰과 같은 소구경 카메라 시스템에서는 영상 센서에서 획득되는 고해상도 영상이 보다 작은 해상도의 영상으로 스크린에 다운샘플링되어 디스플레이 된다. 기존 방법에서는 이러한 과정들을 거치기 위해 "컬러보간 후 다운샘플링" 모듈의 순서대로 영상을 처리하게 된다. 하지만 이러한 독립적이고 순차적인 방법은 많은 메모리 소모와 계산량을 필요로 하게 되고, 또한 영상 처리 과정에서 아티팩트(artifact)가 발생하여 영상 디테일의 손상을 가져오게 된다. 본 논문에서는 이러한 문제점을 해결하기 위해 컬러보간과 다운샘플링을 동시에 동작하도록 하는 알고리즘을 제안한다. 제안하는 방법에서는 입력되는 컬러 필터 영상으로부터 고주파 및 저주파 성분으로 신호를 분해하는 방법에 기초하여 임의의 배율에서 컬러 필터 영상으로 역 사상(inverse mapping)을 하고 컬러보간 및 다운샘플링을 동시에 수행하게 된다. 제안하는 알고리즘은 종래의 기술보다 더 나은 영상 품질 성능을 나타내면서 동시에 보다 적은 계산량이 필요로 하는 것을 보여준다.

This paper presents a joint demosaicking and arbitrary-ratio down sampling algorithm for color filter array (CFA) images. Color demosaiking is a necessary part of image signal processing pipeline for many types of digital image recording system using single sensor. Also, such as smart phone, obtained high resolution image from image sensor has to be down-sampled to be displayed on the screen. The conventional solution is "Demosaicking first and down sampling later". However, this scheme requires a significant amount of memory and computational cost. Also, artifacts can be introduced or details get damaged during demosaicking and down sampling process. In this paper, we propose a method in which demosaicking and down sampling are working simultaneously. We use inverse mapping of Bayer CFA and then joint demosaicking and down sampling with arbitrary-ratio scheme based on signal decomposition of high and low frequency component in input data. Experimental results show that our proposed algorithm has better image quality performance and much less computational cost than those of conventional solution.

이 논문에서는 다상 다운 샘플링 (Polyphase down sampling)에 기반 한 다중 부호화 기법 (multiple description coding)을 H.264 동영상 기술에 적용한 기술을 제시한다. 먼저 입력된 원 매크로블록에 대해서, 움직임 보상된 잔여 매크로블록을 계산한다. 제안하는 기술은 이 잔여 매크로블록을 DCT, 양자화, 엔트로피 부호화 과정을 거쳐 부호화화는 H.264 동영상 부호화 기술에 있어서 DCT 처리 이전에 다상 다운 샘플링을 적용하여 하나의 매크로블록을 4 개의 기술(description)로 나누어 각각을 부호화한다. 복호화에 있어 4 개의 기술이 모두 수신되면, 원래의 영상을 완전히 복호하고, 일부 기술이 수신되지 않으면, 에러 없이 수신된 기술로부터 보간법에 의해 원래의 영상과 유사한 영상을 복호한다. 모의실험은 JVT SVC(Scalable Video Coding) 표준화를 위한 9 개 시험 동영상 전체에 대해 다양한 패킷 손실 형태의 환경에서 수행 되었다. 실험 결과는 제안된 방법이 H.264 기반의 슬라이스 그룹 맵에 기반 한 에러 숨김 방법보다 0.5-5 dB 향상된 성능을 보여주었다.

This paper presents a polyphase down sampling based multiple description coding applied to H.264 video coding standard. For a given macroblock, a residual macroblock is calculated by motion estimation, and before applying DCT, quantization and entrophy coding of the H.264 coding process, the polyphase down sampling is applied to the residual macroblock to code in four separate descriptions. Experiments were performed for all the 9 test sequences of JVT SVC standardization in various packet loss patterns. Experimental results show that the proposed one gives 0.5 to 5 dB enhancement over an error-concealment based on the slice group map technolgoy.

최근 단일 영상 초해상도에 깊은 합성 곱 신경망을 적용한 알고리듬이 많이 연구되었다. 현존하는 딥러닝 기반 초해상도 기법들은 네트워크의 후반부에 해상도를 업샘플링 하는 구조를 가진다. 이러한 구조는 저해상도에서 고해상도로 한 번에 매핑을 하기에 많은 정보를 예측하는 높은 확대율에서 비효율적인 구조를 가진다. 본 논문에서는 반복적인 업-다운 샘플링 구조를 기반으로 하여 채널 집중 잔여 밀집 블록을 이용한 단일 영상 초해상도 기법을 제안한다. 제안한 알고리듬은 저해상도와 고해상도의 매핑 관계를 효율적으로 예측하여 높은 확대율에서 기존의 알고리듬에 비해 최대 0.14dB 성능 향상과 개선된 주관적 화질을 보여준다.

Recently, many deep convolutional neural networks for image super-resolution have been studied. Existing deep learning-based super-resolution algorithms are architecture that up-samples the resolution at the end of the network. The post-upsampling architecture has an inefficient structure at large scaling factor result of predicting a lot of information for mapping from low-resolution to high-resolution at once. In this paper, we propose a single image super-resolution using Channel Attention Residual Dense Block based on an iterative up-down sampling architecture. The proposed algorithm efficiently predicts the mapping relationship between low-resolution and high-resolution, and shows up to 0.14dB performance improvement and enhanced subjective image quality compared to the existing algorithm at large scaling factor result.

본 논문에서는 내부 표본화 주파수와 핵심 대역 하향 표본화 비의 조정이 MPEG USAC의 전체 성능에 끼치는 영향을 다룬다. 여기서 내부 표본화 주파수는 실제 부호화될 때의 내부적인 표본화 주파수를 말한다. 핵심 대역 하향 표본화 비는 전체 부호화 대역폭에 대한 핵심 대역폭의 비를 나타낸다. 성능은 6개의 실험 음원에 대해 10명이 참가한 MUSHRA 검사를 통해 평가되었다. 실험에서는 기존의 1/2에 비해 1/3 혹은 1/4의 핵심 대역 하향 표본화 비를 사용하면 저전송률에서 부호화 성능을 향상시킬 수 있음을 보였다.

This paper deals with the effect of the internal sampling frequency and core band down sampling ratio on the overall performance of the MPEG USAC. Here, the internal sampling frequency is the sampling frequency of a signal actually coded. The core band down sampling ratio is the ratio of the width of the core band over that of the coded band. The performance was measured on 6 different test sound sources by the MUSHRA test with 10 subjects. The experiments showed that 1/3 or 1/4 core band down sampling ratio could yield the better performance than the conventional 1/2 ratio, especially at low rates.