Earticle

Photo-realistic high-resolution image reconstruction from its counterpart low-resolution image is still a long, challenging task in computer vision. Estimating a High Resolution (HR) image from a single Low Resolution (LR) is referred to as Super-Resolution (SR). When deep learning with a learning and noise immunity capability has been applied, the LR images are generally obtained by down-sampling HR images with additional noise and blur. Single Image Super-Resolution (SISR) is more respected and better in efficiency. Based on models and architectures, deep learning super-resolution techniques can be categorized into Convolutional Neural Networks (CNNs), Adversarial Networks, and Transformer models. This paper summarizes the development history and characteristics of the state-of-the-art papers, discusses the trend and challenges, and provides a compact review of current development and deep learning-based super resolution trends.

In recent years, deep convolutional neural networks have made significant progress in the research of single image super-resolution. However, it is difficult to be applied in practical computing terminals or embedded devices due to a large number of parameters and computational effort. To balance these problems, we propose CSRNet, a lightweight neural network based on channel split residual learning structure, to reconstruct highresolution images from low-resolution images. Lightweight refers to designing a neural network with fewer parameters and a simplified structure for lower memory consumption and faster inference speed. At the same time, it is ensured that the performance of recovering high-resolution images is not degraded. In CSRNet, we reduce the parameters and computation by channel split residual learning. Simultaneously, we propose a double-upsampling network structure to improve the performance of the lightweight super-resolution network and make it easy to train. Finally, we propose a new evaluation metric for the lightweight approaches named 100_FPS. Experiments show that our proposed CSRNet not only speeds up the inference of the neural network and reduces memory consumption, but also performs well on single image super-resolution.

본 논문은 단일 영상 기반의 초해상도에서 결과의 품질을 개선하기 위해 적응형 가중치를 적용한 잔차 블 록으로 구성된 다중 블록 구조를 이용하는 방법을 제안하였다. 딥러닝을 이용한 초해상도를 생성하는 과정에서 품질 향상을 위한 가장 중요한 요소는 특징 추출 및 적용이다. 해상도가 낮아 이미 손실된 세부사항을 복원하기 위해 다 양한 특징을 추출하는 것이 최우선이지만 네트워크의 구조가 깊어지거나 복잡해지는 등의 문제가 발생하기 때문에 실제 적용에서 제한사항이 있다. 따라서 특징 추출 과정은 효율적으로 구성하고 적용 과정을 개선하여 품질을 개선 하였다. 이를 위해 최초 특징 추출 이후 다중 블록 구조를 구성하였고 블록 내부에는 중첩된 잔차 블록을 구성한 뒤 적응형 가중치를 적용하였다. 또한 최종 고해상도 복원을 위해 다중 커널을 이용한 영상 재구성 과정을 적용함으로 써 결과물의 품질을 향상시켰다. 평가를 위해 원본 영상 대비 PSNR과 SSIM 값을 구하였고 기존 알고리즘과 비교 하여 제안하는 방법의 성능 향상을 확인하였다.

In this paper, proposes a method using a multi block structure composed of residual blocks with adaptive weights to improve the quality of results in single image super resolution. In the process of generating super resolution images using deep learning, the most critical factor for enhancing quality is feature extraction and application. While extracting various features is essential for restoring fine details that have been lost due to low resolution, issues such as increased network depth and complexity pose challenges in practical implementation. Therefore, the feature extraction process was structured efficiently, and the application process was improved to enhance quality. To achieve this, a multi block structure was designed after the initial feature extraction, with nested residual blocks inside each block, where adaptive weights were applied. Additionally, for final high resolution reconstruction, a multi kernel image reconstruction process was employed, further improving the quality of the results. The performance of the proposed method was evaluated by calculating PSNR and SSIM values compared to the original image, and its superiority was demonstrated through comparisons with existing algorithms.

본 연구는 엉치엉덩관절의 불안정성에 초점을 맞춘 테이핑 방법이 요통에 도움이 될 수 있는 잠재 중 재 방법인지에 대해 고려해 보고자 한 사례연구이다. 해당 사례는 58세 과거 디스크탈출증 및 협착증으로 인 해 허리 수술 병력이 있는 남성이 지속적인 통증 감소를 위해 참여한 테이핑 교육 세션에서 나타난 주목할 만 한 결과를 사례로 정리하였다. 중재 방법으로 테잎을 엉치뼈 2~4사이에 가시결절로부터 양쪽으로 80%< 장력 으로 늘려 엉치엉덩관절을 지나게 붙이고 이후 끝 쪽은 양쪽 약 45° 방향으로 올려 중간볼기근(gluteus medius m.) 쪽으로 향하게 붙였다. 그 다음 엉덩뼈능선(iliac crest)로부터 척추기립근을 따라 10번째 갈비뼈 수준까지 이르는 양쪽 테이핑 방법이 적용되었다. 해당 중재를 통해 VAS와 ODI 두 검사도구로부터 VAS는 5 에서 0, 장애지수는 13에서 0으로 각각 기록되는 긍정적 사례 결과를 관찰할 수 있었다.

This is a case study that sought to consider whether taping, which focuses on instability of the sacroiliac joint, is a potential intervention method that may be helpful for low back pain. In the case of a 58-year-old participant, we summarized the notable results from a taping training session that a man with a history of back surgery due to disc herniation and stenosis participated in to reduce ongoing pain. As an intervention method, tape was applied between the 2nd and 4th sacrum on both sides from the spinous tuberosity. It was stretched to a tension of 80% and attached past the sacroiliac joint, and then the ends were raised at about 45° on both sides and attached toward the gluteus medius muscle. Then, along the erector spinae muscle from the iliac crest. Bilateral taping up to the level of the 10th rib was applied. Through this intervention, positive case results were observed from both VAS and ODI test tools, with VAS recorded as 5 to 0 and disability index recorded as 13 to 0, respectively.

본 논문에서는 단일 영상을 기반으로 초해상도를 생성하는 과정에서 계층 구조를 거쳐 추출된 보조 경계 특징을 이용한 방법을 제안하였다. 초해상도의 품질을 향상시키기 위해서는 영상 내 경계 영역을 선명하게 표현하 면서도 각 영역의 형태를 명확하게 구분하여야 한다. 제안하는 방법은 초해상도 과정에서 품질을 결정하는 중요한 요인인 경계 영역을 입력 영상의 구조적 형태를 유지하면서 개선된 초해상도 결과를 생성하기 위해 딥러닝 기반의 초해상도 방법에서 영상의 경계 영역 정보를 보조적으로 활용하는 구조를 사용하였다. 딥러닝 기반의 초해상도를 수행하기 위한 그룹 컨볼루션 구조에 더해 보조 경계 추출을 위한 고주파 대역의 정보를 기반으로 별도의 계층적 구조의 경계 누적 추출 과정을 수행하여 이를 보조 특징으로써 활용하는 방법을 제안하였다. 실험 결과 기존 초해 상도 대비 PSNR과 SSIM에서 약 1%의 성능 향상을 보였다.

In this paper, we proposed a method using sub-edge information extracted through a hierarchical structure in the process of generating super resolution based on a single image. In order to improve the quality of super resolution, it is necessary to clearly distinguish the shape of each area while clearly expressing the boundary area in the image. The proposed method assists edge information of the image in deep learning based super resolution method to create an improved super resolution result while maintaining the structural shape of the boundary region, which is an important factor determining the quality in the super resolution process. In addition to the group convolution structure for performing deep learning based super resolution, a separate hierarchical edge accumulation extraction process based on high-frequency band information for sub-edge extraction is proposed, and a method of using it as an auxiliary feature is proposed. Experimental results showed about 1% performance improvement in PSNR and SSIM compared to the existing super resolution.

본 논문은 단일 영상 기반의 초해상도를 생성하기 위해 방향성을 고려한 주의 정보 공유 기반의 네트워크를 제안한다. 기존 초해상도 방법에서는 구조적, 지역적, 전역적 정보들을 추출하기 위해 딥러닝 기반의 방법을 활용하면서 세밀한 질감 정보와 구조적 일관성 등을 확보함으로써 품질을 개선하고자 하였지만 복잡한 영상 내 다양한 방향성 패턴을 반영하지 못하는 한계가 있다. 제안하는 방법에서는 영상 내 지역적 정보를 추출함과 동시에 지역 내 텍스처의 방향성을 고려할 수 있도록 방향성 특징 추출을 수행하였다. 주의 정보 추출 과정에서 방향성 정보를 반영함으로써 방향성에 따른 특징 강조 및 억제를 가능하게 하였다. 또한 계층 간 정보 공유를 통해 저단계 및 고단계 특징 간의 상호 보완을 수행함으로써 세밀한 질감 및 경계 복원이 가능하게 하였다. PSNR 및 SSIM, 연산복잡도 비교 평가를 통해 제안하는 방법이 기존 방법 대비 향상됨을 보였다.

In this paper proposes a direction-aware attention information sharing network for single image super-resolution (SISR). Although conventional super-resolution methods employ deep learning techniques to extract structural, local, and global information to enhance image quality by preserving fine texture details and structural consistency, they often fail to effectively capture the diverse directional patterns inherent in complex images. The proposed method performs directional feature extraction to consider the orientation of local textures while simultaneously capturing local information within the image. By incorporating directional information into the attention extraction process, the network enables selective enhancement and suppression of features according to their directional characteristics. Furthermore, inter-layer information sharing is introduced to reinforce the complementarity between low-level and high-level features, facilitating more precise recovery of fine textures and edges. The proposed method demonstrated improvements over existing methods through comparative evaluations of PSNR, SSIM, and computational complexity.

본 논문은 단일 영상을 이용하여 초해상도 방법을 수행하기 위해 질감-공간 영역을 분리한 뒤 세부정보를 중심으로 특징을 분류하는 방법을 제안한다. CNN(Convolutional Neural Network) 기반의 초해상도는 세부정 보를 개선하기 위한 특징 추정 과정에서의 복잡한 절차와 중복된 특징 정보의 생성으로 인해 초해상도에서 가장 중요한 기준인 품질 저하가 발생할 수 있다. 제안하는 방법은 절차적 복잡성을 줄이고 중복 특징 정보의 생성을 최소화하여 초해상도 결과의 품질을 개선하기 위해 입력 영상을 질감과 공간의 두 채널로 분리하였다. 질감 채널에 서는 세부정보 복원을 위해 다중스케일로 변환한 영상에 단계별 skip-connection을 적용한 잔차 블록 구조를 적용하여 특징 정제 과정을 수행함으로써 특징 추출을 개선하였고, 공간 채널에서는 평활화된 형태의 특징을 활용 하여 잡음을 제거하고 구조적 특징을 유지하도록 하였다. 제안하는 방법을 이용해 실험한 결과 기존 초해상도 방법 대비 PSNR 및 SSIM 성능 평가에서 향상된 결과를 보여 품질이 개선됨을 확인할 수 있었다.

In this paper, I proposes a method for performing single image super resolution by separating texture-spatial domains and then classifying features based on detailed information. In CNN (Convolutional Neural Network) based super resolution, the complex procedures and generation of redundant feature information in feature estimation process for enhancing details can lead to quality degradation in super resolution. The proposed method reduced procedural complexity and minimizes generation of redundant feature information by splitting input image into two channels: texture and spatial. In texture channel, a feature refinement process with step-wise skip connections is applied for detail restoration, while in spatial channel, a method is introduced to preserve the structural features of the image. Experimental results using proposed method demonstrate improved performance in terms of PSNR and SSIM evaluations compared to existing super resolution methods, confirmed the enhancement in quality.

본 논문은 단일 이미지에서 초해상도 영상 생성을 위해 저해상도 이미지에서 생성한 패치정보를 기반으로 선형 보간하는 방법을 제안하였다. 기존의 초해상도 생성 방법인 전역 공간의 회귀 모델을 사용하면 특정 영역에 대해 참조할 정보가 부족하여 일반적으로 품질이 떨어지는 결과가 나타난다. 이러한 결과를 보완하기 위해 제안하는 방법은 초해상도 이미지 생성 과정에서 영상을 패치 단위로 지역을 분할하여 의미있는 정보를 수집하고, 수집된 정보를 기반으로 초해상도 이미지 생성을 위해 확장시킨 이미지 매트릭스 영역의 구성정보를 분석하여 선형 보간 과정을 거치고 패치정보를 대응시켜 탐색한 최적의 패치 정보를 기준으로 선형 보간하는 방법을 제안하였다. 실험을 위해 원본 이미지를 복원된 영상과 PSNR, SSIM으로 비교 평가하였다.

In this paper, we propose a linear interpolation method based on patch information generated from a low - resolution image for generating a super resolution image in a single image. Using the regression model of the global space, which is a conventional super resolution generation method, results in poor quality in general because of lack of information to be referred to a specific region. In order to compensate for these results, we propose a method to extract meaningful information by dividing the region into patches in the process of super resolution image generation, analyze the constituents of the image matrix region extended for super resolution image generation, We propose a method of linear interpolation based on optimal patch information that is searched by correlating patch information based on the information gathered before the interpolation process. For the experiment, the original image was compared with the reconstructed image with PSNR and SSIM.

An efficient single-image super-resolution based on the discrete wavelet transform is proposed. The low-resolution image to be enhanced is assumed to be the low-frequency subband of the high-resolution image to be reconstructed. A support vector machine that synthesizes the high-frequency subband based on the inter-subband correlation of the directional edges is designed. Subband coefficients are classified into one of homogeneous region, edge region, and textured region. The support vector machine is adaptively trained for each region. Experimental results of sample images show that the proposed system offers improvements in terms of both measured distortion and subjective appearance.

In this research paper, theoretical analysis and applications of a novel single image super-resolution algorithm through regularization approach and joint learning is introduced. Digital image during the process of obtaining the optical fuzzy, movement deformation and degradation factors such as random noise, the influence of the resulting often degradation image, sometimes its resolution is difficult to meet the actual demand of engineering or military applications. In this paper, we combine the joint learning theory together with the regularization standard, through parameter selection, error estimation with omission and solution analysis steps. The proposed framework is based on modified super-resolution model and novel error estimation metrics. In the experiment section, we compare our proposed algorithm with other state-of-the-art and popularly adopted methodologies and use the well-known test image databases to conduct the experiment. The experimental result shows the feasibility and effectiveness of the algorithm. In the future, we plan to do more in-depth research on the parameter selection part to modify our method.

Thick pinhole imaging system is widely used for diagnosing intense pulsed radiation sources. However, owing to the trade-off among spatial resolution, field of view (FOV) and signal-to-noise ratio (SNR), the imaging system normally falls short in achieving high-precision spatial diagnosis. In this paper, we propose an unsupervised deep learning method for single image super-resolution (SISR) of the thick pinhole imaging system. The point spread function (PSF) of the imaging system is obtained by analytical calculation and Monte Carlo simulation methods, and the mathematical model of the imaging system is established using a linear equation. To solve the ill-posed inverse problem, we adopt randomly initialized deep convolutional neural networks (DCNNs) as an image prior without pre-training, which is named deep image prior (DIP). The results demonstrate that, by utilizing the SISR technique to increase the number of pixels in reconstructed images, the proposed DIP algorithm can mitigate the spatial resolution degradation caused by an insufficient spatial sampling frequency of the camera. Compared with various classical algorithms, the proposed DIP algorithm exhibits superior capabilities in recovering high-frequency signals and suppressing ringing artifacts. Furthermore, the convergence and robustness of the proposed DIP algorithm under different random seeds and SNR conditions are also verified.

Because single-photon emission computed tomography (SPECT) is one of the widely used nuclear medicine imaging systems, it is extremely important to acquire high-quality images for diagnosis. In this study, we designed a super-resolution (SR) technique using dense block-based deep convolutional neural network (CNN) and evaluated the algorithm on real SPECT phantom images. To acquire the phantom images, a real SPECT system using a^99mTc source and two physical phantoms was used. To confirm the image quality, the noise properties and visual quality metric evaluation parameters were calculated. The results demonstrate that our proposed method delivers a more valid SR improvement by using dense block-based deep CNNs as compared to conventional reconstruction techniques. In particular, when the proposed method was used, the quantitative performance was improved from 1.2 to 5.0 times compared to the result of using the conventional iterative reconstruction. Here, we confirmed the effects on the image quality of the resulting SR image, and our proposed technique was shown to be effective for nuclear medicine imaging.

최근 심층 합성 곱 신경망 학습의 발전에 따라 단일 이미지 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여주고 있다. 현존하는 딥러닝 기반 초해상도 기법들 중 하나로 잔여 밀집 블록을 이용하여 초기의 특징 정보를 마지막 계층에 전달하여 이후의 계층들이 이전의 계층들의 입력정보를 사용하여 복원하는 RDN(Residual Dense Network)이 있다. 하지만 계층적인 모든 특징을 연결하여 학습하고 다수의 잔여 밀집 블록을 쌓게 되면 좋은 성능에도 불구하고 많은 파라미터의 수와 연산량을 가지게 되어 느린 처리 속도와 네트워크를 학습하는데 많은 시간이 소요되고 모바일 시스템에 적용이 어렵다는 단점을 가지고 있다. 본 논문에서는 이전의 정보를 다시 사용하는 연속 메모리 구조인 잔여 밀집 구조와 이미지의 특징맵에 따라 중요도를 결정해주는 채널 집중 기법을 이용한 잔여밀집 채널 집중 블록을 재귀적인 방식으로 사용하여 추가적인 파라미터 없이 네트워크의 깊이를 늘려 큰 수용 영역을 얻으며 동시에 간결한 모델을 유지할 수 있는 방식을 제안한다. 실험 결과 제안하는 네트워크는 RDN과 비교 하였을 때 4배 확대 배율에서 평균적으로 PSNR 0.205dB만큼 낮지만 약 1.8배 더 빠른 처리속도, 약 10배 더 적은 파라미터의 수와 약 1.74배 더 적은 연산량을 갖는 것을 실험을 통해 확인하였다.

With the recent development of deep convolutional neural network learning, deep learning techniques applied to single image super-resolution are showing good results. One of the existing deep learning-based super-resolution techniques is RDN(Residual Dense Network), in which the initial feature information is transmitted to the last layer using residual dense blocks, and subsequent layers are restored using input information of previous layers. However, if all hierarchical features are connected and learned and a large number of residual dense blocks are stacked, despite good performance, a large number of parameters and huge computational load are needed, so it takes a lot of time to learn a network and a slow processing speed, and it is not applicable to a mobile system. In this paper, we use the residual dense structure, which is a continuous memory structure that reuses previous information, and the residual dense channel attention block using the channel attention method that determines the importance according to the feature map of the image. We propose a method that can increase the depth to obtain a large receptive field and maintain a concise model at the same time. As a result of the experiment, the proposed network obtained PSNR as low as 0.205dB on average at 4× magnification compared to RDN, but about 1.8 times faster processing speed, about 10 times less number of parameters and about 1.74 times less computation.

최근 단일 영상 초해상도에 깊은 합성 곱 신경망을 적용한 알고리듬이 많이 연구되었다. 현존하는 딥러닝 기반 초해상도 기법들은 네트워크의 후반부에 해상도를 업샘플링 하는 구조를 가진다. 이러한 구조는 저해상도에서 고해상도로 한 번에 매핑을 하기에 많은 정보를 예측하는 높은 확대율에서 비효율적인 구조를 가진다. 본 논문에서는 반복적인 업-다운 샘플링 구조를 기반으로 하여 채널 집중 잔여 밀집 블록을 이용한 단일 영상 초해상도 기법을 제안한다. 제안한 알고리듬은 저해상도와 고해상도의 매핑 관계를 효율적으로 예측하여 높은 확대율에서 기존의 알고리듬에 비해 최대 0.14dB 성능 향상과 개선된 주관적 화질을 보여준다.

Recently, many deep convolutional neural networks for image super-resolution have been studied. Existing deep learning-based super-resolution algorithms are architecture that up-samples the resolution at the end of the network. The post-upsampling architecture has an inefficient structure at large scaling factor result of predicting a lot of information for mapping from low-resolution to high-resolution at once. In this paper, we propose a single image super-resolution using Channel Attention Residual Dense Block based on an iterative up-down sampling architecture. The proposed algorithm efficiently predicts the mapping relationship between low-resolution and high-resolution, and shows up to 0.14dB performance improvement and enhanced subjective image quality compared to the existing algorithm at large scaling factor result.

최근, 단일 이미지 초해상도 복원 기법(super-resolution)에서 컨볼루션 신경망 모델은 매우 성공적이다. 잔여 학습 기법은 컨볼루션 신경망 훈련의 안전성과 성능을 향상시킬 수 있다. 본 논문은 저해상도 입력 이미지에서 고해상도 목표 이미지로 비선형 매핑 학습을 위해 고밀도 스킵 연결(dense skip-connection)을 통한 재귀 잔차 구조를 이용한 단일 이미지 초해상도 복원 기법을 제안한다. 제안하는 단일 이미지 초해상도 복원 기법은 고밀도 스킵 연결 방식을 통해 재귀 잔차 학습 방법을 채택해서 깊은 신경망에서 학습이 어려운 문제를 완화하고 더 쉽게 최적화하기 위해 신경망 안에 불필요한 레이어를 제거한다. 제안하는 방법은 매우 깊은 신경망의 사라지는 변화도(vanishing gradient) 문제를 완화할 뿐만 아니고 낮은 복잡성으로 뛰어난 성능을 얻음으로써 단일 이미지 초해상도 복원 기법의 성능을 향상시킨다. 실험 결과를 통해 제안하는 알고리듬이 기존의 알고리듬 보다 결과가 더 우수함을 보인다.

Recently, the convolution neural network (CNN) model at a single image super-resolution (SISR) have been very successful. The residual learning method can improve training stability and network performance in CNN. In this paper, we propose a SISR using recursive residual network architecture by introducing dense skip connections for learning nonlinear mapping from low-resolution input image to high-resolution target image. The proposed SISR method adopts a method of the recursive residual learning to mitigate the difficulty of the deep network training and remove unnecessary modules for easier to optimize in CNN layers because of the concise and compact recursive network via dense skip connection method. The proposed method not only alleviates the vanishing-gradient problem of a very deep network, but also get the outstanding performance with low complexity of neural network, which allows the neural network to perform training, thereby exhibiting improved performance of SISR method.

본 연구에서는 전통적인 RGB 영상보다 데이터양이 적은 로우 센서 영상을 이용한 초해상화 네트워크를 제안하고 이에 대한 실험결과를 정리하였다. 로우 센서 영상의 초해상화는 일반적인 RGB 초해상화와 달리 카메라에서 일어나는 후처리 가공이 없는 무손실영상을 이용하기 때문에 결과물의 성능이 일반 RGB 초해상화 연구와 달리 색상 보정에 따라 많이 좌우된다. 따라서, 본 연구에서는색상 보정을 위한 모듈을 개발하여 기존 RGB 기반 네트워크에 삽입해 이를 이용해 성능 결과를 비교하였다. 연구 결과 색상 보정 모듈을 적용함으로 성능 지표의 향상이 있음을 확인하였다. 다만, 출력 영상의 의도하지 않은 아티팩트가 발생하는 현상을 확인하였고, 성능 지표 중 PSNR의 향상이 분명하나 SSIM의 성능이 일부 떨어지는 것으로 확인하였다.

In this paper, we propose a super resolution network for raw sensor image which data size is lower comparatively to RGB image. But the actual capabilities of raw image super resolution depends on color correction because its absent of camera post processing that leads to unintended result having different white balance, saturation, etc. Thus, we introduce novel color corrector attention network by adopting the idea of precedent raw super resolution research, and tune to the our faced problem from data specification. The result is not superior to former researches but shows decent output on certain performance matrix. In the same time, we encounter new challenging problem of unexpected shadowing artifact around image objects that cause performance declination despite its good result overall. This problem remains a task to be solved in the future research.

단일 영상 초해상도 (Single Image Super-Resolution - SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 그 대표적인 방법으로 영상의 특징 맵 기반 웨이블릿 계수 학습을 통해 고해상도 영상을 복원하는 WaveletSRNet이 있다. 하지만 복잡한 알고리즘으로 인해 계산량이 증대되어 처리 속도가 늦고 특징 추출할 때 특징 맵을 효율적으로 활용하지 못 한다는 단점을 가지고 있다. 이를 개선하기 위해 본 논문에서는 단일 영상 초해상도 RDB-WaveletSRNet 기법을 제안한다. 제안된 기법은 잔여밀집블록(Residual Dense Block)을 사용하여 저해상도의 특징 맵을 효과적으로 추출하여 초해상도의 성능을 향상시키고 적절한 성장률을 설정하여 복잡한 계산량 문제까지 해결하였다. 또한 웨이블릿 패킷 분해를 사용하여 확대율에 맞게 웨이블릿 계수를 획득하므로 높은 확대율의 단일 영상 초해상도를 얻게 하였다. 다양한 영상에 대한 실험을 통하여, 제안하는 기법이 기존 기법보다 수행시간이 빠르며 영상 품질도 우수함을 입증하였다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.1813dB만큼 우수하며 속도는 1.17배 빠른 것을 실험을 통해 확인하였다.

Single image Super-Resolution (SISR) aims to generate a visually pleasing high-resolution image from its degraded low-resolution measurement. In recent years, deep learning - based super - resolution methods have been actively researched and have shown more reliable and high performance. A typical method is WaveletSRNet, which restores high-resolution images through wavelet coefficient learning based on feature maps of images. However, there are two disadvantages in WaveletSRNet. One is a big processing time due to the complexity of the algorithm. The other is not to utilize feature maps efficiently when extracting input image's features. To improve this problems, we propose an efficient single image super resolution method, named RDB-WaveletSRNet. The proposed method uses the residual dense block to effectively extract low-resolution feature maps to improve single image super-resolution performance. We also adjust appropriated growth rates to solve complex computational problems. In addition, wavelet packet decomposition is used to obtain the wavelet coefficients according to the possibility of large scale ratio. In the experimental result on various images, we have proven that the proposed method has faster processing time and better image quality than the conventional methods. Experimental results have shown that the proposed method has better image quality by increasing 0.1813dB of PSNR and 1.17 times faster than the conventional method.

컴퓨터 비전에서 단일 영상 기반의 초고해상도 영상 복원의 중요성과 확장성으로 관련 분야에서 많은 연구가 진행되어 왔으며, 최근 딥러닝에 대한 관심이 증가하면서 딥러닝을 활용한 단안 영상 기반 초고해상도 연구가 활발히 진행되고 있다. 대부분의 딥러닝을 기반으로 하는 단안 영상 기반 초고해상도 복원 연구는 복원 성능을 향상시키기 위해 네트워크의 구조, 손실 함수, 학습 방법에 초점이 맞추어 연구가 진행되었다. 한편, 딥러닝 네트워크를 깊게 쌓지 않고 초고해상도 영상 복원 성능을 향상시키기 위해 추출된 특징 맵을 강조하는 Attention Module에 대한 연구가 다양한 분야에 적용되어 왔다. Attention Module은 다양한 관점에서 네트워크의 목적에 맞는 특징 정보를 강조 및 스케일링 한다. 본 논문에서는 초고해상도 복원 네트워크를 기반으로 다양한 구조의 Channel Attention과 Spatial Attention을 설계하고, 다양한 관점에서 특징 맵을 강조하기 위해 다중 Attention Module 구조를 설계하여 성능을 분석 및 비교한다.

Single image-based super-resolution has been studied for a long time in computer vision because of various applications. Various deep learning-based super-resolution algorithms are introduced recently to improve the performance by reducing side effects like blurring and staircase effects. Most deep learning-based approaches have focused on how to implement the network architecture, loss function, and training strategy to improve performance. Meanwhile, Several approaches using Attention Module, which emphasizes the extracted features, are introduced to enhance the performance of the network without any additional layer. Attention module emphasizes or scales the feature map for the purpose of the network from various perspectives. In this paper, we propose the various channel attention and spatial attention in single image-based super-resolution and analyze the results and performance according to the architecture of the attention module. Also, we explore that designing multi-attention module to emphasize features efficiently from various perspectives.

본 논문은 표본 기반 단일 영상 초해상도 복원 방식의 성능 개선을 위한 혼합 놈을 이용한 패치 유사도 검색 방식에 대해 제안한다. 초해상도 영상 복원 과정에서 패치의 국부 통계 특성을 반영하기 위해 패치 경사도에 따른 놈의 차수를 결정하고, 놈의 차수를 패치간의 유사도 검색을 위한 함수로 사용하는 방식에 대해 제안한다. 실험 결과를 통해 제안하는 유사도 검색 방식은 기존 검색 방식의 성능을 개선할 수 있는 능력이 있음을 확인할 수 있었다.

This paper presents a similarity search method based on mixed norm for enhancing self-example-based single image super-resolution. In order to incorporate the local statistical characteristics of the patches into the super-resolution image reconstruction, we propose a method to determine the order of the norm according to the patch inclination and use it as a similarity search between patches. Experimental results demonstrate that the proposed similarity search method has the capability to improve the performance of existing search method.

단일 영상 초해상도 복원은 하나의 저해상도 영상에서 고해상도 영상을 복원하는 과정이다. 최근 깊은 인공 신경망 기술이 발전함에 따라 단일 영상 초해상도 복원에서도 깊은 인공 신경망 기술이 성과를 나타냈다. 본 논문은 단일 영상 초해상도 복원을 위해 깊은 인공 신경망 기술을 효율적으로 적용하는 방법에 대해 연구하였으며, 네트워크 내부 확대 기법, L1 손실 함수의 사용, 잔차 학습 구조를 통해 기존 기법보다 효율적으로 영상 복원하는 기법을 제안한다. 제안하는 방법은 기존 방법보다 화질은 PSNR기준으로 0.57dB만큼 우수하며 속도는 1.48배 빠른 것을 실험을 통해 확인하였다.

Single image super-resolution is to restore a high-resolution image from a low-resolution image. Recently, deep neural networks have been applied in various image processing field, and they achieve successful results in the single image super-resolution. In this paper, we propose an efficient way of utilizing the deep neural networks to the single image super-resolution. we improve the quality of single image super-resolution by using convolution transpose layer, L1 loss function, and residual learning. Experimental results have shown that our method is 0.57dB better in terms of PSNR and 1.48 times faster in execution time, compared with existing methods.