Earticle

본 논문에서는 학습된 사전 기반 초해상도 결과를 개선하기 위해 분석한 손실 영역을 기반으로 학습 데이터를 적용하는 방법을 제안하였다. 기존의 학습된 사전 기반 방법은 입력 영상의 특징을 고려하지 않는 학습된 영상의 형태로 출력할 수 있으며, 이 과정에서 인공물이 발생할 수 있다. 제안하는 방법은 입력 영상과 학습된 영상의 일치하지 않는 특징으로 인한 인공물 발생을 줄이기 위해 1차 복원 결과를 분석함으로써 손실 정보를 추정하였다. 추정된 결과의 잡음 및 화소 불균형을 가우시안 기반의 커널로 개선하여 생성된 특징 맵에 따라 학습 데이터를 매핑하였다. 결과 비교를 위해 기존의 초해상도 방법과 제안 방법의 결과를 고화질 영상과 PSNR(Peak Signal to Noise Ratio), SSIM(Structural SIMilarity Index) 으로 비교한 결과 각각 4%와 3%의 향상된 결과를 확인하였다.

In this paper, we propose a method to analyze the loss region of the dictionary-based super resolution result learned for image quality improvement and to map the learning data according to the analyzed loss region. In the conventional learned dictionary-based method, a result different from the feature configuration of the input image may be generated according to the learning image, and an unintended artifact may occur. The proposed method estimate loss information of low resolution images by analyzing the reconstructed contents to reduce inconsistent feature composition and unintended artifacts in the example-based super resolution process. By mapping the training data according to the final interpolation feature map, which improves the noise and pixel imbalance of the estimated loss information using a Gaussian-based kernel, it generates super resolution with improved noise, artifacts, and staircase compared to the existing super resolution. For the evaluation, the results of the existing super resolution generation algorithms and the proposed method are compared with the high-definition image, which is 4% better in the PSNR (Peak Signal to Noise Ratio) and 3% in the SSIM (Structural SIMilarity Index).

본 논문은 단일 영상 기반의 초해상도에서 결과의 품질을 개선하기 위해 적응형 가중치를 적용한 잔차 블 록으로 구성된 다중 블록 구조를 이용하는 방법을 제안하였다. 딥러닝을 이용한 초해상도를 생성하는 과정에서 품질 향상을 위한 가장 중요한 요소는 특징 추출 및 적용이다. 해상도가 낮아 이미 손실된 세부사항을 복원하기 위해 다 양한 특징을 추출하는 것이 최우선이지만 네트워크의 구조가 깊어지거나 복잡해지는 등의 문제가 발생하기 때문에 실제 적용에서 제한사항이 있다. 따라서 특징 추출 과정은 효율적으로 구성하고 적용 과정을 개선하여 품질을 개선 하였다. 이를 위해 최초 특징 추출 이후 다중 블록 구조를 구성하였고 블록 내부에는 중첩된 잔차 블록을 구성한 뒤 적응형 가중치를 적용하였다. 또한 최종 고해상도 복원을 위해 다중 커널을 이용한 영상 재구성 과정을 적용함으로 써 결과물의 품질을 향상시켰다. 평가를 위해 원본 영상 대비 PSNR과 SSIM 값을 구하였고 기존 알고리즘과 비교 하여 제안하는 방법의 성능 향상을 확인하였다.

In this paper, proposes a method using a multi block structure composed of residual blocks with adaptive weights to improve the quality of results in single image super resolution. In the process of generating super resolution images using deep learning, the most critical factor for enhancing quality is feature extraction and application. While extracting various features is essential for restoring fine details that have been lost due to low resolution, issues such as increased network depth and complexity pose challenges in practical implementation. Therefore, the feature extraction process was structured efficiently, and the application process was improved to enhance quality. To achieve this, a multi block structure was designed after the initial feature extraction, with nested residual blocks inside each block, where adaptive weights were applied. Additionally, for final high resolution reconstruction, a multi kernel image reconstruction process was employed, further improving the quality of the results. The performance of the proposed method was evaluated by calculating PSNR and SSIM values compared to the original image, and its superiority was demonstrated through comparisons with existing algorithms.

본 논문은 채널 강조(Channel Attentin)와 공간 강조(Spatial Attention) 방법을 결합한 딥 러닝 기반의 초해상 도 방법을 제안하였다. 초해상도 과정에서 질감, 특징과 같은 주변 픽셀의 변화량이 큰 고주파 성분의 복원이 중요하다. 채널 강조와 공간 강조를 결합한 특징 강조를 이용한 초해상도 방법을 제안하였다. 기존의 CNN(Convolutional Neural Network) 기반의 초해상도 방법은 깊은 네트워크의 학습이 어려우며, 고주파 성분의 강조가 부족하여 윤곽선 이 흐려지거나 왜곡이 발생한다. 문제를 해결하기 위해 스킵-커넥션(Skip Connection)을 적용한 채널 강조와 공간 강조를 결합한 강조 블록과 잔차 블록(Residual Block)을 사용하였다. 방법으로 추출한 강조된 특징 맵을 부-픽셀 컨볼 루션(Sub-pixel Convolution)을 통해 특징맵을 확장하여 초해상도를 진행하였다. 이를 통해 기존의 SRCNN과 비교 하여 약 PSNR는 5%, SSIM은 3% 향상되었으며 VDSR과 비교를 통해 약 PSNR는 2%, SSIM은 1% 향상된 결과를 보였다.

In this paper, we proposed a deep learning based super-resolution method that combines Channel Attention and Spatial Attention feature enhancement methods. It is important to restore high-frequency components, such as texture and features, that have large changes in surrounding pixels during super-resolution processing. We proposed a super-resolution method using feature enhancement that combines Channel Attention and Spatial Attention. The existing CNN (Convolutional Neural Network) based super-resolution method has difficulty in deep network learning and lacks emphasis on high frequency components, resulting in blurry contours and distortion. In order to solve the problem, we used an emphasis block that combines Channel Attention and Spatial Attention to which Skip Connection was applied, and a Residual Block. The emphasized feature map extracted by the method was extended through Sub-pixel Convolution to obtain the super resolution. As a result, about PSNR improved by 5%, SSIM improved by 3% compared with the conventional SRCNN, and by comparison with VDSR, about PSNR improved by 2% and SSIM improved by 1%.

본 논문은 단일 영상 기반의 초해상도를 생성하기 위해 방향성을 고려한 주의 정보 공유 기반의 네트워크를 제안한다. 기존 초해상도 방법에서는 구조적, 지역적, 전역적 정보들을 추출하기 위해 딥러닝 기반의 방법을 활용하면서 세밀한 질감 정보와 구조적 일관성 등을 확보함으로써 품질을 개선하고자 하였지만 복잡한 영상 내 다양한 방향성 패턴을 반영하지 못하는 한계가 있다. 제안하는 방법에서는 영상 내 지역적 정보를 추출함과 동시에 지역 내 텍스처의 방향성을 고려할 수 있도록 방향성 특징 추출을 수행하였다. 주의 정보 추출 과정에서 방향성 정보를 반영함으로써 방향성에 따른 특징 강조 및 억제를 가능하게 하였다. 또한 계층 간 정보 공유를 통해 저단계 및 고단계 특징 간의 상호 보완을 수행함으로써 세밀한 질감 및 경계 복원이 가능하게 하였다. PSNR 및 SSIM, 연산복잡도 비교 평가를 통해 제안하는 방법이 기존 방법 대비 향상됨을 보였다.

In this paper proposes a direction-aware attention information sharing network for single image super-resolution (SISR). Although conventional super-resolution methods employ deep learning techniques to extract structural, local, and global information to enhance image quality by preserving fine texture details and structural consistency, they often fail to effectively capture the diverse directional patterns inherent in complex images. The proposed method performs directional feature extraction to consider the orientation of local textures while simultaneously capturing local information within the image. By incorporating directional information into the attention extraction process, the network enables selective enhancement and suppression of features according to their directional characteristics. Furthermore, inter-layer information sharing is introduced to reinforce the complementarity between low-level and high-level features, facilitating more precise recovery of fine textures and edges. The proposed method demonstrated improvements over existing methods through comparative evaluations of PSNR, SSIM, and computational complexity.

본 논문은 단일 이미지에서 초해상도 영상 생성을 위해 저해상도 이미지에서 생성한 패치정보를 기반으로 선형 보간하는 방법을 제안하였다. 기존의 초해상도 생성 방법인 전역 공간의 회귀 모델을 사용하면 특정 영역에 대해 참조할 정보가 부족하여 일반적으로 품질이 떨어지는 결과가 나타난다. 이러한 결과를 보완하기 위해 제안하는 방법은 초해상도 이미지 생성 과정에서 영상을 패치 단위로 지역을 분할하여 의미있는 정보를 수집하고, 수집된 정보를 기반으로 초해상도 이미지 생성을 위해 확장시킨 이미지 매트릭스 영역의 구성정보를 분석하여 선형 보간 과정을 거치고 패치정보를 대응시켜 탐색한 최적의 패치 정보를 기준으로 선형 보간하는 방법을 제안하였다. 실험을 위해 원본 이미지를 복원된 영상과 PSNR, SSIM으로 비교 평가하였다.

In this paper, we propose a linear interpolation method based on patch information generated from a low - resolution image for generating a super resolution image in a single image. Using the regression model of the global space, which is a conventional super resolution generation method, results in poor quality in general because of lack of information to be referred to a specific region. In order to compensate for these results, we propose a method to extract meaningful information by dividing the region into patches in the process of super resolution image generation, analyze the constituents of the image matrix region extended for super resolution image generation, We propose a method of linear interpolation based on optimal patch information that is searched by correlating patch information based on the information gathered before the interpolation process. For the experiment, the original image was compared with the reconstructed image with PSNR and SSIM.

본 논문은 단일 영상을 이용하여 초해상도 방법을 수행하기 위해 질감-공간 영역을 분리한 뒤 세부정보를 중심으로 특징을 분류하는 방법을 제안한다. CNN(Convolutional Neural Network) 기반의 초해상도는 세부정 보를 개선하기 위한 특징 추정 과정에서의 복잡한 절차와 중복된 특징 정보의 생성으로 인해 초해상도에서 가장 중요한 기준인 품질 저하가 발생할 수 있다. 제안하는 방법은 절차적 복잡성을 줄이고 중복 특징 정보의 생성을 최소화하여 초해상도 결과의 품질을 개선하기 위해 입력 영상을 질감과 공간의 두 채널로 분리하였다. 질감 채널에 서는 세부정보 복원을 위해 다중스케일로 변환한 영상에 단계별 skip-connection을 적용한 잔차 블록 구조를 적용하여 특징 정제 과정을 수행함으로써 특징 추출을 개선하였고, 공간 채널에서는 평활화된 형태의 특징을 활용 하여 잡음을 제거하고 구조적 특징을 유지하도록 하였다. 제안하는 방법을 이용해 실험한 결과 기존 초해상도 방법 대비 PSNR 및 SSIM 성능 평가에서 향상된 결과를 보여 품질이 개선됨을 확인할 수 있었다.

In this paper, I proposes a method for performing single image super resolution by separating texture-spatial domains and then classifying features based on detailed information. In CNN (Convolutional Neural Network) based super resolution, the complex procedures and generation of redundant feature information in feature estimation process for enhancing details can lead to quality degradation in super resolution. The proposed method reduced procedural complexity and minimizes generation of redundant feature information by splitting input image into two channels: texture and spatial. In texture channel, a feature refinement process with step-wise skip connections is applied for detail restoration, while in spatial channel, a method is introduced to preserve the structural features of the image. Experimental results using proposed method demonstrate improved performance in terms of PSNR and SSIM evaluations compared to existing super resolution methods, confirmed the enhancement in quality.

딥러닝 기술을 이용하여 객체 탐지를 수행하기 위해 이미지의 각 객체에 레이블을 부여하는 레이블링 작업은 대부분 수작업으로 진행되며, 대량의 이미지에 대한 레이블링 작업은 많은 시간과 노력을 필요로 한다. 이러한 어려움을 극복하기 위해 본 연구에서는 전체 이미지가 아닌 일부 이미지에 대한 레이블링을 통해서도 큰 성능의 저하 없이 객체 탐지를 수행할 수 있는 방안을 제안한다. 구체적으로 본 연구에서는 초고해상화 알고리즘을 이용하여 저해상도의 이미지를 고화질의 이미지로 변환하고, 이 과정에서 도출되는 SSIM과 PSNR이 객체 탐지의 mAP에 미치는 영향을 분석하여 객체 탐지 분석에 필요한 레이블링을 위한 최적 샘플링을 수행하는 방안을 제안한다.

This paper presents a robust vehicle detection method for Low Earth Orbit satellite imagery degraded by environmental factors. To enhance feature representation from RGB and IR images, a denoising encoder and a multimodal fusion (MF) module with multi-head squeeze excitation are used. To compensate for texture loss in small vehicles at low resolution, a spatial attention module (SAM) is embedded into the YOLOv5 backbone, and a modified wide activation super-resolution (WDSR) branch is attached for learning finer-grained representations. Experiments on degraded images show that the proposed model outperforms the YOLO series and SuperYOLO in terms of mean average precision (mAP).

Versatile Video Coding (VVC) promised to provide the same video quality as HEVC with 50 % bitrate reduction, which was introduced in 2020. Our suggested method for VVC Intra-coding is residue super-resolution convolutional neural network (RSR-CNN) utilizing downsampling and upsampling procedures. We present an effective complexity reduced VVC intra-coding scheme based on residue SR-CNN. Reducing an original video's resolution in both the vertical and horizontal directions is all that is required to execute down sampling. Increasing the video dimensions for improved visual quality, convolutional neural networks are utilized in the upsampling process to create residue super-resolution. Specifically, for every block, we train a CNN model to perform residue SR after downsampling and compressing the residue at low resolution, and then we carry out motion estimation (ME) and motion compensation (MC) to extract the residue. Using the MC prediction signal, a new residue SR-CNN is designed. Additionally, this work comprehensively examines the complexity and performance of VVC intra-coding tools and integrates them with the residue SR-CNN method. The experiments demonstrate a substantial time savings of 40 % in encoding with BDBR coding gains of 4.2 %, and 2.9 % in AI and RA configurations respectively.

Radio maps are essential for electromagnetic spectrum awareness, supporting communication network optimization and spectrum management. However, existing methods often lack sufficient accuracy in complex propagation environments. To address this, we propose RMG-SRGAN, an improved radio map generation network based on an enhanced super-resolution generative adversarial network. The generator incorporates a Multi-scale Attention Aggregation (MAA) module that strengthens feature representation using multi-scale fusion and dual-path attention in spatial and channel dimensions. The discriminator includes a Feature Enhancement (FE) module to boost discriminative power through multi-stage feature processing.In our evaluation, we prioritize physical fidelity and structural reliability over generic perceptual metrics. Consequently, we employ Root Mean Square Error (RMSE) to quantify the precision of predicted signal strength and the F1-Score to assess the classification accuracy of coverage zones versus blind spots. Extensive experiments on the RadioMapSeer dataset demonstrate that RMG-SRGAN achieves state-of-the-art performance, securing the lowest RMSE and highest F1-Score compared to existing baselines.

기상과 기후는 인간의 생활과 밀접하게 연관되어 있다. 특히 고해상도 기상 데이터를 활용하여 정밀한 연구나 실생활에 유용한 서비스가 가능하므로, 고해상도 기상·기후 데이터를 생산해야할 필요성이 증가하고 있다. 기존의 고해 상도 기상 데이터는 적절한 보간법에 따라 데이터를 생산하지만, 본 논문에서는 SRCNN을 이용하여 기온 데이터를 초해상화 하는 방안을 제안한다. 기온 데이터 초해상화에 가장 적절한 SRCNN 모델을 구축하고, 기온 데이터를 초해상 화 한다. 결과 데이터를 평가하기 위해 역거리 가중법을 이용하여 비 관측 지점에 대한 기온을 구하고, 제안한 방법을 적용한 기온 데이터와 보간법을 이용한 기온 데이터를 비교한다. 비교 결과, 기온 데이터를 초해상화하기 위한 적절한 SRCNN 모델을 구축하였고, 제안한 방법이 보간법을 이용한 방법보다 약 10.8% 더 높은 예측 성능을 보였다.

Meteorology and climate are closely related to human life. By using high-resolution weather data, services that are useful for real-life are available, and the need to produce high-resolution weather data is increasing. We propose a method for super-resolution temperature data using SRCNN. To evaluate the super-resolution temperature data, the temperature for a non-observation point is obtained by using the inverse distance weighting method, and the super-resolution temperature data using interpolation is compared with the super-resolution temperature data using SRCNN. We construct an SRCNN model suitable for super-resolution of temperature data and perform super-resolution of temperature data. As a result, the prediction performance of the super-resolution temperature data using SRCNN was about 10.8% higher than that using interpolation.

Background: The morphological characteristics of sperm are essential for assessing sperm quality, which partially influences reproductive efficiency variables such as litter size in sows. Recently, deep-learning-based object detection algorithms have been explored to detect and classify sperm morphological features, with the training of these models requiring sperm microscopy image data. The performance of these models in detecting morphological features was significantly affected by the size of the dataset and the image quality of the images. Methods: This study proposed a deep-learning-based super-resolution (SR) algorithm to enhance the quality of sperm microscope images. The model was trained using a dataset consisting of high-resolution (HR) original and low-resolution (LR) images generated by downscaling the original images through bicubic interpolation. The SR results of the test dataset were compared with those of the original HR images to evaluate their performances using the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM). Statistical analyses were conducted to examine the performance differences based on the training models and dataset types. Results: This study indicated that the SR images showed no significant differences in PSNR (p = 0.9740) and SSIM (p = 0.9864) compared with the original HR images in same magnification. Moreover, increased processing speed was observed with reductions in model hyperparameters. While processing SR images improved spatial resolution across various microscopic magnifications, the overall image quality did not exceed that of the original HR images. Conclusions: SR models applied to sperm microscopy images outperformed conventional SR algorithms. These findings suggest that SR algorithms hold promise for improving the quality of LR microscopic images in future deep-learning-based object-detection algorithms.

본 연구에서는 게임 동영상의 고화질 변환이 가능한 초해상화 알고리즘을 제시한다. 본 알고리즘은 오픈 소 스 형태의 GPU에서 제공하는 MMU에서 구현될 수 있도록 희소 행렬 연산을 이용해서 설게된다. 이를 위해 서 일반적인 영상 해상도 향상 방법인 이중 일차 및 이중 삼차 보간 법과 심층 학습에 기반한 초해상화 모 델에서 사용하는 컨볼루션 연산을 희소 행렬 연산으로 변환하는 방법을 제시한다. 이는 각 픽셀에 적용되는 필터를 행렬 곱 형태로 표현하고, 이 행렬을 희소 행렬로 표현함으로써 수행되는데, 이러한 과정을 통해서 연산의 효율성을 추구함으로써 안정적인 초해상화 알고리즘을 제공한다. 이러한 희소행렬 연산 형태로 표현 되는 초해상화 알고리즘은 기존의 라이브러리를 이용해서 구현된 초해상화 알고리즘과 유사한 PSNR과 FPS 를 보인다.

We present a super resolution algorithm that increases the resolution of game scenes. Since game scenes are required to be rendered in real time, rendering high-resolutional game scenes in real time is very challenging. Therefore, increasing the resolution of game scenes rendered in low resolution is very promising. In order to present a fast super resolution algorithm, we implement our super resolution algorithm using a sparse matrix operation that can be accelerated through a matrix multiplication unit (MMU). Since many open source GPUs present an acceleration environment, our MMU-based approach can be implemented in many open source GPUs. As a baseline of our approach, we present a sparse matrix multiplication formula of bilinear interpolation and bicubic interpolation. We furthermore present a sparse matrix multiplication form of a convolution operation, which is necessary for deep learning-based super resolution algorithms. The filters employed in the convolution operations are converted to a series of sparse matrices, which are multiplied to complete the deep learning-based super resolution model. We demonstrate the performance of our approach by measuring peak signal-to-noise ratio (PSNR) and mean opinion score (MOS) of the result images generated by our approach and by the existing methods.

The ASV-SR method introduces an innovative approach to single-image super-resolution (SISR) by integrating adaptive Stochastic Variation within a diffusion model. This combination effectively captures pixel interactions and various patterns, addressing long-range dependencies in images and overcoming the limitations of traditional deterministic SISR methods. Extensive evaluations on diverse image datasets, including PSNR, SSIM, and LPIPS metrics, reveal that the proposed model outperforms current state-of-the-art techniques. Additionally, the incorporation of a modified SWIN transformer (MST) enhances feature extraction, improving the model's adaptability and efficiency in tackling SISR challenges. This comprehensive approach underscores the significance of incorporating stochastic processes like stochastic variation to advance image super-resolution.

본 연구는 엉치엉덩관절의 불안정성에 초점을 맞춘 테이핑 방법이 요통에 도움이 될 수 있는 잠재 중 재 방법인지에 대해 고려해 보고자 한 사례연구이다. 해당 사례는 58세 과거 디스크탈출증 및 협착증으로 인 해 허리 수술 병력이 있는 남성이 지속적인 통증 감소를 위해 참여한 테이핑 교육 세션에서 나타난 주목할 만 한 결과를 사례로 정리하였다. 중재 방법으로 테잎을 엉치뼈 2~4사이에 가시결절로부터 양쪽으로 80%< 장력 으로 늘려 엉치엉덩관절을 지나게 붙이고 이후 끝 쪽은 양쪽 약 45° 방향으로 올려 중간볼기근(gluteus medius m.) 쪽으로 향하게 붙였다. 그 다음 엉덩뼈능선(iliac crest)로부터 척추기립근을 따라 10번째 갈비뼈 수준까지 이르는 양쪽 테이핑 방법이 적용되었다. 해당 중재를 통해 VAS와 ODI 두 검사도구로부터 VAS는 5 에서 0, 장애지수는 13에서 0으로 각각 기록되는 긍정적 사례 결과를 관찰할 수 있었다.

This is a case study that sought to consider whether taping, which focuses on instability of the sacroiliac joint, is a potential intervention method that may be helpful for low back pain. In the case of a 58-year-old participant, we summarized the notable results from a taping training session that a man with a history of back surgery due to disc herniation and stenosis participated in to reduce ongoing pain. As an intervention method, tape was applied between the 2nd and 4th sacrum on both sides from the spinous tuberosity. It was stretched to a tension of 80% and attached past the sacroiliac joint, and then the ends were raised at about 45° on both sides and attached toward the gluteus medius muscle. Then, along the erector spinae muscle from the iliac crest. Bilateral taping up to the level of the 10th rib was applied. Through this intervention, positive case results were observed from both VAS and ODI test tools, with VAS recorded as 5 to 0 and disability index recorded as 13 to 0, respectively.

본 논문에서는 단일 영상을 기반으로 초해상도를 생성하는 과정에서 계층 구조를 거쳐 추출된 보조 경계 특징을 이용한 방법을 제안하였다. 초해상도의 품질을 향상시키기 위해서는 영상 내 경계 영역을 선명하게 표현하 면서도 각 영역의 형태를 명확하게 구분하여야 한다. 제안하는 방법은 초해상도 과정에서 품질을 결정하는 중요한 요인인 경계 영역을 입력 영상의 구조적 형태를 유지하면서 개선된 초해상도 결과를 생성하기 위해 딥러닝 기반의 초해상도 방법에서 영상의 경계 영역 정보를 보조적으로 활용하는 구조를 사용하였다. 딥러닝 기반의 초해상도를 수행하기 위한 그룹 컨볼루션 구조에 더해 보조 경계 추출을 위한 고주파 대역의 정보를 기반으로 별도의 계층적 구조의 경계 누적 추출 과정을 수행하여 이를 보조 특징으로써 활용하는 방법을 제안하였다. 실험 결과 기존 초해 상도 대비 PSNR과 SSIM에서 약 1%의 성능 향상을 보였다.

In this paper, we proposed a method using sub-edge information extracted through a hierarchical structure in the process of generating super resolution based on a single image. In order to improve the quality of super resolution, it is necessary to clearly distinguish the shape of each area while clearly expressing the boundary area in the image. The proposed method assists edge information of the image in deep learning based super resolution method to create an improved super resolution result while maintaining the structural shape of the boundary region, which is an important factor determining the quality in the super resolution process. In addition to the group convolution structure for performing deep learning based super resolution, a separate hierarchical edge accumulation extraction process based on high-frequency band information for sub-edge extraction is proposed, and a method of using it as an auxiliary feature is proposed. Experimental results showed about 1% performance improvement in PSNR and SSIM compared to the existing super resolution.