Earticle

Most vehicle detection methods have poor vehicle feature extraction performance at night, and their robustness is reduced; hence, this study proposes a night vehicle detection method based on style transfer image enhancement. First, a style transfer model is constructed using cycle generative adversarial networks (cycleGANs). The daytime data in the BDD100K dataset were converted into nighttime data to form a style dataset. The dataset was then divided using its labels. Finally, based on a YOLOv5s network, a nighttime vehicle image is detected for the reliable recognition of vehicle information in a complex environment. The experimental results of the proposed method based on the BDD100K dataset show that the transferred night vehicle images are clear and meet the requirements. The precision, recall, mAP@.5, and mAP@.5:.95 reached 0.696, 0.292, 0.761, and 0.454, respectively.

본 연구는 이미지 스타일 트랜스퍼 모델을 활용한 한글 글꼴 생성에 대한 연구이다. 인공지능 기술을 활용한 이미지 스타일 트랜스퍼(Image Style Transfer)는 콘텐츠(Content) 이미지와 스타일(Style) 이미지를 각각 모델에 입력하여 내용을 구성하는 이미지는 변하지 않고 스타일만 다양한 이미지로 적용 및 학습이 가능한 인공지능 기반 이미지 변환 및 생성 기술이다. 본 연구는 이러한 이미지 스타일 트랜스퍼 기술을 한글 글꼴 생성에 적용하여 시인 이육사의 친필 이미지를 바탕으로 새로운 글꼴을 생성하는 것을 목표로 진행되었다. 연구를 진행하기 위해서 기본적인 이미지 스타일 트랜스퍼 모델인 pix2pix 모델과 학습에 필요한 글꼴 데이터의 절대량이 부족한 경우 유용한 DM-Font 모델(Dual Memory-augmented Font Generation Network 모델)을 활용하였다. 본 논문은 DM-Font 모델을 사용하여 실제 남아있는 필체 데이터의 양이 매우 적은 이육사 시인의 친필 이미지를 학습시켜 최종적으로 목적글자 736자를 생성하기까지의 과정을 기술하였는데 이미지 데이터 전처리로부터 변환 이후의 후처리까지 전 과정의 자세한 기술과 함께 모델 적용 시 발생된 문제점과 향후 보완점에 대해 논하며 모델 활용 개선 방안을 제시하였다.

This study focuses on the generation of Korean fonts using an image style transfer model. Image Style Transfer using artificial intelligence technology is an artificial intelligence-based image conversion and generation technology that allows content and style images to be input into models, respectively, with the images that constitute the content remaining unchanged and with only style applicable to and learned in various images. This study aims to create a new font based on the image of Yook-sa Lee's handwriting by applying this image style transfer technology to the generation of Korean fonts. In order to proceed, the study utilizes a basic image style transfer model, in this case the pix2pix model, and a dual-memory-augmented font-generation network model, useful when the absolute amount of font data required for learning is insufficient. The stud uses the DM-Font model to learn the handwritten image of a poet with a very small amount of handwriting data and finally to generate 736 target letters. It discusses the problems and future complementary points of the model application.

신경망 기반 스타일 전이 기법은 영상의 고차원적 구조적 특징을 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 신경망 기반 스타일 전이의 GPU 메모리 제한에 따른 해상도 한계에 대한 문제를 다룬다. 신경망 출력이 가진 제한적 수용장 특징을 바탕으로, 부분 영상 기반의 스타일 전이 손실함수 경사도 연산이 전체 영상을 대상으로 구한 경사도 연산과 동일한 결과를 생성할 수 있을 것으로 기대할 수 있다. 이러한 아이디어를 기반으로, 본 논문에서는, 스타일 전이 손실함수의 각 구성 요소에 대한 경사도 연산 구조를 분석하고, 이를 통해 부분 영상의 생성 및 패딩에 대한 필요조건을 구하고, 전체 영상의 신경망 출력에 좌우되는 경사도 연산 요구 데이터를 확인하여 구조화함으로써 재귀적 초고해상도 스타일 전이 알고리즘을 개발하였다. 제안된 기법은, 사용하는 GPU 메모리가 처리할 수 있는 크기로 초고해상도 입력을 분할하여 스타일 전이를 수행함으로써, GPU 메모리 한계에 따른 해상도 제한을 받지 않으며, 초고해상도 스타일 전이에서만 감상할 수 있는 독특한 세부 영역의 전이 스타일 특징을 제공할 수 있다.

Style transfer based on neural network provides very high quality results by reflecting the high level structural characteristics of images, and thereby has recently attracted great attention. This paper deals with the problem of resolution limitation due to GPU memory in performing such neural style transfer. We can expect that the gradient operation for style transfer based on partial image, with the aid of the fixed size of receptive field, can produce the same result as the gradient operation using the entire image. Based on this idea, each component of the style transfer loss function is analyzed in this paper to obtain the necessary conditions for partitioning and padding, and to identify, among the information required for gradient calculation, the one that depends on the entire input. By structuring such information for using it as auxiliary constant input for partition-based gradient calculation, this paper develops a recursive algorithm for super high-resolution image style transfer. Since the proposed method performs style transfer by partitioning input image into the size that a GPU can handle, it can perform style transfer without the limit of the input image resolution accompanied by the GPU memory size. With the aid of such super high-resolution support, the proposed method can provide a unique style characteristics of detailed area which can only be appreciated in super high-resolution style transfer.

초해상화는 저해상도 영상을 고해상도로 변환하는 기술이며, 위성 영상에서 세부 객체를 정밀하게 분석하기 위해 고배율 복원이 점점 요구되고 있다. 본 연구는 8배 초해상화를 위해 GLEAN 기반 모델에 고주파 정보 보강 HFM 모듈을 추가하고, StyTr2 트랜스포머를 후처리로 적용하는 방법을 제안한다. 또한, MSE 손실과 소벨 엣지 기반 손실을 결합하여 픽셀 차이 최소화와 구조적 유사성 보존을 동시에 추구한다. 실험 결과, 제안 모델은 PSNR, SSIM, LPIPS 지표에서 기존 모델을 능가하였으며, 건물, 차량, 도로 표지 등 세부 객체의 선명도와 질감 복원에서 우수한 시각적 성능을 보였다.

Super-resolution enhances low-resolution images into high-resolution ones, crucial for detailed satellite imagery analysis. This study introduces an 8× super-resolution method, improving a GLEAN-based model with a High-Frequency Modulation (HFM) module and StyTr2 transformer post-processing. It uses MSE and Sobel edge-based loss to balance pixel accuracy and structural integrity. Experiments show the model outperforms others in PSNR, SSIM, and LPIPS, excelling in restoring fine details like buildings, vehicles, and road signs.

달 현지 탐사를 위해 무인 이동체가 활용되고 있으며, 달 지상 관심 지역의 지형 특성을 정확하게 파악하여 실시간으로 정보화 하는 작업이 요구된다. 하지만, 정확도 높은 지형/지물 객체 인식 및 영역 분할을 위해서는 다양한 배경조건의 영상 학습데이터가 필요하며 이러한 학습데이터를 구축하는 과정은 많은 인력과 시간이 요구된다. 특히 대상이 쉽게 접근하기 힘든 달이기에 실제 현지 영상의 확보 또한 한계가 있어, 사실에 기반하지만 유사도 높은 영상 데이터를 인위적으로 생성시킬 필요성이 대두된다. 본 연구에서는 가용한 중국의 달 탐사 Yutu 무인 이동체 및 미국의 Apollo 유인 착륙선에서 촬영한 영상을 통해 위치정보 기반 스타일 변환 기법(Style Transfer) 모델을 적용하여 실제 달 표면과 유사한 합성 영상을 인위적으로 생성하였다. 여기서, 유사 목적으로 활용될 수 있는 두 개의 공개 알고리즘(DPST, WCT2)를 구현하여 적용해 보았으며, 적용 결과를 시간적, 시각적 측면으로 비교하여 성능을 평가하였다. 평가 결과, 실험 이미지의 형태 정보를 보존하면서 시각적으로도 매우 사실적인 영상을 생성할 수 있음을 확인하였다. 향후 본 실험의 결과를 바탕으로 생성된 영상 데이터를 지형객체 자동 분류 및 인식을 위한 인공지능 학습용 영상 데이터로 추가 학습된다면 실제 달 표면 영상에서도 강인한 객체 인식 모델 구현이 가능할 것이라 판단된다.

The lunar exploration autonomous vehicle operates based on the lunar topography information obtained from real-time image characterization. For highly accurate topography characterization, a large number of training images with various background conditions are required. Since the real lunar topography images are difficult to obtain, it should be helpful to be able to generate mimic lunar image data artificially on the basis of the planetary analogs site images and real lunar images available. In this study, we aim to artificially create lunar topography images by using the location information-based style transfer algorithm known as Wavelet Correct Transform (WCT2). We conducted comparative experiments using lunar analog site images and real lunar topography images taken during China's and America's lunar-exploring projects (i.e., Chang'e and Apollo) to assess the efficacy of our suggested approach. The results show that the proposed techniques can create realistic images, which preserve the topography information of the analog site image while still showing the same condition as an image taken on lunar surface. The proposed algorithm also outperforms a conventional algorithm, Deep Photo Style Transfer (DPST) in terms of temporal and visual aspects. For future work, we intend to use the generated styled image data in combination with real image data for training lunar topography objects to be applied for topographic detection and segmentation. It is expected that this approach can significantly improve the performance of detection and segmentation models on real lunar topography images.