Earticle

초록

영어

We present a super resolution algorithm that increases the resolution of game scenes. Since game scenes are required to be rendered in real time, rendering high-resolutional game scenes in real time is very challenging. Therefore, increasing the resolution of game scenes rendered in low resolution is very promising. In order to present a fast super resolution algorithm, we implement our super resolution algorithm using a sparse matrix operation that can be accelerated through a matrix multiplication unit (MMU). Since many open source GPUs present an acceleration environment, our MMU-based approach can be implemented in many open source GPUs. As a baseline of our approach, we present a sparse matrix multiplication formula of bilinear interpolation and bicubic interpolation. We furthermore present a sparse matrix multiplication form of a convolution operation, which is necessary for deep learning-based super resolution algorithms. The filters employed in the convolution operations are converted to a series of sparse matrices, which are multiplied to complete the deep learning-based super resolution model. We demonstrate the performance of our approach by measuring peak signal-to-noise ratio (PSNR) and mean opinion score (MOS) of the result images generated by our approach and by the existing methods.

한국어

본 연구에서는 게임 동영상의 고화질 변환이 가능한 초해상화 알고리즘을 제시한다. 본 알고리즘은 오픈 소 스 형태의 GPU에서 제공하는 MMU에서 구현될 수 있도록 희소 행렬 연산을 이용해서 설게된다. 이를 위해 서 일반적인 영상 해상도 향상 방법인 이중 일차 및 이중 삼차 보간 법과 심층 학습에 기반한 초해상화 모 델에서 사용하는 컨볼루션 연산을 희소 행렬 연산으로 변환하는 방법을 제시한다. 이는 각 픽셀에 적용되는 필터를 행렬 곱 형태로 표현하고, 이 행렬을 희소 행렬로 표현함으로써 수행되는데, 이러한 과정을 통해서 연산의 효율성을 추구함으로써 안정적인 초해상화 알고리즘을 제공한다. 이러한 희소행렬 연산 형태로 표현 되는 초해상화 알고리즘은 기존의 라이브러리를 이용해서 구현된 초해상화 알고리즘과 유사한 PSNR과 FPS 를 보인다.

목차

ABSTRACT
1. Introduction
2. Related Works
3. The direction of research direction
3.1 convolution operation by matrix product
3.2 A sparse matrix expression in convolution
4. Extracting and transforming sparse matrices
4.1 Sparse matrix transformation
4.2 matrix multiplication of sparse matrices
5. Result
5.1 Comparison of results and images
5.2 Calculation time comparison
5.3 Mos test results
6. Conclusion
Acknowledgement
Reference
국문초록

키워드

저자

• Hyoung Bum KIM [ 김형범 | Dept. of Computer Science, Sangmyung Univ. ]
• Kyung Ha MIN [ Dept. of Computer Science, Sangmyung Univ. ] Corresponding Author
• Hee Kyung YANG [ Dept. of Computer Science, Sangmyung Univ. ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  컴퓨터게임및콘텐츠논문지(구 한국컴퓨터게임학회논문지) [Journal of Computer Games and Contents]

• 간기

  월간

• pISSN

  3091-7409

• eISSN

  3092-3638

• 수록기간

  2002~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 691 DDC 793