Earticle

In this paper, we propose a new coded computation scheme that can alleviate straggler effects in distributed computing. We consider data security and master’s privacy for matrix multiplication tasks. The proposed scheme, called fully private and secure coded matrix multiplication (FPSCMM), ensures data security and master’s privacy on two data matrices for multiplication tasks from colluding workers. We also show that the storage overhead at workers can be reduced by FPSCMM, since it is enough for workers to store the encoded matrices with sub-blocks. Lastly, we compare FPSCMM with the existing master’s privacy-preserving coded matrix multiplication schemes.

본 연구에서는 게임 동영상의 고화질 변환이 가능한 초해상화 알고리즘을 제시한다. 본 알고리즘은 오픈 소 스 형태의 GPU에서 제공하는 MMU에서 구현될 수 있도록 희소 행렬 연산을 이용해서 설게된다. 이를 위해 서 일반적인 영상 해상도 향상 방법인 이중 일차 및 이중 삼차 보간 법과 심층 학습에 기반한 초해상화 모 델에서 사용하는 컨볼루션 연산을 희소 행렬 연산으로 변환하는 방법을 제시한다. 이는 각 픽셀에 적용되는 필터를 행렬 곱 형태로 표현하고, 이 행렬을 희소 행렬로 표현함으로써 수행되는데, 이러한 과정을 통해서 연산의 효율성을 추구함으로써 안정적인 초해상화 알고리즘을 제공한다. 이러한 희소행렬 연산 형태로 표현 되는 초해상화 알고리즘은 기존의 라이브러리를 이용해서 구현된 초해상화 알고리즘과 유사한 PSNR과 FPS 를 보인다.

We present a super resolution algorithm that increases the resolution of game scenes. Since game scenes are required to be rendered in real time, rendering high-resolutional game scenes in real time is very challenging. Therefore, increasing the resolution of game scenes rendered in low resolution is very promising. In order to present a fast super resolution algorithm, we implement our super resolution algorithm using a sparse matrix operation that can be accelerated through a matrix multiplication unit (MMU). Since many open source GPUs present an acceleration environment, our MMU-based approach can be implemented in many open source GPUs. As a baseline of our approach, we present a sparse matrix multiplication formula of bilinear interpolation and bicubic interpolation. We furthermore present a sparse matrix multiplication form of a convolution operation, which is necessary for deep learning-based super resolution algorithms. The filters employed in the convolution operations are converted to a series of sparse matrices, which are multiplied to complete the deep learning-based super resolution model. We demonstrate the performance of our approach by measuring peak signal-to-noise ratio (PSNR) and mean opinion score (MOS) of the result images generated by our approach and by the existing methods.

OpenCL (Open Computing Language) is a heterogeneous programming framework for developing applications that executes across a range of device types made by different vendors[11] which efficiently maps to both heterogeneous and homogeneous, single or multiple device system consisting of CPUs, GPUs and others types of devices. OpenCL provides many benefits in the field of high-performance computing and one of the most important aspects is its portability. This paper presents a comparison of the performance of OpenCL executing a matrix multiplication over a manycore CPU and GPU with performance analysis. The analysis are carried out to understand manycore CPU and GPU performance characteristics. Such analysis approach can be further extended to include more system parameters and refined to fit the actual execution time of parallelized applications. The simulation uses Ubuntu 12.04 in a desktop with an Intel i7 960 processor and a graphic card Nvidia GeForce GTX 460.

본 논문에서는 제 7차 교과과정에 의하여 새로운 선택과목으로 선정된 이산수학의 효율적인 교수방안을 논의한다. 이를 위하여 이산수학의 가장 핵심적인 내용인 알고리즘의 개발 필요성 및 목적 등을 강조하기 위하여 행렬 곱셈에 관한 전통적인 방법의 문제점을 분석하며 또한 효율적인 행렬 곱셈 알고리즘을 분석한다.

As the development of computer science discrete mathematics has been developed accordingly. Discrete mathematics is one of the vital element for the development of the computer and IT technologies since it is the theoretical basis for these field of technologies. Currently, according the Seventh Curriculum Standards in Mathematics, high school students may participate in the class of discrete mathematics as one of their optional curriculum. However, discrete mathematics is a new to the most students in high school. Therefore, the teaching methods for the class of discrete mathematics must be carefully designed so that students acknowledge the importance of this new subject. For this purpose, we first show that why the algorithm is needed and then analyze the problem involved in the method of the traditional matrix multiplications. Finally, we suggest two matrix multiplication algorithms which are more efficient than the traditional method.

GPU is the suitable equipment for accelerating computing-intensive applications in order to get the higher throughput for High Performance Computing (HPC). Sparse Matrix-Vector Multiplication (SpMV) is the core algorithm of HPC, so the SpMV’s throughput on GPU may affect the throughput on HPC platform. In the paper, we focus on the latency of reduction routine in SpMV included in CUSP, such as accessing shared memory and bank conflicting while multiple threads simultaneously accessing the same bank. We provide shuffle method to reduce the partial results instead of reducing in the shared memory in order to improve the throughput of SpMV on Kepler GPU. Experiments show that shuffle method can improve the throughput up to 9% of the original routine of SpMV in CUSP on average.

Matrix multiplication is an important problem in linear algebra. its main significance for combinatorial algorithms is its equivalence to a variety of other problems, such as transitive closure and reduction, solving linear systems, and matrix inversion. Thus the development of high-performance matrix multiplication implies faster algorithms for all of these problems. In this paper. we present a quantitative comparison of the theoretical and empirical performance of key matrix multiplication algorithms and use our analysis to develop a faster algorithm. We propose a Hybrid approach on Winograd's and Strassen's algorithms that improves the performance and discuss the performance of the hybrid Winograd-Strassen algorithm. Since Strassen's algorithm is based on a $2{\times}2$ matrix multiplication it makes the implementation very slow for larger matrix because of its recursive nature. Though we cannot get the theoretical threshold value of Strassen's algorithm, so we determine the threshold to optimize the use of Strassen's algorithm in nodes through various experiments and provided a summary shown in a table and graphs.

In this paper, we propose a new memristor-based crossbar array architecture, where a single memristor array and constant-term circuit are used to represent both plus-polarity and minus-polarity matrices. This is different from the previous crossbar array architecture which has two memristor arrays to represent plus-polarity and minus-polarity connection matrices, respectively. The proposed crossbar architecture is tested and verified to have the same performance with the previous crossbar architecture for applications of character recognition. For areal density, however, the proposed crossbar architecture is twice better than the previous architecture, because only single memristor array is used instead of two crossbar arrays. Moreover, the power consumption of the proposed architecture can be smaller by 48% than the previous one because the number of memristors in the proposed crossbar architecture is reduced to half compared to the previous crossbar architecture. From the high areal density and high energy efficiency, we can know that this newly proposed crossbar array architecture is very suitable to various applications of analog neuromorphic computing that demand high areal density and low energy consumption.

This paper mainly considers a tuple of multiplication operators on Bergman spaces over polydisks which essentially arise from a matrix, their joint reducing subspaces and associated von Neumann algebras. It is shown that there is an interesting link of the non-triviality for such von Neumann algebras with the determinant of the matrix. A complete characterization of their abelian property is given under a more general setting.

In vitro shoot regeneration of gladiolus in three different culture systems, viz., semi-solid agar (AS), membrane raft (MR), and duroplast foam liquid (DF) cultures was evaluated following the kinetics of shoot multiplication and hyperhydricity at optimized growth regulator combinations. Compared to the AS system, matrixsupported liquid cultures enhanced shoot multiplication. The peak of shoot multiplication rate was attained at 18 days of incubation in the MR and DF systems, whereas the maximum rate in the AS system was attained at 21 days. An early decline in acceleration trend was observed in liquid cultures than the AS culture. The hyperhydric status of the regenerated shoots in the different culture systems was assessed in terms of stomatal attributes and antioxidative status. Stomatal behavior appeared to be normal in the AS and MR systems. However, structural anomaly of stomata such as large, round shaped guard cells with damage in bordering regions of stomatal pores was pronounced in the DF system along with a relatively higher $K^+$ ion concentration than in the AS and MR systems. Antioxidative status of regenerated shoots was comparable in the AS and MR systems, while a higher incidence of oxidative damages of lipid membrane as evidenced from malondialdehyde and ascorbate content was observed in the DF system. Higher oxidative stress in the DF system was also apparent by elevated activities of superoxide dismutase, ascorbate peroxidase, and catalase. Among the three culture systems, liquid culture with MR resulted in maximum shoot multiplication with little or no symptoms of hyperhydricity. Shoots in the DF system were more prone to hyperhydricity than those in the AS and MR systems. The use of matrix support such as membrane raft as an interface between liquid medium and propagating tissue could be an effective means for rapid and efficient mass propagation with little or no symptoms of hyperhydricity.

행렬 연산은 계산 과학을 사용하는 공학 물리, 화학, 생명 과학, 경제학 등에서 다양하게 사용되고 있으며 이 행렬은 크기가 크고 대부분의 원소가 0 값을 갖는 희소 행렬일 경우가 많다. 본 논문에서는 희소 행렬의 연산 중, 회로 설계 시 최적화 과정에 사용되는 연산에서 문제가 되는 희소 행렬 A 와 블록 대각 행렬 H에 대하여 AH$A^{T}$ 의 연산을 효율적으로 행하는 방법들을 검토하고 메모리 접근 횟수를 모델링하여 수행 속도와 메모리 사용량 면에서 비교한다.

희소 행렬은 대부분의 요소가 0 인 행렬이다. 이러한 희소 행렬-행렬 곱셈을 수행할 경우 0 인 데이터 또한 곱셈을 수행하니 불필요한 연산이 발생한다. 이러한 문제를 해결하고자 행렬 압축 알고리즘 또는 곱셈의 부분합의 수를 줄이는 연구들이 활발히 진행 중이다. 하지만 현재의 연구들은 주로 단일 행렬 연산에 집중되어 있어 FPGA(Field Programmable Gate Array)와 특정 용도로 사용하는 가속기에서는 리소스를 충분히 활용하지 못해 비효율적이다. 본 연구는 FPGA 의 모든 리소스를 사용하여 다중 희소 행렬 곱셈을 수행하는 아키텍처를 제안한다.

행렬 곱셈은 과학 및 공학분야에 다양하게 응용되고 있다. 행렬 곱셈의 경우 지역성을 활용하면 수행 성능을 크게 개선할 수 있다. GPU가 장착된 PC에서 CPU의 컴퓨팅 능력과 GPU의 컴퓨팅 능력을 같이 활용하여 행렬 곱셈을 가속하는 방법을 제시하였다. 제안된 방법이 GPU만을 사용하는 것보다 약 15%~30%의 성능을 향상시켰다.

Matrix multiplication is widely used in scientific and engineering field. Locality can improve the execution performance of matrix multiplication. A method for accelerating matrix multiplication is presented. This method uses both CPU and GPU computing power in PC. The presented method improved execution time about %15~30% than the method which uses only GPU.

최근 항공우주 및 방위산업 분야에서 다양한 임베디드 시스템들의 소형화 및 저가화 개발이 많이 요구되고 있다. 본 논문에서는 고속 DSP를 이용하여 임베디드 시스템을 개발한다. 또한 비행 조종과 같은 고정밀 알고리즘의 연산시간을 줄이기 위해 행렬 곱을 위한 두 가지 알고리즘을 제안하고 구현한다. 개발한 임베디드 시스템을 이용하여 성능을 검증한 결과, $2{\times}2$ 단위 계산방법을 이용한 기존 방법과 성능을 비교했을 때 첫 번째 제안방법은 행렬의 사이즈가 작을 때 성능이 개선된다. 두 번째 제안방법은 $2{\times}2$ 단위 계산방법보다 전체적으로 성능이 우세하다.

In the recent aerospace and defence industries, it is required to develop small and low cost embedded systems. Based on a high speed digital signal processor (DSP), this paper first presents the development of an embedded system. To reduce the computation time of the high precision algorithm such as flight control, we also propose two algorithms for matrix multiplication. Validation results show that, compared to the performance using the $2{\times}2$ unit method, the performance of the proposed method 1 is improved, when the size of matrices is small. The proposed method 2 generally outperforms the $2{\times}2$ unit method.

행렬 곱셈은 과학 및 공학 분야에서 널리 사용되는 기본 연산이다. 딥러닝의 학습 알고리즘에도 행렬 곱셈이 많이 사용된다. 따라서 행렬 곱셈을 효과적으로 수행하기 위한 다양한 알고리즘들 개발하고 있다. 이중 행렬 곱셈의 연산량을 줄이는 방법으로 근사 행렬 곱셈 방법이 있다. 근사 행렬 곱셈은 행렬의 열과 행을 선택하기 위한 적절한 확률 분포를 결정하고, 이 분포에 따라 행렬의 열과 행을 선택하여 근사 행렬 곱셈을 수행한다. 기존의 방법들을 행렬 곱셈에 참여하는 두 개의 행렬 A, B를 모두 고려하여 확률 분포를 생성한다. 본 논문은 행렬 A만을 대상으로 근사 행렬 곱셈에 사용될 행렬의 열과 행을 선택하는 확률 분포를 생성하는 방법을 제안하였다. 기존의 방법들과 제안된 방법들을 사용하여 1000×1000, 2000×2000, 3000×3000, 4000×4000, 5000×5000 행렬에 대하여 근사 행렬 곱셈을 수행하였다. 기존의 방법보다 제안한 방법을 적용한 근사 행렬 곱셈이 평균 0.02%에서 2.34%까지 원래 행렬 곱셈 결과에 더 근접하는 결과를 보였다.

Matrix multiplication is a fundamental operation widely used in science and engineering. There is an approximate matrix multiplication method as a way to reduce the amount of computation of matrix multiplication. Approximate matrix multiplication determines an appropriate probability distribution for selecting columns and rows of matrices, and performs approximate matrix multiplication by selecting columns and rows of matrices according to this distribution. Probability distributions are generated by considering both matrices A and B participating in matrix multiplication. In this paper, we propose a method to generate a probability distribution that selects columns and rows of matrices to be used for approximate matrix multiplication, targeting only matrix A. Approximate matrix multiplication was performed on 1000×1000 ~ 5000×5000 matrices using existing and proposed methods. The approximate matrix multiplication applying the proposed method compared to the conventional method has been shown to be closer to the original matrix multiplication result, averaging 0.02% to 2.34%.

The acceleration of neural networks has become an important topic in the field of computer vision. An accelerator is absolutely necessary for accelerating the lightweight model. Most accelerator-supported operators focused on direct convolution operations. If the accelerator does not provide GEMM operation, it is mostly replaced by CPU operation. In this paper, we proposed an optimization technique for 2-stage tiling-based GEMM routines on VTA. We improved performance of the matrix multiplication routine by maximizing the reusability of the input matrix and optimizing the operation pipelining. In addition, we applied the proposed technique to the DarkNet framework to check the performance improvement of the matrix multiplication routine. The proposed GEMM method showed a performance improvement of more than 2.4 times compared to the non-optimized GEMM method. The inference performance of our DarkNet framework has also improved by at least 2.3 times.

본 논문에서는 모듈성과 확장성을 갖는 시스톨릭 어레이를 이용한 두 띠 행렬의 비트 연속 승산기 구현에 대하여 기술한다. 띠 폭이 3인 4$\times$4 띠 행렬이 주어질 때 워드 레블 승산기 설계를 위한 3차원 DG로부터 2차원 시스톨릭 어레이를 유도한 후, 워드 레블 PE를 비트 연속 승산기와 가산기를 이용하여 비트 레블 PE로 변환시켜 띠 행렬의 비트 레블 승산기를 설계한다. 구현된 워드 레블 승산기와 비트 레블 승산기는 RT 수준에서 VHDL로 모델링하여 동작을 검증하였다. 검증된 시스톨릭 어레이를 이용한 워드 레블 승산기와 비트 레블 승산기는 Hynix에서 제공하는 0.35$\mu\textrm{m}$ 셀 라이브러리를 사용하여 Synopsys design compiler로 합성되었다.

시스톨릭 어레이는 DNN training 등 인공지능 연산의 대부분을 차지하는 행렬 곱셈을 수행하기 위한 하드웨어 구조로 많이 사용되지만, sparsity 가 높은 행렬을 연산할 때 불필요한 동작으로 인해 효율성이 크게 떨어진다. 본 논문에서 제안된 유동적 시스톨릭 어레이는 matrix condensing, weight switching, 그리고 direct output path 의 방법과 구조를 통해 sparsity 가 높은 행렬 곱셈의 수행 사이클을 줄일 수 있다. 시뮬레이션을 통해 기존 시스톨릭 어레이와 유동적 시스톨릭 어레이의 성능을 비교하였으며 8×8, 16×16, 32×32 의 크기를 가진 행렬을 동일 크기의 시스톨릭 어레이로 연산하였을 때 필요 사이클 수를 최대 12 사이클 절감할 수 있는 것을 확인하였다.

APU(Accelerated Processing Unit)는 CPU와 GPU가 통합되어있는 프로세서이며 같은 메모리 공간을 사용한다. CPU와 GPU가 분리되어있는 기존 이종 컴퓨팅 환경에서는 GPU가 작업을 처리하기 위해 CPU에서 GPU로 메모리 복사가 이루어졌지만, APU는 같은 메모리 공간을 사용하므로 메모리 복사 없이 가상주소 할당으로 같은 물리 주소에 접근할 수 있으며 이를 Zero Copy라 한다. Zero Copy 성능을 테스트하기 위해 희소행렬 연산을 사용하였으며 기존 메모리 복사대비 크기가 큰 데이터는 약 4.67배, 크기가 작은 데이터는 약 6.27배 빨랐다.

랜덤워크 기반 노드 랭킹 방식 중 하나인 RWR(Random Walk with Restart) 기법은 희소행렬 벡터 곱셈 연산과 벡터 간의 합 연산을 반복적으로 수행하며, RWR 의 수행 시간은 희소행렬 벡터 곱셈 연산 방법에 큰 영향을 받는다. 본 논문에서는 CSR5(Compressed Sparse Row 5) 기반 희소행렬 벡터 곱셈 방식과 CSR-vector 기반 희소행렬 곱셈 방식을 채택한 GPU 기반 RWR 기법 간의 비교 실험을 수행한다. 실험을 통해 데이터 셋의 특징에 따른 RWR 의 성능 차이를 분석하고, 적합한 희소행렬 벡터 곱셈 방안 선택에 관한 가이드라인을 제안한다.