Earticle

초록

영어

Deep learning, which has excellent performance in various fields, can form deep network structure by increasing hidden layer of neural network. Thus, complex data can be easily classified, but the amount of learning computation and memory increases due to increase of the number of weights. Deep learning, which requires a lot of computation and memory, usually is trained on cloud environments. However, the cloud environment must be maintained in good communication state with user and have burden on service cost and risk of leakage of personal information. To solve this problem, deep learning needs to be learnt on the embedded device, and be light-weighting. Pruning and quantization methods are widely used for the light-weighting. Existing quantization methods usually use K-means, one of the unsupervised learning methods, in order to determine representative values of clustering weights. In the K-means method, the number of groups is set through trial-and-error method, which results in the computation overhead. To alleviate the overhead, we propose an instant weight quantization method using statistical information of weights Also, it can improve learning performance by quantizing sequentially with considering the dependency between layers in the network.

한국어

여러 분야에서 뛰어난 성능을 보이는 딥러닝은 뉴럴 네트워크의 은닉 계층을 늘려 깊은 네트 워크 구조를 형성할 수 있다. 이에 따라 복잡한 데이터를 쉽게 분류할 수 있으나, 가중치 수 증가로 인해 학습 연산량 및 메모리가 증가한다. 이처럼 많은 연산과 메모리가 필요한 딥러닝은 일반적으로 클라우드 상으로 학습하나, 클라우드는 사용자와의 통신상태가 원활해야 하며 서비스 비용에 대한 부 담감 및 개인정보 유출에 대한 위험성을 가진다. 이러한 문제를 해결하기 위해서 딥러닝을 임베디드 디바이스에 탑재해야 하며 온디바이스 탑재를 위한 네트워크 경량화가 필요하다. 경량화 기법으로는 프루닝 기법과 양자화 기법이 널리 사용되고 있으며 기존 양자화 기법은 비지도 학습 중 하나인 Kmeans를 사용하여 각 계층의 가중치들을 군집화하여 대푯값을 결정한다. K-means 기법에서 군집의 개수를 의미하는 K는 시행착오 방법을 통해 설정해야 하며 이에 따른 오버헤드가 발생한다. 또한, 기 존 양자화 기법은 네트워크 각 계층의 연결 관계를 무시한 채 독립적으로 양자화한다. 우리는 연산 오 버헤드 문제를 해결하기 위해 가중치들의 통계적 정보를 이용한 즉각적 가중치 양자화 기법을 제안하 고 네트워크 각 계층의 의존관계를 고려하여 순차 적으로 양자화함으로써 향상된 학습 성능을 보여준다.

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 딥러닝 기반의 순방향 전파형 가중치 양자화 기법
3.1 순방향 전파형 가중치 양자화 기법
3.2 가중치 통계정보를 이용한 즉각적 가중치 양자화
4. 실험 및 평가
4.1 실험 환경
4.2 실험 결과 분석
5. 결론
ACKNOWLEDGMENT
REFERENCES

키워드

저자

• 주우정 [ Woojeong Ju | 인하대학교 컴퓨터공학과 ]
• 강상길 [ Sanggil Kang | 인하대학교 컴퓨터공학과 ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  정보화연구 [정보화연구(구 정보기술아키텍처연구)]

• 간기

  계간

• pISSN

  1738-382X

• 수록기간

  2004~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 325 DDC 658