Earticle

초록

영어

Recently, the artificial intelligence deep learning field has been hard to commercialize due to the high computing power and the price problem of computing resources. In this paper, we apply a double pruning techniques to evaluate the performance of the in-depth neural network and various datasets. Double pruning combines basic Network-slimming and Parameter-prunning. Our proposed technique has the advantage of reducing the parameters that are not important to the existing learning and improving the speed without compromising the learning accuracy. After training various datasets, the pruning ratio was increased to reduce the size of the model.We confirmed that MobileNet-V3 showed the highest performance as a result of NetScore performance analysis. We confirmed that the performance after pruning was the highest in MobileNet-V3 consisting of depthwise seperable convolution neural networks in the Cifar 10 dataset, and VGGNet and ResNet in traditional convolutional neural networks also increased significantly.

한국어

최근 인공지능 딥러닝 분야는 컴퓨팅 자원의 높은 연산량과 가격문제로 인해 상용화에 어려움이 존재했다. 본 논문은 더블 프루닝 기법을 적용하여 심층신경망 모델들과 다수의 데이터셋에서의 성능을 평가하고자 한다. 더 블 프루닝은 기본의 네트워크 간소화(Network-Slimming)과 파라미터 프루닝(Parameter-Pruning)을 결합한다. 이는 기존의 학습에 중요하지 않는 매개변수를 절감하여 학습 정확도를 저해하지 않고 속도를 향상시킬 수 있다는 장점이 있다. 다양한 데이터셋 학습 이후에 프루닝 비율을 증가시켜, 모델의 사이즈를 감소시켰다. NetScore 성능 분석 결과 MobileNet-V3가 가장 성능이 높게 나타났다. 프루닝 이후의 성능은 Cifar 10 데이터셋에서 깊이 우선 합성곱 신경망으로 구성된 MobileNet-V3이 가장 성능이 높았고, 전통적인 합성곱 신경망으로 이루어진 VGGNet, ResNet또한 높은 폭으로 성능이 증가함을 확인하였다.

목차

요약
Abstract
1. 서론
2. 관련연구
2.1 경량 딥러닝 모델
2.2 프루닝 기법
3. 실험 데이터 및 제안하는 방법
3.1 실험데이터
3.2 적용 딥러닝 모델
3.3 하이퍼 파라미터(Hyper Parameter)
3.4 프루닝(Pruning)
4. 실험 결과
4.1 모델별 성능 평가방법
4.2 매개변수 프루닝만 했을 경우
4.3 네트워크 간소화만 했을 경우
4.4 매개변수 프루닝과 네트워크 간소화 기법을 함께 적용하였을 경우
5. 결론
REFERENCES

키워드

저자

• 이선우 [ Seon-Woo Lee | 인하대학교 전기컴퓨터공학과 학생 ]
• 양호준 [ Ho-Jun Yang | 인하대학교 컴퓨터공학과 학생 ]
• 오승연 [ Seung-Yeon Oh | 인하대학교 컴퓨터공학과 학생 ]
• 이문형 [ Mun-Hyung Lee | 인하대학교 컴퓨터공학과 학생 ]
• 권장우 [ Jang-Woo Kwon | 인하대학교 컴퓨터공학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  융합정보논문지(구 중소기업융합학회논문지) [Journal of Convergence for Information Technology]

• 간기

  월간

• pISSN

  2586-1816

• eISSN

  2586-4440

• 수록기간

  2011~2022

• 십진분류

  KDC 004 DDC 004