Earticle

초록

영어

Deep Learning is based on a perceptron, and is currently being used in various fields such as image recognition, voice recognition, object detection, and drug development. Accordingly, a variety of learning algorithms have been proposed, and the number of neurons constituting a neural network varies greatly among researchers. This study analyzed the learning characteristics according to the number of neurons of the currently used SGD, momentum methods, AdaGrad, RMSProp, and Adam methods. To this end, a neural network was constructed with one input layer, three hidden layers, and one output layer. ReLU was applied to the activation function, cross entropy error (CEE) was applied to the loss function, and MNIST was used for the experimental dataset. As a result, it was concluded that the number of neurons 100-300, the algorithm Adam, and the number of learning (iteraction) 200 would be the most efficient in deep learning learning. This study will provide implications for the algorithm to be developed and the reference value of the number of neurons given new learning data in the future.

한국어

딥러닝(Deep Learning)은 퍼셉트론을 기반으로 하고 있으며 현재에는 이미지 인식, 음성 인식, 객체 검출 및 약물 개발 등과 같은 다양한 영역에서 사용되고 있다. 이에 따라 학습 알고리즘이 다양하게 제안되었고 신경망을 구성하 는 뉴런수도 연구자마다 많은 차이를 보이고 있다. 본 연구는 현재 대표적으로 사용되고 있는 확률적 경사하강법(SGD), 모멘텀법(Momentum), AdaGrad, RMSProp 및 Adam법의 뉴런수에 따른 학습 특성을 분석하였다. 이를 위하여 1개 의 입력층, 3개의 은닉층, 1개의 출력층으로 신경망을 구성하였고 활성화함수는 ReLU, 손실 함수는 교차 엔트로피 오 차(CEE)를 적용하였고 실험 데이터셋은 MNIST를 사용하였다. 그 결과 뉴런수는 100~300개, 알고리즘은 Adam, 학습 횟수(iteraction)는 200회가 딥러닝 학습에서 가장 효율적일 것으로 결론을 내렸다. 이러한 연구는 향후 새로운 학습 데이터가 주어졌을 경우 개발될 알고리즘과 뉴런수의 기준치에 함의를 제공할 것이다.

목차

요약
Abstract
1. 서론
2. 이론적 배경
2.1 신경망 구조
2.2 신경망 학습 옵티마이저(optimizer)
3. 실험 결과
3.1 Learning Time for Each Algorithm
3.2 Convergence of Loss Function according to The Number of Neurons
3.3 Convergence of Loss Function according to Algorithms
4. 논의 및 결론
REFERENCES

키워드

딥러닝 확률적 경사하강법 모멘텀법 AdaGrad RMSProp Adam Deep Learning Stochastic Gradient Descent Momentum AdaGrad RMSProp Adam

저자

• 장하영 [ Ha-Young Jang | 군산대학교 컴퓨터공학과 박사 ]
• 유은경 [ Eun-Kyung You | 공군 항공소프트웨어지원소 상사 ]
• 김혁진 [ Hyeock-Jin Kim | 청운대학교 컴퓨터공학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물