Earticle

현재 위치 Home

The Effect of Hyperparameter Choice on ReLU and SELU Activation Function

첫 페이지 보기
  • 발행기관
    국제인공지능학회(구 한국인터넷방송통신학회) 바로가기
  • 간행물
    The International Journal of Advanced Smart Convergence KCI 등재후보 바로가기
  • 통권
    Volume 6 Number 4 (2017.12)바로가기
  • 페이지
    pp.73-79
  • 저자
    Pratama Kevin, Dae-Ki Kang
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A332244

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
The Convolutional Neural Network (CNN) has shown an excellent performance in computer vision task. Applications of CNN include image classification, object detection in images, autonomous driving, etc. This paper will evaluate the performance of CNN model with ReLU and SELU as activation function. The evaluation will be performed on four different choices of hyperparameter which are initialization method, network configuration, optimization technique, and regularization. We did experiment on each choice of hyperparameter and show how it influences the network convergence and test accuracy. In this experiment, we also discover performance improvement when using SELU as activation function over ReLU.

목차

Abstract
 1. Introduction
 2. Activation function
 3. Experiments
  3.1 Initialization method
  3.2 Network configuration
  3.3 Optimization techniques
  3.4 Regularization
 4. Conclusion
 Acknowledgement
 References

키워드

Deep Learning Convolutional Neural Network Hyperparameter Activation Function ReLU SELU

저자

  • Pratama Kevin [ Department of Computer Engineering, Dongseo University, Busan, Korea ]
  • Dae-Ki Kang [ Department of Ubiquitous IT, Graduate School, Dongseo University, Busan, Korea ] Corresponding author

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    국제인공지능학회(구 한국인터넷방송통신학회) [The International Association for Artificial Intelligence]
  • 설립연도
    2000
  • 분야
    공학>전자/정보통신공학
  • 소개
    인터넷방송, 인터넷 TV , 방송 통신 네트워크 및 관련 분야에 대한 국내는 물론 국제적인 학술, 기술의 진흥발전에 공헌하고 지식 정보화 사회에 기여하고자 한다.

간행물

  • 간행물명
    The International Journal of Advanced Smart Convergence
  • 간기
    계간
  • pISSN
    2288-2847
  • eISSN
    2288-2855
  • 수록기간
    2012~2025
  • 십진분류
    KDC 326 DDC 380

이 권호 내 다른 논문 / The International Journal of Advanced Smart Convergence Volume 6 Number 4

    피인용수 : 0(자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      페이지 저장