Earticle

초록

영어

In this paper, in order to obtain the optimization of the RNN model used for sentiment analysis, the correlation of each model was studied by observing the trend of loss and accuracy according to hyperparameter tuning. As a research method, after configuring the hidden layer with LSTM and the embedding layer that are most optimized to process sequential data, the loss and accuracy of each model were measured by tuning the unit, batch-size, and embedding size of the LSTM. As a result of the measurement, the loss was 41.9% and the accuracy was 11.4%, and the trend of the optimization model showed a consistently stable graph, confirming that the tuning of the hyperparameter had a profound effect on the model. In addition, it was confirmed that the decision of the embedding size among the three hyperparameters had the greatest influence on the model. In the future, this research will be continued, and research on an algorithm that allows the model to directly find the optimal hyperparameter will continue.

한국어

본 논문은 감성 분석에 사용되는 RNN 모델의 최적화를 얻기 위한 성능분석을 위하여 하이퍼파라미터 튜닝에 따른 손실과 정확도의 추이를 관찰하여 모델과의 상관관계를 연구하였다. 연구 방법으로는 시퀀셜데이터를 처리하는데 가 장 최적화된 LSTM과 Embedding layer로 히든레이어를 구성한 후, LSTM의 Unit과 Batch Size, Embedding Size를 튜닝하여 각각의 모델에 대한 손실과 정확도를 측정하였다. 측정 결과, 손실은 41.9%, 정확도는 11.4%의 차이를 나타내었 고, 최적화 모델의 변화추이는 지속적으로 안정적인 그래프를 보여 하이퍼파라미터의 튜닝이 모델에 지대한 영향을 미침을 확인하였다. 또한 3가지 하이퍼파라미터 중 Embedding Size의 결정이 모델에 가장 큰 영향을 미침을 확인하였다. 향후 이 연구를 지속적으로 이어나가 모델이 최적의 하이퍼파라미터를 직접 찾아낼 수 있는 알고리즘에 대한 연구를 지속적으로 이어나갈 것이다.

목차

요약
Abstract
1. 서론
2. 관련연구
2.1 SimpleRNN
2.2 LSTM
2.3 Embedding
2.4 RNN과 하이퍼파라미터
3. 하이퍼파라미터 튜닝에 따른 정확도와 손실률 실험 및 고찰
4. 결론
REFERENCES

키워드

순환신경망 단순 순환신경망 장.단기 기억레이어 임베딩레이어 하이퍼파라미터 감성분석 RNN SimpleRNN LSTM Layer Embedding Layer Hyper-parameter Sentiment Analysis

저자

• 김준용 [ Joon-Yong Kim | 서울신학대학교 IT융합소프트웨어학과 교수 ]
• 박구락 [ Koo-Rack Park | 공주대학교 컴퓨터공학부 교수 ] Corresponding author

참고문헌

발행기관

간행물