Earticle

초록

한국어

본 논문에서는 추가적인 데이터의 수집 없이 STS(Semantic Textual Similarity) task에서 multiple loss와 label smoothing 기법을 활용하여 성능을 향상시키는 방법을 제안한다. 기존의 모델들은 3-way softmax loss또는 cosine-similarity with MSE loss를 활용하여 STS task에 대한 손실 함숫값으로 계산하기 때문에, 사전 훈련된 언어 모델의 Word Contextual Embedding Vector가 좋지 않은 방향으로 변할 수 있는 문제점이 있다. 따라서 softmax loss에 label Smoothing 기법을 활용하여 유사한 문장끼리 클러스터링이 되도록 학습을 하였으며, 사전 언어 모델 중의 하나인 GPT(Generative Pre-training)에서 사전 훈련을 할 때 이용했던 loss 계산 방식에서 아이디어를 얻어 새로운 loss를 제안하는 모델에 결합하여 활용하였다. 이 2가지 접근 방식은 fine-tuning시에 활용하여 성능을 향상시킨다. 사전 훈련에는 Multi-genre Natural Language Inference, Stanford Natural Language Inference 데이터를 이용하였으며, 모델을 평가하기 위한 데이터로는 Semantic Textual Similarity benchmark를 이용하였다. 평균적으로 1.24% 정도의 성능 향상을 보였으며, Spearman’s rank에서는 최대 4.67%, Pearson correlation coefficient에서는 최대 5.64%의 성능 향상을 보였다.

목차

Abstract
1. Introduction
2. Related Works
3. Model
3.1. Data Set
3.2. Training
4. Experiments
4.1 Label Smoothing Effect
4.2 Word Predict Loss Effect
4.3 CNN Network Effect
4.4 제안한 기법의 결과 비교
4.5 최종 성능 비교
5. Conclusions
Acknowledgement
References

저자

• JaeJin Seo [ Electrical and Computer Engineering Inha University Incheon, South Korea ]
• WonIk Choi [ Electrical and Computer Engineering Inha University Incheon, South Korea ] Corresponding author

참고문헌