Earticle

초록

영어

Neural machine translation using deep neural network has emerged as a mainstream research, and an abundance of investment and studies on model structure and parallel language pair have been actively undertaken for the best performance. However, most recent neural machine translation studies pass along decoding strategy to future work, and have insufficient a variety of experiments and specific analysis on it for generating language to maximize quality in the decoding process. In machine translation, decoding strategies optimize navigation paths in the process of generating translation sentences and performance improvement is possible without model modifications or data expansion. This paper compares and analyzes the significant effects of the decoding strategy from classical greedy decoding to the latest Dynamic Beam Allocation (DBA) in neural machine translation using a sequence to sequence model.

한국어

딥러닝 모델을 활용한 인공신경망 기계번역 (Neural machine translation)이 주류 분야로 떠오르면서 최고의 성능을 위해 모델과 데이터 언어 쌍에 대한 많은 투자와 연구가 활발하게 진행되고 있다. 그러나, 최근 대부 분의 인공신경망 기계번역 연구들은 번역 문장의 품질을 극대화하는 자연어 생성을 위한 디코딩 전략 (Decoding strategy)에 대해서는 미래 연구 과제로 남겨둔 채 다양한 실험과 구체적인 분석이 부족한 상황이다. 기계번역에서 디코딩 전략은 번역 문장을 생성하는 과정에서 탐색 경로를 최적화 하고, 모델 변경 및 데이터 확장 없이도 성능 개선이 가능하다. 본 논문은 시퀀스 투 시퀀스 (Sequence to Sequence) 모델을 활용한 신경망 기반의 기계번역 에서 고전적인 그리디 디코딩 (Greedy decoding)부터 최신의 방법론인 Dynamic Beam Allocation (DBA)까지 비교 분석하여 디코딩 전략의 효과와 그 의의를 밝힌다.

목차

요약
Abstract
1. 서론
2. 디코딩 전략 연구의 흐름
3. 인공신경망 기계번역에서 적용 가능한 디코딩 전략
3.1 Greedy Decoding
3.2 Beam Search
3.3 Single Queue Decoding (SQD)
3.4 N-Gram Penalty
3.5 Length Penalty
3.6 Top-k 및 Top-p 샘플링
3.7 Dynamic Beam Allocation
4. 실험 및 실험결과
4.1 데이터
4.2 모델
4.3 디코딩 전략 비교 후보군
4.4 실험 환경
4.5 실험 결과
5. 결론
REFERENCES

키워드

인공신경망 기계번역 디코딩 딥러닝 빔 서치 자연어 생성 언어융합 Neural machine translation Decoding Deep learning Beam search Natural language generation Language convergence

저자

• 서재형 [ Jaehyung Seo | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 박찬준 [ Chanjun Park | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 어수경 [ Sugyeong Eo | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 문현석 [ Hyeonseok Moon | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 임희석 [ Heuiseok Lim | 고려대학교 컴퓨터학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물