Earticle

초록

영어

It has been proven through many previous researches that the pretrained language model with a large corpus helps improve performance in various natural language processing tasks. However, there is a limit to building a large-capacity corpus for training in a language environment where resources are scarce. Using the Cross-lingual Post-Training (XPT) method, we analyze the method's efficiency in Korean, which is a low resource language. XPT selectively reuses the English pretrained language model parameters, which is a high resource and uses an adaptation layer to learn the relationship between the two languages. This confirmed that only a small amount of the target language dataset in the relationship extraction shows better performance than the target pretrained language model. In addition, we analyze the characteristics of each model on the Korean language model and the Korean multilingual model disclosed by domestic and foreign researchers and companies.

한국어

대용량의 코퍼스로 학습한 사전학습 언어모델이 다양한 자연어처리 태스크에서 성능 향상에 도움을 주는 것은 많은 연구를 통해 증명되었다. 하지만 자원이 부족한 언어 환경에서 사전학습 언어모델 학습을 위한 대용량의 코퍼스를 구축하는데는 한계가 있다. 이러한 한계를 극복할 수 있는 Cross-lingual Post-Training (XPT) 방법론을 사용하여 비교적 자원이 부족한 한국어에서 해당 방법론의 효율성을 분석한다. XPT 방법론은 자원이 풍부한 영어의 사전학습 언어모델의 파라미터를 필요에 따라 선택적으로 재활용하여 사용하며 두 언어 사이의 관계를 학습하기 위해 적응계층을 사용한다. 이를 통해 관계추출 태스크에서 적은 양의 목표 언어 데이터셋만으로도 원시언어의 사전학습 모델보다 우수한 성능을 보이는 것을 확인한다. 더불어, 국내외 학계와 기업에서 공개한 한국어 사전학습 언어모델 및 한국어 multilingual 사전학습 모델에 대한 조사를 통해 각 모델의 특징을 분석한다

목차

요약
Abstract
1. 서론
2. 한국어 PLM 연구
2.1 기업에서 공개한 한국어 PLM 연구
2.2 학계에서 공개한 한국어 PLM 연구
2.3 개인이 공개한 한국어 PLM 연구
3. Multilingual PLM
3.1 인코더(Encoder) 구조의 mPLM
3.2 디코더(Decoder) 구조의 mPLM
3.3 인코더-디코더 (Encoder-decoder) 구조의 mPLM
4. Cross-lingual Post-Training (XPT) 방법론
4.1 사전학습
4.2 미세조정
5. 실험 및 실험결과
5.1 데이터셋
5.2 모델
5.3 평가 지표
5.4 실험결과
6. 결론
REFERENCES

키워드

저자

• 손수현 [ Suhyune Son | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 박찬준 [ Chanjun Park | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 이정섭 [ Jungseob Lee | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 심미단 [ Midan Shim | 경희대학교 소프트웨어융합학과 학생 ]
• 이찬희 [ Chanhee Lee | 네이버 연구원 ]
• 박기남 [ Kinam Park | 고려대학교 Human-inspired AI 연구소 연구교수 ]
• 임희석 [ Heuiseok Lim | 고려대학교 컴퓨터학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국융합학회논문지 [Journal of the Korea Convergence Society]

• 간기

  월간

• pISSN

  2233-4890

• 수록기간

  2010~2022

• 십진분류

  KDC 530 DDC 620