Earticle

초록

영어

Recent deep learning-based research shows excellent performance in most natural language processing (NLP) fields with pre-trained language models. In particular, the auto-encoder-based language model proves its excellent performance and usefulness in various fields of Korean language understanding. However, the decoder-based Korean generative model even suffers from generating simple sentences. Also, there is few detailed research and data for the field of conversation where generative models are most commonly utilized. Therefore, this paper constructs multi-turn dialogue data for a Korean generative model. In addition, we compare and analyze the performance by improving the dialogue ability of the generative model through transfer learning. In addition, we propose a method of supplementing the insufficient dialogue generation ability of the model by extracting recommended response candidates from external knowledge information through a retrival model.

한국어

최근 딥러닝 기반의 자연어처리 연구는 사전 훈련된 언어 모델을 통해 대부분의 자연어처리 분야에서 우수한 성능을 보인다. 특히 오토인코더 (auto-encoder) 기반의 언어 모델은 다양한 한국어 이해 분야에서 뛰어난 성능과 쓰임을 증명하고 있다. 그러나 여전히 디코더 (decoder) 기반의 한국어 생성 모델은 간단한 문장 생성 과제에도 어려움을 겪고 있으며, 생성 모델이 가장 일반적으로 쓰이는 대화 분야에서의 세부 연구와 학습 가능한 데이터가 부족한 상황이다. 따라서 본 논문은 한국어 생성 모델을 위한 멀티턴 대화 데이터를 구축하고 전이 학습을 통해 생성 모델의 대화 능력을 개선하여 성능을 비교 분석한다. 또한, 검색 모델을 통해 외부 지식 정보에서 추천 응답 후보군을 추출하여 모델의 부족한 대화 생성 능력을 보완하는 방법을 제안한다.

목차

요약
Abstract
1. 서론
2. 한국어 멀티턴 대화 데이터 구축
3. 검색 모델을 활용한 응답 생성
3.1 BM25
3.2 Poly-encoder
3.3 검색 모델 비교
4. 한국어 기반의 생성 모델 비교 실험
4.1 실험 환경
4.2 모델 훈련
4.3 대화 생성
4.4 양적 평가
4.5 사례 연구
5. 결론
REFERENCES

키워드

저자

• 이호동 [ Hodong Lee | 삼성 에스디에스 주식회사 소프트웨어 엔지니어 ]
• 이종민 [ Jongmin Lee | 삼성 에스디에스 주식회사 소프트웨어 아키텍트 ]
• 서재형 [ Jaehyung Seo | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 장윤나 [ Yoonna Jang | 고려대학교 컴퓨터학과 석·박사통합과정 ]
• 임희석 [ Heuiseok Lim | 고려대학교 컴퓨터학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국융합학회논문지 [Journal of the Korea Convergence Society]

• 간기

  월간

• pISSN

  2233-4890

• 수록기간

  2010~2022

• 십진분류

  KDC 530 DDC 620