Earticle

현재 위치 Home

사전학습 언어모델의 기술 분석 연구
A Study on the Approaches of the Pre-trained Language Model

첫 페이지 보기
  • 발행기관
    국제언어인문학회 바로가기
  • 간행물
    인문언어 KCI 등재 바로가기
  • 통권
    제22권 1호 (2020.06)바로가기
  • 페이지
    pp.111-133
  • 저자
    지인영, 김희동
  • 언어
    한국어(KOR)
  • URL
    https://www.earticle.net/Article/A378538

※ 기관로그인 시 무료 이용이 가능합니다.

6,000원

원문정보

초록

영어
The pre-training language model, BERT has achieved a great success in natural language processing by transferring knowledge from rich-resource pre-training task to the low-resource downstream tasks. The model was recognized as a breakthrough or an innovative technology that changed the paradigm of natural language processing. In this paper, a number of studies have been analyzed to classify and compare the research directions. We examined a technical challenges after BERT. In the pre-training process, self-supervised learning is performed, which relies entirely on training data. If we introduce the linguistic knowledge in the course of the training, it would be possible to get better result more effectively. Therefore, it is necessary to develop a method to insert external knowledge such as linguistic information in the training process. The mask language model and the next sentence prediction are being used in BERT's pre-training tasks. Though, to get much deeper understanding of the natural language, some other effective methods are to be studied and developed. Lastly, we should aim to develop eXplainable Artificial Intelligence (XAI) technology in natural language processing, helping us look into the transparent processing. The pre-trained language model focuses on the development of skills that can be used for all the tasks of natural language understanding. A lot of researches are focused on how to adapt language model effectively to downstream tasks based on common language models, even with the case with little data. It is also hoped that the technical analysis reviewed in this study will provide linguists and computer researchers with an opportunity to understand recent technological achievements in the field of natural language processing and to seek joint research.

목차

1. 서론
2. 언어모델의 종류
2.1 언어모델의 확률표현
2.2 통계적 N-gram 모델
2.3 단어의 분산표현(Distributive Representation) 언어모델
2.4 부호기 복호기(Encoder-Decoder) 방식의 언어 모델
2.5 주의 기구(Attention Mechanism)를 이용한 모델
3. 전이 학습(Transfer Learning)과 사전 학습(Pre-trained Learning)
3.1 전이 학습 (Transfer Learning)
3.2 자기지도 학습(self-supervised learning)
3.3 사전학습 언어모델
4. 사전학습 언어모델의 응용과 기술 분석
4.1 연구 동향
4.2 사전학습 언어모델에 대한 연구과제
5. 결론
인용문헌
[Abstract]

키워드

pre-trained language model fine-tuning attention self-supervised learning BERT

저자

  • 지인영 [ In-Youn Jhee | 한국체육대학교 교양교직학부, 교수 ] 제1저자
  • 김희동 [ Hee-Dong Kim | 한국외국어대학교 공과대학 정보통신공학과, 교수 ] 교신저자

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    국제언어인문학회 [INTERNATIONAL ASSOCIATION FOR HUMANISTIC STUDIES IN LANGUAGE]
  • 설립연도
    2000
  • 분야
    인문학>언어학
  • 소개
    국제언어인문학회는 '언어를 통한 인문학 연구'의 필요성에 동감하는 여러 전공분야 학자들의 뜻을 담고 있습니다. 언어에 초점을 맞추는 것은, 다양한 전공분야의 참여에서 생겨날 수 있는 '이질적 집합'의 상황을 극복하기 위한 장치입니다. 현재로서는 작은 불씨를 지핀 것에 불과합니다. 그러나 이렇게 일구어진 불꽃이 새로운 학풍의 바람결에 커다란 섬광으로 빛나게 될 날이 올 것을 우리는 확신합니다. 우리의 학회와 학술지는 인문학 불변의 가치와 시대적 사명을 인식하는 국내외의 학자들을 향해 활짝 개방되어 있습니다. 특정 전공의 범위를 넘어서서 철학, 문학, 언어학, 종교, 역사, 문화, 예술 등의 시각에서 언어의 본질을 토론할 기회가 될 것입니다.

간행물

  • 간행물명
    인문언어 [LINGUA HUMANITATIS]
  • 간기
    반년간
  • pISSN
    1598-2130
  • 수록기간
    2000~2026
  • 등재여부
    KCI 등재
  • 십진분류
    KDC 705 DDC 405

이 권호 내 다른 논문 / 인문언어 제22권 1호

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.