Earticle

초록

영어

The construction of high-quality input features through effective segmentation is essential for increasing the sentence comprehension of a language model. Improving the quality of them directly affects the performance of the downstream task. This paper comparatively studies the segmentation that effectively reflects the linguistic characteristics of Korean regarding word and sentence classification. The segmentation types are defined in four categories: eojeol, morpheme, syllable and subchar, and pre-training is carried out using the RoBERTa model structure. By dividing tasks into a sentence group and a word group, we analyze the tendency within a group and the difference between the groups. By the model with subchar-level segmentation showing higher performance than other strategies by maximal NSMC: +0.62%, KorNLI: +2.38%, KorSTS: +2.41% in sentence classification, and the model with syllable-level showing higher performance at maximum NER: +0.7%, SRL: +0.61% in word classification, the experimental results confirm the effectiveness of those schemes.

한국어

효과적인 분절을 통한 양질의 입력 자질 구성은 언어모델의 문장 이해력을 향상하기 위한 필수적인 단계이다. 입력 자질의 품질 제고는 세부 태스크의 성능과 직결된다. 본 논문은 단어와 문장 분류 관점에서 한국어의 언어적 특징을 효과적으로 반영하는 분절 전략을 비교 연구한다. 분절 유형은 언어학적 단위에 따라 어절, 형태소, 음절, 자모 네 가지로 분류하며, RoBERTa 모델 구조를 활용하여 사전학습을 진행한다. 각 세부 태스크를 분류 단위에 따라 문장 분류 그룹과 단어 분류 그룹으로 구분 지어 실험함으로써, 그룹 내 경향성 및 그룹 간 차이에 대한 분석을 진행한다. 실험 결과에 따르면, 문장 분류에서는 자모 단위의 언어학적 분절 전략을 적용한 모델이 타 분절 전략 대비 최대 NSMC: +0.62%, KorNLI: +2.38%, KorSTS: +2.41% 높은 성능을, 단어 분류에서는 음절 단위의 분절 전략이 최대 NER: +0.7%, SRL: +0.61% 높은 성능을 보임으로써, 각 분류 그룹에서의 효과성을 보여준다.

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 한국어 분류를 위한 언어학적 분절 전략
3.1 언어학적 분절 기법
3.2 분절에 따른 단어 및 문장 분류에서의 효과성
4. 실험
4.1 데이터셋
4.2 실험 환경
4.3 실험 결과 분석
5. 결론
REFERENCES

키워드

언어학적 분절 문장 분류 단어 분류 토큰화 자연어 처리 사전학습 언어모델 Linguistic segmentation Sentence classification Word classification Tokenization Natural language processing Pre-trained language model

저자

• 김진성 [ Jin-Sung Kim | 고려대학교 컴퓨터학과 석사과정 ]
• 김경민 [ Gyeong-min Kim | 고려대학교 컴퓨터학과 석박사통합과정 ]
• 손준영 [ Jun-young Son | 고려대학교 컴퓨터학과 석박사통합과정 ]
• 박정배 [ Jeongbae Park | 고려대학교 Human-inspired AI연구소 연구교수 ]
• 임희석 [ Heui-seok Lim | 고려대학교 컴퓨터학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물