Earticle

초록

한국어

대학수학능력시험 국어 과목에서 중요한 비중을 차지하는 독서 영역의 주된 교육 목표는 주어진 지문을 온전히 이해할 수 있는가를 평가하는 데에 있다. 따라서 해당 지문에 포함된 질의를 주어진 지문만으로 풀이할 수 있는지는 해당 영역의 교육 목표와 관련이 깊다. 본 연구에서는 처음으로, 교육학 분야와 딥러닝을 접목하여 이러한 교육 목표가 실제로도 타당하게 실현 가능한지를 입증하고자 한다. 대학수학능력시험의 독서 영역의 개별 지문과 그에 수반된 다수의 문장 쌍(sentence pair)을 정제하여 추출하고, 해당 문장 쌍을 주어진 지문에 비추어 적절하거나(T), 적절하지 않은지(F)를 판단하는 이진 분류 태스크(binary classification task)에 적용하여 평가 하고자 한다. 그 결과, F1 스코어 기준 59.2%의 human performance를 뛰어넘는 성능을 62.49%의 KoELECTRA를 비롯한 대부분의 언어 모델에서 확인할 수 있었으며, 또한 데이터 전처리 과정에 변화를 줌으로써 언어 모델의 구조적 한계를 극복할 수 있었다.

영어

The major educational goal of reading part, which occupies important portion in Korean language in Korean SAT, is to evaluated whether a given text can be fully understood. Therefore given questions in the exam must be able to solely solvable by given text. In this paper we developed a datatset based on Korean SAT’s reading part in order to evaluate whether a deep learning language model can classify if the given question is true or false, which is a binary classification task in NLP. In result, by applying language model solely according to the passages in the dataset, we were able to acquire better performance than 59.2% in F1 score for human performance in most of language models, that KoELECTRA scored 62.49% in our experiment. Also we proved that structural limit of language models can be eased by adjusting data preprocess.

목차

요약
Abstract
1. 서론
1.1 대학수학능력시험
1.2 언어 모델을 활용한 대학수학능력시험의 교육적목표 검증
2. 관련 연구
2.1 트랜스포머 기반 언어 모델의 도입
2.2 한국어 기반 사전 학습 언어 모델
2.3 교육 분야에서의 NLP 접목 사례
2.4 한국어 PLM 연구
2.5 데이터 증강 기법
3. 대학수학능력시험과 KSQA
3.1 대학수학능력시험의 데이터 추출
3.3 KSQA 데이터 전처리 과정
3.4 KSQA 언어 모델
4. 실험
4.1 KSQA 구성
4.2 평가 준거
4.3 실험 결과
5. 결론
REFERENCES

저자

• 이수민 [ Soomin Lee | 고려대학교 컴퓨터학과 석사과정 ]
• 김경민 [ Gyeongmin Kim | 고려대학교 컴퓨터학과 석박통합과정 ]
• 임희석 [ Heuiseok Lim | 고려대학교 컴퓨터학과 교수 ] Corresponding Author

참고문헌