년 - 년
한국어 문서 검색에서 키워드 기반 검색과 의미 기반 검색의 성능 비교 연구 KCI 등재후보
한국융합학회 미래기술융합논문지 제5권 제2호 2026.04 pp.1-6
※ 기관로그인 시 무료 이용이 가능합니다.
4,000원
본 연구는 한국어의 교착어적 특성과 형태소 분석의 복잡성을 고려하여, 영어 중심으로 발전한 밀집 검색(Dense Retrieval) 방식이 한국어 문서 검색 환경에서도 유효한지 실증적으로 검증하였다. 이를 위해 KLUE-MRC 벤치마크 데이터셋(질의 5,841건, 문서 15,797건)을 활용하여 전통적인 키워드 기반 방식인 BM25와 의미 기반인 Ko-SRoBERTa, KoE5, 그리고 이들을 결합한 하이브리드 방식의 성능을 다각도로 평가하였다. 실험 결과, KoE5 기반 밀집 검색이 nDCG@10 기준 0.718로 우수한 성능을 기록하며 BM25(0.567) 대비 약 15%p의 성능 우위를 보였다. 그리고 KLUE-MRC 학습 데이터를 활용한 KoE5 파인튜닝을 통해 nDCG@10 기준 0.739로 성능이 더욱 향상됨을 확인하였다. 반면, Ko-SRoBERTa는 BM25보다 낮은 성능을 기록하여 밀집 검색 모델이라 할지라도 모델의 품질과 학습 목적에 따라 성능 역전이 발생할 수 있음을 확인하였다. 한편, 하이브리드 방식은 Recall@10(0.841)에서 최고치를 달성하며 두 방식의 상호보완적 가능성을 입증하였다. 본 연구의 결과는 향후 한국어 검색 시스템 구축 시 단순한 방법론 채택보다 도메인 특성 및 응용 목적에 최적화된 모델 선택이 필수적임을 시사한다.
This study aims to empirically examine whether Dense Retrieval methods, primarily developed in English-centric research environments, are effective for Korean document retrieval, considering the agglutinative nature of the language and the complexity of morphological analysis. Using the KLUE-MRC benchmark dataset (5,841 queries and 15,797 documents), we evaluated BM25, Ko-SRoBERTa, KoE5, a fine-tuned KoE5, and a hybrid approach (combining BM25 and KoE5) based on Recall@5/10, MRR@10, and nDCG@10 metrics. The experimental results show that KoE5-based Dense Retrieval achieved an nDCG@10 score of 0.718, outperforming the traditional BM25 (0.567) by approximately 15 percentage points. Furthermore, fine-tuning KoE5 on the KLUE-MRC training set further improved performance to an nDCG@10 score of 0.739. In contrast, Ko-SRoBERTa performed worse than BM25, confirming that retrieval performance can vary significantly depending on model quality and training objectives, even within the Dense Retrieval paradigm. The hybrid method achieved the best Recall@10 (0.841), demonstrating the complementary potential of combining lexical and semantic search. These findings suggest that, when constructing Korean document retrieval systems, selecting optimized models according to domain characteristics and application goals is more critical than merely choosing a retrieval paradigm.
대학수학능력시험 독서 영역의 교육 목표를 위한 자연어처리 기법을 통한 검증 KCI 등재
한국융합학회 한국융합학회논문지 제13권 제1호 2022.01 pp.81-88
※ 기관로그인 시 무료 이용이 가능합니다.
4,000원
대학수학능력시험 국어 과목에서 중요한 비중을 차지하는 독서 영역의 주된 교육 목표는 주어진 지문을 온전히 이해할 수 있는가를 평가하는 데에 있다. 따라서 해당 지문에 포함된 질의를 주어진 지문만으로 풀이할 수 있는지는 해당 영역의 교육 목표와 관련이 깊다. 본 연구에서는 처음으로, 교육학 분야와 딥러닝을 접목하여 이러한 교육 목표가 실제로도 타당하게 실현 가능한지를 입증하고자 한다. 대학수학능력시험의 독서 영역의 개별 지문과 그에 수반된 다수의 문장 쌍(sentence pair)을 정제하여 추출하고, 해당 문장 쌍을 주어진 지문에 비추어 적절하거나(T), 적절하지 않은지(F)를 판단하는 이진 분류 태스크(binary classification task)에 적용하여 평가 하고자 한다. 그 결과, F1 스코어 기준 59.2%의 human performance를 뛰어넘는 성능을 62.49%의 KoELECTRA를 비롯한 대부분의 언어 모델에서 확인할 수 있었으며, 또한 데이터 전처리 과정에 변화를 줌으로써 언어 모델의 구조적 한계를 극복할 수 있었다.
The major educational goal of reading part, which occupies important portion in Korean language in Korean SAT, is to evaluated whether a given text can be fully understood. Therefore given questions in the exam must be able to solely solvable by given text. In this paper we developed a datatset based on Korean SAT’s reading part in order to evaluate whether a deep learning language model can classify if the given question is true or false, which is a binary classification task in NLP. In result, by applying language model solely according to the passages in the dataset, we were able to acquire better performance than 59.2% in F1 score for human performance in most of language models, that KoELECTRA scored 62.49% in our experiment. Also we proved that structural limit of language models can be eased by adjusting data preprocess.
국제문화기술진흥원 International Journal of Advanced Culture Technology(IJACT) Volume 12 Number 4 2024.12 pp.408-417
※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.
Since the emergence of ChatGPT, transformer-based language models have become highly popular. This study utilizes a transformer-based approach to measure Korean sentence similarity for software testing. By doing so, we propose test cases using metamorphic relationships. The performance of the transformer models is then compared using similarity measures. First, we create a test set by transforming sentences from the Defense Daily according to specific rules. We then input these transformed sentences into the RoBERTa, Electra, and T5 models. We check whether the similarity measure between the original sentence and its variant satisfies the metamorphic relationship. The performance of each model is then compared using a similarity measure. In our experiments, the RoBERTa model satisfied metamorphic relations in MR5 and MR6, which involved transforming nouns and verbs into synonyms, and in MR7, which involved altering sentence order, with accuracy rates of 80%, 85%, and 88%, respectively. All tests passed except MR7 (77%) for the Electra model and MR1 (73%) for the T5 model. Finally, we compared the performance of each model. In the comparison, the Electra model outperformed the T5 model (99.96%) and the RoBERTa model (99.62%) with an accuracy of 99.97%.
기록관리 분야에서 한국어 자연어 처리 기술을 적용하기 위한 고려사항 KCI 등재
한국기록관리학회 한국기록관리학회지 제22권 제4호 2022.11 pp.129-149
※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.
기록물은 과거와 현재를 포함하는 시간적 특성, 특정 언어에 제한되지 않는 언어적 특성, 기록물이 갖고 있는 다양한 유형을 복합적으로 갖고 있다. 기록물의 생성, 보존, 활용에 이르는 생애주기에서 텍스트, 영상, 음성으로 구성된 데이터의 처리는 많은 노력과 비용을 수반한다. 기계번역, 문서요약, 개체명 인식, 이미지 인식 등 자연어 처리 분야의 주요 기술은 전자기록과 아날로그 형태의 디지털화에 광범위하게 적용할 수 있다. 특히, 딥러닝 기술이 적용된 한국어 자연어 처리 분야는 다양한 형식의 기록물을 인식하고, 기록관리 메타데이터를 생성하는데 효과적이다. 본 논문은 한국어 자연어 처리를 기술을 소개하고, 기록 관리 분야에서 자연어 처리 기술을 적용하기 위한 고려사항을 논의한다. 기계번역, 광학문자인식과 같은 자연어 처리 기술이 기록물의 디지털 변환에 적용되는 과정은 파이썬 환경에서 구현한 사례로 소개한다. 한편, 자연어 처리 기술의 활용을 위해 기록관리 분야에서 자연어 처리 기술을 적용하기 위한 환경적 요소와 기록물의 디지털화 지침을 개선하기 위한 방안을 제안한다.
Records have temporal characteristics, including the past and present; linguistic characteristics not limited to a specific language; and various types categorized in a complex way. Processing records such as text, video, and audio in the life cycle of records’ creation, preservation, and utilization entails exhaustive effort and cost. Primary natural language processing (NLP) technologies, such as machine translation, document summarization, named-entity recognition, and image recognition, can be widely applied to electronic records and analog digitization. In particular, Korean deep learning–based NLP technologies effectively recognize various record types and generate record management metadata. This paper provides an overview of Korean NLP technologies and discusses considerations for applying NLP technology in records management. The process of using NLP technologies, such as machine translation and optical character recognition for digital conversion of records, is introduced as an example implemented in the Python environment. In contrast, a plan to improve environmental factors and record digitization guidelines for applying NLP technology in the records management field is proposed for utilizing NLP technology.
[Kisti 연계] 한국컴퓨터정보학회 Journal of the Korea society of computer and information Vol.27 No.2 2022 pp.15-23
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
특허 분야에서 자연어처리(Natural Language Processing) 태스크는 특허문헌의 언어적 특이성으로 문제 해결의 난이도가 높은 과제임에 따라 한국 특허문헌에 최적화된 언어모델의 연구가 시급한 실정이다. 최근 자연어처리 분야에서는 특정 도메인에 특화되게 사전 학습(Pre-trained)한 언어모델을 구축하여 관련 분야의 다양한 태스크에서 성능을 향상시키려는 시도가 지속적으로 이루어지고 있다. 그 중, ELECTRA는 Google이 BERT 이후에 RTD(Replaced Token Detection)라는 새로운 방식을 제안하며 학습 효율성을 높인 사전학습 언어모델이다. 본 연구에서는 대량의 한국 특허문헌 데이터를 사전 학습한 KorPatELECTRA를 제안한다. 또한, 특허 문헌의 특성에 맞게 학습 코퍼스를 정제하고 특허 사용자 사전 및 전용 토크나이저를 적용하여 최적화된 사전 학습을 진행하였다. KorPatELECTRA의 성능 확인을 위해 실제 특허데이터를 활용한 NER(Named Entity Recognition), MRC(Machine Reading Comprehension), 특허문서 분류 태스크를 실험하였고 비교 대상인 범용 모델에 비해 3가지 태스크 모두에서 가장 우수한 성능을 확인하였다.
In the field of patents, as NLP(Natural Language Processing) is a challenging task due to the linguistic specificity of patent literature, there is an urgent need to research a language model optimized for Korean patent literature. Recently, in the field of NLP, there have been continuous attempts to establish a pre-trained language model for specific domains to improve performance in various tasks of related fields. Among them, ELECTRA is a pre-trained language model by Google using a new method called RTD(Replaced Token Detection), after BERT, for increasing training efficiency. The purpose of this paper is to propose KorPatELECTRA pre-trained on a large amount of Korean patent literature data. In addition, optimal pre-training was conducted by preprocessing the training corpus according to the characteristics of the patent literature and applying patent vocabulary and tokenizer. In order to confirm the performance, KorPatELECTRA was tested for NER(Named Entity Recognition), MRC(Machine Reading Comprehension), and patent classification tasks using actual patent data, and the most excellent performance was verified in all the three tasks compared to comparative general-purpose language models.
Syntagmatic Relations in Corpus and Natural Language Processing - Focussing on Korean Particles-
[NRF 연계] 현대문법학회 현대문법연구 Vol.44 2006.06 pp.121-145
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
Chung-Hoon Lee. 2006. Syntagmatic Relations in Corpus and Natural Language Processing - Focussing on Korean Particles-. Studies in Modern Grammar 44, 121-145. This paper presents the syntagmatic relations of Korean particles in spoken corpus and develops the grammatical procedure of the feature computation which can generate those relations. The syntagmatic relations of Korean particles are summarized as follows : (A) Lexical case particle ⇒ Lexical case particle, (B) Lexical case particle ⇒ Delimiter, (C) Lexical case particle ⇒ Structural case particle, (D) Lexical case particle ⇔ Conjunctive particle, (E) Conjunctive particle ⇒ Structural case particle, (F) Conjunctive particle ⇒ Delimiter, and (G) Delimiter ⇒ Structural case particle. These seven syntagmatic relations are captured via the operation of the feature computation. Some syntagmatic relations among these are simulated in the field of the natural language processing using the feature computation. Furthermore in the theoretical point of view this paper propose non-template approach to Korean inflection.
[Kisti 연계] 한국정보과학회언어공학연구회 한국정보과학회언어공학연구회 학술대회논문집 1993 pp.581-592
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
지금까지의 한국어 자연언어 처리에 기반이 되는 사전 품사 체계에 대한 연구는 형태소 분석, 구문 구조 분석, 그리고 의미 분석 등의 다양한 분야에서 이루어져 왔다. 한국어 자연언어 처리 각 분야는 자체의 고유한 독립성을 가지는데, 이러한 특성은 사전 품사 체계의 다양화를 초래하였으며, 연계성있는 자연언어 처리를 위한 통합 환경 조성을 저해시켜 왔다. 본 논문에서는 한국어 자연언어 처리 전반에 걸친 통합 환경 조성을 위한 범용적인 사전 품사체계의 필요성에 따라 한국어 자연언어 분석의 각 분야에 적합한 사전 품사체계에 대하여 살펴 본 후, 한국어 자연 언어 처리 전반에 사용될 범용적이고 통합적인 기본 사전 품사체계 구축을 위한 방안을 제시한다.
자연언어처리를 위한 한국어 어휘 자원과 언어 교육에의 응용
[NRF 연계] 국어교육학회 국어교육학연구 Vol.39 2010.12 pp.65-89
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
한국어 처리의 근간이 되는 어휘 자원을 구축하려는 시도가 그동안 행해져 왔다. KOLON은 어휘와 개념을 구분하여 어휘를 미크로코스모스 개념체계에 사상시키고, 세종전자사전의 통사, 의미정보를 추출하여 통합적인 어휘부를 구축하려는 시도이다. 또한 개념체계가 지니는 다양한 정보를 어휘부에 명시하여 통사와 의미 구조가 제약으로 작용할 수 있는 기재를 마련하였다. 명사, 동사, 형용사를 포함하여 현재 65,326개의 어의가 기술되어 있다. KOLON에 의해 개념별로 사상된 어휘들은 인지적 관점의 넓은 부류의 동의어 그룹을 형성한다. 격틀, 의미제약, 그리고 이 둘의 결합과 같은 조건으로 동의어 그룹을 더 세분화하여 문형 정보 및 의미 제약이 반영된 어휘 교육에 활용할 수 있다.
Much effort has been spent on the construction of Korean language resources for Korean language processing. KOLON was one of these works. It created a unified lexicon for Korean by mapping Korean words onto Mikrokosmos concepts and combining the result with information from the Sejong Dictionary. The lexicon can obtain syntactic and semantic constraints on the argument structures of a word through inheritance of constraints originating from the conceptual structure. Currently KOLON contains 65,326 word senses collected from nouns, verbs and adjectives. Synonyms link to a single concept and cover a wide range of words. We can reclassify synonyms into small subgroups by putting syntactic and semantic constraints on their argument structures. These classifications can be a good resource for Korean language education as well as for Korean language processing.
언어학적 특징을 고려한 자연어 처리 기반 한국어 요약 시스템
[NRF 연계] 한국지식정보기술학회 (사)한국지식정보기술학회논문지 Vol.18 No.2 2023.04 pp.389-398
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
인터넷을 통해 대규모 데이터가 유통되면서 인터넷 이용자들은 자신에게 필요한 데이터를 찾기 어려워졌다. 또한, 데이터의 형태가 텍스트인 경우 텍스트를 압축 및 요약하는 작업이 요구되고 있는 실정이다. 본 논문에서는 한국어 텍스트에 대해서 학습한 Transformer Encoder-Decoder 기반의 KoBART(Korean Bidirectional and Auto-Regressive Transformers) 모델을 활용하여 한국어로 구성된 텍스트를 압축 및 요약하기에 효율적인 시스템을 구축하였다. 본 시스템은 추출요약을 수행하는 전처리기와 생성요약을 수행하는 KoBART 모델로 구성하였다. 전처리기는 한국어의 언어학적 특징을 고려하여 특정 문구가 출현하였을 경우 해당 문장을 중심으로 추출요약을 수행하고 KoBART 모델은 전처리기가 처리하지 않은 텍스트들에 대해서 생성요약을 수행한다. 제안하는 시스템은 한국어로 구성된 텍스트를 압축 및 요약하기 위하여 한국어의 언어학적 특징을 고려한 전처리기와 사전학습 언어모델인 KoBART 모델을 활용하였으며 일반적인 추출요약 모델과 생성요약 모델에 비해 우수한 성능을 보였다. 이는 특정 국가의 언어가 가지는 특징을 보다 상세하게 분석하고 활용하는 방안이 우수한 성능의 사전학습 언어모델만을 활용하는 것보다 좋은 결과를 기대할 수 있다는 점을 시사한다. 본 논문이 언어학적 특징과 우수한 성능의 사전학습 언어모델의 시너지를 전파하는데 선도하는 연구가 될 수 있을 것으로 기대된다.
As large-scale data is distributed through the Internet, it has become difficult for Internet users to find the data they need. In addition, when the form of data is text, it is required to compress and summarize the text. In this paper, we construct an efficient system for compressing and summarizing text composed of Korean using the Transformer Encoder-Decoder-based KoBART (Korean Bidirectional and Auto-Regulatory Transformers) model. This system consisted of a preprocessor that performs an extraction summary and a KoBART model that performs a generation summary. The preprocessor performs an extraction summary based on the sentence when a specific phrase appears considering the linguistic characteristics of the Korean language, and the KoBART model performs a generation summary on texts not processed by the preprocessor. The proposed system used the preprocessor considering the linguistic features of Korean and the KoBART model, which is a pre-learning language model, to compress and summarize text composed of Korean, and showed superior performance compared to the general extraction summary model and generation summary model. This suggests that a method of analyzing and utilizing the characteristics of a specific country's language in more detail can expect better results than using only a pre-learning language model with excellent performance. It is expected that this paper will be a leading study in spreading the synergy of the pre-learning language model with linguistic features and excellent performance.
[Kisti 연계] 대한음성학회 말소리 Vol.46 2003 pp.51-64
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
In order to produce high quality synthesized speech, it is very important to get an accurate grapheme-to-phoneme conversion and prosody model from texts using natural language processing. Robust preprocessing for non-Korean characters should also be required. In this paper, we analyzed Korean texts using a morphological analyzer, part-of-speech tagger and syntactic chunker. We present a new grapheme-to-phoneme conversion method for Korean using a hybrid method with a phonetic pattern dictionary and CCV (consonant vowel) LTS (letter to sound) rules, for unlimited vocabulary Korean TTS. We constructed a prosody model using a probabilistic method and decision tree-based method. The probabilistic method atone usually suffers from performance degradation due to inherent data sparseness problems. So we adopted tree-based error correction to overcome these training data limitations.
[Kisti 연계] 한국정보과학회언어공학연구회 한국정보과학회언어공학연구회 학술대회논문집 1992 pp.141-149
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
본 논문에서는 자연언어 처리 시스템에서 사용할 수 있는 단어의 개념 정보에 대해 연구한다. 그러기 위해 언어의 실생활에서의 쓰임 - 연세대학교 사전 편찬실의 연세 말뭉치 -을 바탕으로 한국어의 동사와 명사에 대해 개념을 조사, 분류하였으며 그 개념들이 한국어 문장 분석기에 어떻게 이용되는가를 보인다.
[NRF 연계] 영주어문학회 영주어문 Vol.53 2023.02 pp.29-63
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
본 연구에서는 자연언어처리를 위하여 한국어 사건 개체명의 실현 양상을 살펴보고일관된 처리를 위하여 중첩 개체명 주석 방법을 제안하였다. 국립국어원의 개체명 분석 말뭉치를 대상으로 하여 사건 개체명과 함께 실현되는 인접 개체명의 유형과 빈도를 제시하였고, 세부 유형별 사건 개체명의 내부 구조를 분석하였다. 사건 개체명의 세분류의 의미에 따라 인접 개체명과 내부 구조 양상이 다르게 실현됨을 알 수 있었다. 본 연구에서 분석한 결과, 인접 개체명 유형과 개체명 내부 정보는 사건 개체명 인식 처리에 유용하게 적용될 수 있다. 기존 지침의 ‘최장 단위 태깅’ 원칙과 ‘최소 단위태깅’ 예외원칙의 혼재로 인한 주석 단위 결정에 미치는 어려움을 해소하기 위하여다어절 개체명을 일관적이면서도 체계적으로 주석할 방법을 제안하였다. 중첩 개체명주석 방법은 고품질의 데이터를 구축하는 데 기여할 수 있고, 언어 정보를 통해 AI 모델 향상되도록 할 수 있다.
This study exam ines the realization pattern of Korean Event Named Entities and also proposes a method of nested named entity for natural language processing. We evaluated the distribution and frequency of adjacent named entity realized along with the event named entity and analysed the internal structure of the event named entity for the NIKL Named Entity Corpus. The results illustrates that the neighboring named entity and internal structure patterns were realized differently depending on the meaning of the classification of the event named entity. With the analysis, we found that the named entity adjacency structure and named entity internal information can be usefully applied to the processing of event named entity recognition. With the analysis, we found that the named entity adjacency structure and named entity internal information can be usefully applied to the processing of event named entity recognition. In order to address difficulty in determining annotation units due to a mixed situation of exception principle of ‘longest unit tagging’ and ‘minimum unit tagging’ in the existing guideline, we suggest a method to annotate consistently and systematically multilingual entity names. The nested annotation method could contribute to building high-quality data, and it facilitates AI model have a enhanced performance.
자연어 처리 기법을 통한 국회의원 발언의 당파성 분석: 제13대부터 제21대까지의 국회 본회의 회의록을 중심으로
[NRF 연계] 한국정당학회 한국정당학회보 Vol.23 No.4 2024.12 pp.153-185
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
본 연구의 목적은 국회 본회의 회의록 자료를 자연어 처리 기법인 문서 임베딩을 통해 분석하여 국회의원들의 발언에 나타난 당파성을 측정하는 것이다. 본 연구는 민주화 이후 개원한 모든 국회의 회의록을 분석함으로써, 국회 본회의 발언에서 나타나는 정당 간 차이를 통시적으로 조망하고자 한다. 분석 결과, 발언에서 정당 간 차이보다는 시간에 따른 차이가 더욱 두드러지게 나타났다. 최근 개원한 국회의 국회의원들과 그 이전 국회의원들의 발언들 사이에는 명확한 차이가 있었으며, 시간이 지남에 따라 국회의원들의 발언이 점점 더 진보적인 경향을 보였다. 한편, 진보 계열 정당 소속 의원들의 발언은 다른 의원들에 비해 진보적인 성향을 뚜렷하게 나타냈지만, 양대 정당 의원들의 발언은 큰 차이를 보이지 않았다. 서구의 의회들과는 달리, 국회에서는 정당 간의 언어적 양극화 현상이 뚜렷하게 나타나지 않는다.
In this study, we estimate partisan differences in National Assembly speeches using document embedding, a natural language processing technique. We examine how partisan language has evolved over time by analyzing the minutes of all National Assemblies since South Korea’s democratization. Our findings suggest that temporal differences in the speeches are more pronounced than the differences among political parties. The speeches became more progressive over time. In contrast, while we find that members of progressive parties are distinctly more progressive than other legislators, we do not find any significant linguistic differences between the two major parties. This finding suggests that, unlike in some Western democracies, partisan polarization in political language is not a prominent feature of South Korea’s National Assembly.
以Princeton WordNet爲通用語言的韓語詞匯語義網KorLex的特性及應用
[NRF 연계] 경성대학교 한국한자연구소 漢字硏究 Vol.26 2020.04 pp.1-30
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
The paper introduces KorLex, Korean WordNet, which uses Princeton WordNet (PWN) as a reference model as well as a pivot that provides KorLex with the multilingual interface. Sub-section 2.1 describes the background for which we intended to build KorLex by ourselves, and the motivations for which we selected PWN as a reference model among other wordnets. Sub-sections 2.2 and 2.3 deal with the semantic features that share both PWN and KorLex, and the linguistic features that we attach to KorLex in order to improve Korean Language Processing (KLP). Section 3 presents two representative applications of KorLex in the field of Natural Language Processing: (1) in KLP environment, <Korean Spell/Grammar Checker (KSGC)> that we have developed for the last 30 years, and for which we decided to elaborate KorLex version 1.5 and to attach the sophisticate information of Korean language to the version 2.0; (2) in multilingual environment, <Korean-Korean_Sign_Language Machine Translation (K2KSL MT)>, which would not be successfully developed without the hierarchical semantic structure of KorLex as well as PWN, since the hierarchy enables K2KSL MT to solve logically the notorious ‘data sparseness (= lack of lexicon)’ problem that KSL encounters during the translation process, like in other bilingual or multilingual MT systems.
자연언어처리 기반 한·중 대응 문법구조의 중요성 고찰 ― ‘있다’를 중심으로
[NRF 연계] 대한중국학회 중국학 Vol.70 2020.03 pp.169-183
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
정보통신 기술의 발전과 더불어 기계번역, 음성인식, 언어자료 데이터베이스(DB) 구축 등 언어처리 시스템의 실현에 있어서 자연언어처리(NLP)의 중요성이 커지고 있다. 이에 본 연구에서는 한·중 문법구조 대응 방법에 대한 자연언어처리의 정확도를 높이기 위한 방법을 모색하고자 ‘있다’에 대응하는 중국어 단어인 ‘有,在,着’를 중심으로 한국어와 중국어의 대응구조를 분석하였다. 이와 관련하여 한국인 중국어 학습자들이 자주 범하는 오류 유형에 대해 Google 번역을 시도하고 그 결과를 분석하여 오류를 수정·보완할 수 있는 해결 방안을 제시하였다. 본 연구가 한국어와 중국어를 위한 전산시스템을 구축하는 데 도움이 되길 기대한다.
한의학 고문헌 데이터 분석을 위한 단어 임베딩 기법 비교: 자연어처리 방법을 적용하여
[Kisti 연계] 대한한의학원전학회 대한한의학원전학회지 Vol.32 No.1 2019 pp.61-74
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
Objectives : The purpose of this study is to help select an appropriate word embedding method when analyzing East Asian traditional medicine texts as data. Methods : Based on prescription data that imply traditional methods in traditional East Asian medicine, we have examined 4 count-based word embedding and 2 prediction-based word embedding methods. In order to intuitively compare these word embedding methods, we proposed a "prescription generating game" and compared its results with those from the application of the 6 methods. Results : When the adjacent vectors are extracted, the count-based word embedding method derives the main herbs that are frequently used in conjunction with each other. On the other hand, in the prediction-based word embedding method, the synonyms of the herbs were derived. Conclusions : Counting based word embedding methods seems to be more effective than prediction-based word embedding methods in analyzing the use of domesticated herbs. Among count-based word embedding methods, the TF-vector method tends to exaggerate the frequency effect, and hence the TF-IDF vector or co-word vector may be a more reasonable choice. Also, the t-score vector may be recommended in search for unusual information that could not be found in frequency. On the other hand, prediction-based embedding seems to be effective when deriving the bases of similar meanings in context.
대학수학능력시험 영어영역에 대한 사회적 담론 분석: 자연어 처리 기반 텍스트 마이닝과 소셜 네트워크 분석을 활용한 2021-2024년 온라인 미디어 분석
[NRF 연계] 한국영어교과교육학회 영어교과교육 Vol.24 No.1 2025.02 pp.151-177
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
This study analyzes social discourse on the English section of the Korean College Scholastic Ability Test (K-CSAT) in online media from 2021 to 2024, using Natural Language Processing (NLP)-based text mining and Social Network Analysis (SNA). Scrutiny of 88,561 online documents employed Term Frequency (TF), Term Frequency-Inverse Document Frequency (TF-IDF), Bigram, CONvergence of iteration CORrelation (CONCOR), and sentiment analysis. The findings reveal three distinctive patterns. First, despite the introduction of absolute evaluation in 2018, grade-centered hierarchical culture remains dominant, leading to increased dependence on private education, as evidenced by ‘cram school (or private institute)’ showing the highest importance in TF-IDF analysis and eight differentiated learning strategy clusters emerging in CONCOR analysis. Second, early preparation trends are prominent, with the high importance of the ‘middle school’ keyword indicating that K-CSAT preparation begins at the middle school level. Third, sentiment analysis reveals that while positive sentiment (67.11%) predominates, negative sentiment (32.89%) is also significant, with learning burden and psychological pressure as major concerns. This study provides empirical data for policy improvement through comprehensive analysis of social perceptions regarding the K-CSAT English section.
0개의 논문이 장바구니에 담겼습니다.
선택하신 파일을 압축중입니다.
잠시만 기다려 주십시오.