Earticle

본고는 생성형 인공지능과 인간 연구자의 협업을 통해 『한국구비문학대계』에서 호랑이가 등장하는 설화를 추출하고, 각편의 전체 본문을 바탕으로 호랑이의 서사적 형상을 분류하여 유형별 분포를 살펴보았다. 이를 위해 연구자는 호랑이 관련 자료를 탐색하기 위한 검색 기준을 설정하고, 장문의 구술 텍스트에서 분류에 필요한 사건과 호랑이의 행위 및 관계를 파악할 수 있도록 요약 형식을 설계하였으며, 서사적 형상을 구분하기 위한 분류 기준과 판정 기준을 마련하였다. 생성형 AI는 이러한 연구자의 설계에 따라 검색 결과를 정리하고 각 자료를 원문과 연결하였으며, 필요한 정보를 일정한 형식으로 구조화하고 이를 바탕으로 자료를 잠정적으로 분류하였다. 이후 연구자가 각편의 원문을 검토하고 오류 사례를 바탕으로 분류 기준과 판정 기준을 반복적으로 보완함으로써 최종적으로 860편의 분석 자료를 확정하였다. 분석 자료는 호랑이의 행위와 인간을 비롯한 다른 존재와의 관계를 기준으로 우호담, 가해담, 치우담, 변신담, 기타 등 다섯 대분류로 나누고, 각 대분류에 속하는 이야기의 공통된 서사 구조 및 호랑이의 행위 양상을 바탕으로 19개의 하위유형을 설정하였다. 그 결과 가해담이 364편(42.3%)으로 가장 큰 비중을 차지하였으며, 우호담 219편(25.5%), 기타 174편(20.2%), 치우담 60편(7%), 변신담 43편(5%) 순으로 나타났다. 이를 통해 호랑이는 인간에게 위해를 가하는 위협적 존재로 가장 빈번하게 형상화되었으며, 이와 함께 효행을 돕는 신이한 존재, 웃음을 유발하는 대상, 인간과 동물의 경계를 넘나드는 변신의 주체 등으로 다양하게 서사화되어 있음을 확인하였다. 본고는 연구자가 연구 목적에 따라 AI가 수행할 과업과 판단 기준을 설계하고 그 산출 결과를 검토·보정함으로써, 그간 대규모 디지털 분석의 대상으로 다루기 어려웠던 『한국구비문학대계』의 비정형 구술 텍스트를 각편의 전체 본문에 근거하여 분석할 수 있는 연구 모델을 구체적으로 제시하였다는 데에 의의가 있다. 이러한 연구 모델은 연구 대상과 목적에 따라 자료의 탐색 기준, 정보의 구조화 방식, 분석과 판정 기준을 새롭게 설계하는 접근 방식을 보여줌으로써 다른 구비설화 자료는 물론 대량의 비정형 텍스트를 대상으로 하는 고전문학 연구에도 유용한 시사점을 제공할 수 있다.

This study extracts folktales featuring tigers from the Hanguk Gubimunhak Daegye (Comprehensive Collection of Korean Oral Literature) through collaboration between generative artificial intelligence and a human researcher, classifies the narrative representations of tigers on the basis of the full text of each tale, and examines their distribution by type. To this end, the researcher established search criteria for identifying tiger-related materials, designed a summarization format that captures the events, actions, and relationships involving tigers that are necessary for classification from lengthy oral narrative texts, and developed classification and decision criteria for distinguishing the narrative representations of tigers. Following this researcher-designed framework, generative AI organized the search results, linked individual items to their full texts, structured the necessary information in a standardized format, and provisionally classified the materials. The researcher then reviewed the full text of each tale and repeatedly refined the classification and decision criteria on the basis of identified errors, ultimately establishing a dataset of 860 tales for analysis. The materials were divided into five major categories—friendly tales, harmful tales, comic tales, transformation tales, and other tales—according to the tiger’s actions and its relationships with humans and other beings. Nineteen subtypes were further established on the basis of recurring narrative structures and patterns of tiger behavior within each major category. Harmful tales accounted for the largest proportion, with 364 tales (42.3%), followed by friendly tales with 219 (25.5%), other tales with 174 (20.2%), comic tales with 60 (7.0%), and transformation tales with 43 (5.0%). These results show that tigers were most frequently represented as threatening beings that inflict harm on humans, while they were also variously narrated as numinous beings that assist filial conduct, objects of humor, and agents of transformation that cross the boundary between humans and animals. The significance of this study lies in its presentation of a concrete research model for analyzing the unstructured oral narrative texts of the Comprehensive Collection of Korean Oral Literature on the basis of the full text of each tale. In this model, the researcher designs the tasks and decision criteria to be performed by AI according to the research purpose and reviews and corrects the resulting outputs. By redesigning the criteria for data retrieval, the methods of information structuring, and the criteria for analysis and classification in accordance with different research objects and purposes, this model can be extended not only to other collections of oral folktales but also to research on large-scale unstructured textual materials in Korean classical literature.

News in the form of web data generates increasingly large amounts of information as unstructured text. The capability of understanding the meaning of news is limited to humans; thus, it causes information overload. This hinders the effective use of embedded knowledge in such texts. Therefore, Automatic Knowledge Extraction (AKE) has now become an integral part of Semantic web and Natural Language Processing (NLP). Although recent literature shows that AKE has progressed, the results are still behind the expectations. This study proposes a method to auto-extract surface knowledge from English news into a machine-interpretable semantic format (triple). The proposed technique was designed using the grammatical structure of the sentence, and 11 original rules were discovered. The initial experiment extracted triples from the Sri Lankan news corpus, of which 83.5% were meaningful. The experiment was extended to the British Broadcasting Corporation (BBC) news dataset to prove its generic nature. This demonstrated a higher meaningful triple extraction rate of 92.6%. These results were validated using the inter-rater agreement method, which guaranteed the high reliability.

[연구목적] 본 연구의 목적은 뉴스 텍스트 데이터를 활용하여 부산 해운대 지역의 관광 이슈를 주제별로 구조화하고, 그 의미적 관계를 확인하는 것이다. 비정형 텍스트 데이터를 활용함으로써 전통적인 수치 기반의 접근 방식을 넘어 관광 이슈의 사회적 관심과 이슈 구조를 정량적으로 파악하고자 하였다. [연구방법] 연구 대상 지역은 국내 유명 관광지로 알려진 부산광역시 해운대구로 설정하였으며, 한국언론진 흥재단의 BigKinds 플랫폼에서 2010년 1월 1일부터 2024년 12월 31일까지의 뉴스 기사 데이터를 수집하였다. 총 157,377건 중 ‘관광’ 관련 키워드를 포함한 13,295건을 선별하여 분석하였으며, 전처리 과정에서 불용어 제거, 중복 기사 필터링, 형태소 분석을 수행하였다. 이후 Python 환경에서 LDA 토픽모델링을 적용하여 최적의 토픽 수를 산정하고, 관광 관련 주요 주제와 키워드의 분포를 추출하였다. [연구결과] 분석 결과 총 11개의 핵심 주제가 도출되었으며, 이는 부산 해운대구 관광이 어떤 구조적 특성과 사회적 관심 속에서 형성되어 왔는지를 보여준다. 각 토픽은 해운대 지역에서 반복적으로 등장한 주요 이슈를 반영하고 있으며, 관광이 단순한 방문 활동을 넘어 도시정책, 지역 산업, 문화 활동과 긴밀하게 연계되어 있음 을 시사한다. 특히 지역개발, 산업정책, 문화콘텐츠, 스마트도시 등 다양한 영역이 동시에 나타나며, 해운대 관 광의 다층적이고 복합적인 성격을 드러낸다. [연구의 시사점] 본 연구는 기존의 정형 데이터 중심 관광 연구를 보완하여, 뉴스 텍스트라는 비정형 데이 터를 통해 관광 이슈의 구조를 정량적으로 제시하였다는 점에서 방법론적 기여를 가진다. 또한 분석 결과는 수립, 도시계획, 지역 마케팅 전략, 스마트 관광도시 조성 등 다양한 분야에서 데이터 기반의 의사결정을 지원 하는 기초 자료로 활용될 수 있다.

[Purpose] The purpose of this study is to structure tourism issues in Haeundae district, Busan city by subject using news text data, and to confirm their semantic relationship. By using unstructured text data, we tried to quantitatively grasp the social interest and issue structure of tourism issues beyond the traditional numerical-based approach. [Methodology] The target area of analysis was Haeundae district in Busan city, South Korea. News articles published between January 1, 2010, and December 31, 2024, were collected from the BigKinds platform provided by the Korea Press Foundation. Among a total of 157,377 articles, 13,295 containing tourism-related keywords were selected for analysis. The preprocessing stage involved removing stopwords, filtering duplicate articles, and performing morphological analysis. Subsequently, Latent Dirichlet Allocation (LDA) topic modeling was applied in a Python environment to extract the distribution of major tourism-related topics and keywords, and the optimal number of topics was determined. [Findings] As a result of the analysis, a total of 11 key themes were derived, which shows what structural characteristics and social interests have been formed in Haeundae-gu, Busan. Each topic reflects major issues that have repeatedly emerged in the Haeundae area, suggesting that tourism is closely linked to urban policy, local industry, and cultural activities beyond simple visit activities. In particular, various areas such as regional development, industrial policy, cultural contents, and smart cities appear at the same time, revealing the multi-layered and complex characteristics of Haeundae tourism. [Implications] This study provides methodological contributions by complementing traditional quantitative tourism research through the use of unstructured news text data to present the structural characteristics of tourism issues in a measurable form. The findings can serve as a foundational resource for data-driven decision-making in various fields, including tourism policy development, urban planning, regional marketing strategies, and the establishment of smart tourism cities.

본 논문은 유아 지원 관련 정책에 대한 국민들의 인식을 파악하고, 이를 바탕으로 미래 유아 지원 정책에 대한 방향성을 제시하였다. 본 연구에서는 우선 유아 지원 정책에 관한 뉴스 기사들의 댓글을 크롤링(crawling)하여, TF-IDF분석 및 오피니언 마이닝(opinion mining) 분석을 통해 우리나라 유아 지원 정책에 관한 국민들의 인식에 대해서 객관적인 결과를 도출하였다. 본 연구의 공헌점 및 기대효과는 다음과 같다. 첫째, 유아 지원 정책에 관한 국 민들의 인식을 빅데이터 분석을 통해 객관적인 결과를 제시함으로써, 정부의 유아 지원 정책 수립에 도움이 될 것으 로 기대된다. 둘째, 최근 5개년간의 자료를 연도별로 구분하여 빅데이터 분석결과를 제공함으로써 유아 지원 정책의 흐름을 연도별로 파악할 수 있게 하였다. 셋째, 유아교육 및 사회복지 분야 연구의 범위를 보다 확장시킬 수 있는 연 구방법론은 제시함으로써 학술적으로 가치가 있으며, 실무적으로도 본 논문의 연구결과는 향후 포스트 코로나 시대 에 우리나라 유아 지원 정책의 방향에 대해서 유의미한 정보를 제공할 것으로 예상된다.

This paper examined the public's perception of early childhood support-related policies and presented the direction of future early childhood support policies based on this. This study crawled the comments of news articles on early childhood support policies and presented objective results on the public's perception of Korea's early childhood support policies through TF-IDF analysis and opinion mining analysis. The contribution points and expected effects of this study are as follows. First, this study is expected to help the government establish an early childhood support policy by presenting objective results through big data analysis of the public's perception of early childhood support policies. Second, this paper classified data from the past five years by year and provided big data analysis results, allowing the flow of early childhood support policies to be grasped clockwise. Third, this study is academically valuable by presenting a research methodology that can further expand the scope of research in the field of early childhood education and social welfare, and in practice, the research results of this paper are expected to provide meaningful information on the direction of Korea's early childhood support policies in the post-COVID-19 era.

교통사고 관련 제보는 비정형 데이터로서 교통사고를 유발한 가해자나 피해자의 관점이 아닌, 교통사고 발생 지점과 구간, 시간대에 있었던 타 운전자의 관점에서 생성된 교통정보 의 가치를 가지고 있다. 그러나, 비정형 데이터인 교통제보가 빅 데이터로서 교통사고 통계 나 교통관련 연구에 활용되지 못하였으나, 텍스트 마이닝 기법을 활용한 본 연구를 통해 비 정형의 빅 데이터를 시각화하고 해석하여, 기존의 정형 데이터에서 분석하지 못한 정보를 도 출할 수 있었다. 그리고 교통사고 발생으로 인한 도로상 영향을 파악할 수 있었다. 이러한 분석으로 교통제보의 트랜드를 파악하고, 운전자가 제보하는 “도로명”, “지점명”, “시간대”를 추출하였으며, 교통사고 발생으로 다른 운전자에게 가장 많은 영향을 미치는 지점과 구간의 파악이 가능하였다. 향후 실제 교통사고 데이터와 결합하여 교통제보와의 상관성 분석 등을 통해 비정형 데이터의 활용방안을 모색할 계획이다.

The traffic accident reports that are generated by the Traffic Broadcasting Networks(TBN) are unstructured data. It, however, has the value as some sort of real-time traffic information generated by the viewpoint of the drives and/or pedestrians that were on the roads, the time and spots, not the offender or the victim who caused the traffic accidents. However, the traffic accident reports, which are big data, were not applied to traffic accident analysis and traffic related research commonly. This study adopting text-mining technique was able to provide a clue for utilizing it for the impacts of traffic accidents. Seven years of traffic reports were grasped by this analysis. By analyzing the reports, it was possible to identify the road names, accident spot names, time, and to identify factors that have the greatest influence on other drivers due to traffic accidents. Authors plan to combine unstructured accident data with traffic reports for further study.

Entity recognition and entity relationship extraction are two very important tasks in information extraction. Most research work in the literature treats these two work independently when processing the text. This paper proposes a novel method for performing entity recognition and entity relationship extraction simultaneously from unstructured text based on Conditional Random Fields (CRFs). This method makes use of entity features, entity relationship features and features of the triples which is composed of entities and their relationship to conduct the model training. Experiment results show that this method can recognize entity and extract entity relationship effectively.

Entity attribute extraction is a challenging research topic with broad application prospects. Many researchers had proposed rule based or statistic based approaches to deal with the extraction task in a variety of application areas. Recently, deep learning had shown its capacity to model high-level abstractions in data by using multiple processing layers network with complex structures. However there has no research reported to conduct entity attribute extraction with deep learning method. In this paper, we propose a new approach to extract the entities’ attributes from unstructured text corpus that was gathered from Web. The proposed method is an unsupervised machine learning method that extracts the entity attributes utilizing deep belief network (DBN). Experiment results show that, with our method, entity attributes can be extracted accurately and manual intervention can be reduced when compared with tradition methods.

Text mining is a specific method to extract knowledge from structured and unstructured data. This extracted knowledge from text mining process can be used for further usage and discovery. This paper presents the method for extraction information from unstructured text data and the importance of Association Rules Mining, specifically for of Korean language (text) and also, NLP (Natural Language Processing) tools are explained. Association Rules Mining (ARM) can also be used for mining association between itemsets from unstructured data with some modifications. Which can then, help for generating statistical thesaurus, to mine grammatical rules and to search large data efficiently. Although various association rules mining techniques have successfully used for market basket analysis but very few has applied on Korean text. A proposed Korean language mining method calculates and extracts meaningful patterns (association rules) between words and presents the hidden knowledge. First it cleans and integrates data, select relevant data then transform into transactional database. Then data mining techniques are used on data source to extract hidden patterns. These patterns are evaluated by specific rules until we get the valid and satisfactory result. We have tested on Korean news corpus and results have shown that it has worked well, and the results were adequate enough to research further.

인공지능과 빅데이터 분석을 위해 웹 스크래핑으로 수집된 대부분의 텍스트 데이터들은 일반적으로 대용량이 고 비정형이기 때문에 빅데이터 분석을 위해서는 정제과정이 요구된다. 그 과정은 휴리스틱 전처리 정제단계와 후처 리 머시인 정제단계를 통해서 분석이 가능한 정형 데이터가 된다. 따라서 본 연구에서는 후처리 머시인 정제과정에서 한국어 딕셔너리와 불용어 딕셔너리를 이용하여 워드크라우드 분석을 위한 빈도분석을 위해 어휘들을 추출하게 되는 데 이 과정에서 제거되지 않은 불용어를 효율적으로 제거하기 위한 “사용자 정의 불용어 시소러스” 적용에 대한 방 법론을 제안하고 R의 워드클라우드 기법으로 기존의 “불용어 딕셔너리” 방법의 문제점을 보완하기 위해 제안된 “사 용자 정의 불용어 시소러스” 기법을 이용한 사례분석을 통해서 제안된 정제방법의 장단점을 비교 검증하여 제시하고 제안된 방법론의 실무적용에 대한 효용성을 제안한다.

Most text data collected through web scraping for artificial intelligence and big data analysis is generally large and unstructured, so a purification process is required for big data analysis. The process becomes structured data that can be analyzed through a heuristic pre-processing refining step and a post-processing machine refining step. Therefore, in this study, in the post-processing machine refining process, the Korean dictionary and the stopword dictionary are used to extract vocabularies for frequency analysis for word cloud analysis. In this process, “user-defined stopwords” are used to efficiently remove stopwords that were not removed. We propose a methodology for applying the “thesaurus” and examine the pros and cons of the proposed refining method through a case analysis using the “user-defined stop word thesaurus” technique proposed to complement the problems of the existing “stop word dictionary” method with R’s word cloud technique. We present comparative verification and suggest the effectiveness of practical application of the proposed methodology.

본 연구에서는 텍스트 마이닝 기법을 활용하여 국내 기록관리 연구 분야의 비정형 텍스트 데이터인 국문 초록에서 사용된 키워드 빈도를 분석하여 키워드 간 거리 분석을 통해 국내기록관리 연구 동향을 파악하는 것이 목적이다. 이를 위해 한국학술지인용색인(Korea Citation Index, KCI)의 학술지 기관통계(등재지, 등재후보지)에서 대분류(복합학), 중분류(문헌정보학)으로 검색된 학술지(28종) 중 등재지 7종 1,157편을 추출하여 77,578개의 키워드를 시각화하였다. Word2vec를 활용한 t-SNE, Scattertext 등의 분석을 수행하였다. 분석 결과, 첫째로 1,157편의 논문에서 얻은 77,578개의 키워드를 빈도 분석한 결과, "기록관리"(889회), "분석"(888회), "아카이브"(742회), "기록물"(562회), "활용"(449회) 등의 키워드가 연구자들에 의해 주요 주제로 다뤄지고 있음을 확인하였다. 둘째로, Word2vec 분석을 통해 키워드 간의 벡터 표현을 생성하고 유사도 거리를 조사한 뒤, t-SNE와 Scattertext를 활용하여 시각화하였다. 시각화 결과에서 기록관리 연구 분야는 두 그룹으로 나누어졌는데 첫 번째 그룹(과거)에는 "아카이빙", "국가기록관리", "표준화", "공문서", "기록관리제도" 등의 키워드가 빈도가 높게 나타났으며, 두 번째 그룹(현재)에는 "공동체", "데이터", "기록정보서비스", "온라인", "디지털 아카이브" 등의 키워드가 주요한 관심을 받고 있는 것으로 나타났다.

This study aims to analyze the frequency of keywords used in Korean abstracts, which are unstructured text data in the domestic record management research field, using text mining techniques to identify domestic record management research trends through distance analysis between keywords. To this end, 1,157 keywords of 77,578 journals were visualized by extracting 1,157 articles from 7 journal types (28 types) searched by major category (complex study) and middle category (literature informatics) from the institutional statistics (registered site, candidate site) of the Korean Citation Index (KCI). Analysis of t-Distributed Stochastic Neighbor Embedding (t-SNE) and Scattertext using Word2vec was performed. As a result of the analysis, first, it was confirmed that keywords such as “record management” (889 times), “analysis” (888 times), “archive” (742 times), “record” (562 times), and “utilization” (449 times) were treated as significant topics by researchers. Second, Word2vec analysis generated vector representations between keywords, and similarity distances were investigated and visualized using t-SNE and Scattertext. In the visualization results, the research area for record management was divided into two groups, with keywords such as “archiving,” “national record management,” “standardization,” “official documents,” and “record management systems” occurring frequently in the first group (past). On the other hand, keywords such as “community,” “data,” “record information service,” “online,” and “digital archives” in the second group (current) were garnering substantial focus.

빅데이터 분석에서 텍스트 데이터는 대부분 비정형이고 대용량으로 분석 기법이 정립되지 않아 분석에 어려움 이 많았다. 따라서 텍스트 데이터 분석 기법의 하나인 빅데이터 워드클라우드 기법의 실무 적용시 문제점과 유용성 검증을 통한 상용화 가능성을 위해 본 연구를 수행하였다. 본 논문에서는 R 프로그램 워드클라우드 기법을 이용하여 “대통령 UN연설문”을 시각화 분석을 하고 이 기법의 한계와 문제점을 도출한다. 그리고 이를 해결하기 위한 개선된 모델을 제안하여 워드클라우드 기법의 실무 적용에 대한 효율적인 방안을 제시한다.

In Big data analysis, text data is mostly unstructured and large-capacity, so analysis was difficult because analysis techniques were not established. Therefore, this study was conducted for the possibility of commercialization through verification of usefulness and problems when applying the big data word cloud technique, one of the text data analysis techniques. In this paper, the limitations and problems of this technique are derived through visualization analysis of the “President UN Speech” using the R program word cloud technique. In addition, by proposing an improved model to solve this problem, an efficient method for practical application of the word cloud technique is proposed.

빅데이터 분석에서 원시 텍스트 데이터는 대부분 다양한 비정형 데이터 형태로 존재하기 때문에 휴리스틱 전 처리 정제와 컴퓨터를 이용한 후처리 정제과정을 거쳐야 분석이 가능한 정형 데이터 형태가 된다. 따라서 본 연구에 서는 텍스트 데이터 분석 기법의 하나인 R 프로그램의 워드클라우드를 적용하기 위해서 수집된 원시 데이터 전처리 를 통해 불필요한 요소들을 정제하고 후처리 과정에서 불용어를 제거한다. 그리고 단어들의 출현 빈도수를 계산하고 출현빈도가 높은 단어들을 핵심 이슈들로 표현해 주는 워드클라우드 분석의 사례 연구를 하였다. 이번 연구는 R의 워드클라우드 기법으로 기존의 불용어 처리 방법인 “내포된 불용어 소스코드” 방법의 문제점을 개선하기 위하여 “일 반적인 불용어 코퍼스”와 “사용자 정의 불용어 코퍼스”의 활용 방안을 제안하고 사례 분석을 통해서 제안된 “비정형 데이터 정제과정 모델”의 장단점을 비교 검증하여 제시하고 “제안된 외부 코퍼스 정제기법”을 이용한 워드클라우드 시각화 분석의 실무적용에 대한 효용성을 제시한다.

In big data analysis, raw text data mostly exists in various unstructured data forms, so it becomes a structured data form that can be analyzed only after undergoing heuristic pre-processing and computer post-processing cleansing. Therefore, in this study, unnecessary elements are purified through pre-processing of the collected raw data in order to apply the wordcloud of R program, which is one of the text data analysis techniques, and stopwords are removed in the post-processing process. Then, a case study of wordcloud analysis was conducted, which calculates the frequency of occurrence of words and expresses words with high frequency as key issues. In this study, to improve the problems of the “nested stopword source code” method, which is the existing stopword processing method, using the word cloud technique of R, we propose the use of “general stopword corpus” and “user-defined stopword corpus” and conduct case analysis. The advantages and disadvantages of the proposed “unstructured data cleansing process model” are comparatively verified and presented, and the practical application of word cloud visualization analysis using the “proposed external corpus cleansing technique” is presented.

미리 선언된 구조를 이용하여 수집 저장된 정형적 데이터와는 달리 웹 2.0의 시대에서 일반 사용자들이 평상시에 사용하는 자연어 형태로 작성된 비정형 데이터 분석은 과거보다 훨씬 더 넓은 응용범위를 가지고 있다. 데이터 양이 폭발적으로 증가하고 있다는 특성뿐 만 아니라 인간의 감성이 그대로 표현된 특성을 가진 텍스트에서 의미 있는 정보를 추출하는 빅데이터 분석 기법을 텍스트마이닝(Text Mining)이라 하며 본 연구는 이를 주제로 하고 있다. 본 연구를 위해 오픈 소스인 통계분석용 소프트웨어 R 프로그램을 이용하였으며, 비정형 텍스트 문서를 웹 환경에서 수집, 저장, 전처리, 분석 작업과 시각화(Frequency Analysis, Cluster Analysis, Word Cloud, Social Network Analysis)작업 등의 과정에 관한 알고리즘 구현을 연구하였다. 특히, 연구자의 연구 영역 분석에 초점을 더욱 높이기 위해 Data Dictionary를 참조한 키워드 추출 기법을 사용하였다. 실제 사례에 적용한 R은 다양한 OS 구동, 일반적 언어와의 인터페이스 지원 등 통계 분석용 소프트웨어로써 매우 유용하다는 점을 발견할 수 있었다.

Unlike structured data which are gathered and saved in a predefined structure, unstructured text data which are mostly written in natural language have larger applications recently due to the emergence of web 2.0. Text mining is one of the most important big data analysis techniques that extracts meaningful information in the text because it has not only increased in the amount of text data but also human being's emotion is expressed directly. In this study, we used R program, an open source software for statistical analysis, and studied algorithm implementation to conduct analyses (such as Frequency Analysis, Cluster Analysis, Word Cloud, Social Network Analysis). Especially, to focus on our research scope, we used keyword extract method based on a Data Dictionary. By applying in real cases, we could find that R is very useful as a statistical analysis software working on variety of OS and with other languages interface.

최근 가용한 텍스트 데이터 자원이 증가함에 따라 방대한 텍스트 분석을 통해 새로운 가치를 창출하고자 하는 수요가 증가하고 있다. 특히 뉴스, 민원, 블로그, SNS 등을 통해 유통되는 글로부터 다양한 이슈를 발굴해내고 이들 이슈의 추이를 분석하는 이슈 트래킹에 대한 연구가 활발하게 이루어지고 있다. 전통적인 이슈 트래킹은 토픽 모델링을 통해 오랜 기간에 걸쳐 지속된 주요 이슈를 발굴한 후, 각 이슈를 구성하는 문서 수의 세부 기간별 분포를 분석하는 방식으로 이루어진다. 하지만 전통적 이슈 트래킹은 각 이슈를 구성하는 내용이 전체 기간에 걸쳐 변화 없이 유지된다는 가정 하에 수행되기 때문에, 다양한 세부 이슈가 서로 영향을 주며 생성, 병합, 분화, 소멸하는 이슈의 동적 변이과정을 나타내지 못한다. 또한 전체 기간에 걸쳐 지속적으로 출현한 키워드만이 이슈 키워드로 도출되기 때문에, 핵실험, 이산가족 등 세부 기간의 분석에서는 매우 상이한 맥락으로 파악되는 구체적인 이슈가 오랜 기간의 분석에서는 북한이라는 큰 이슈에 함몰되어 가려지는 현상이 발생할 수 있다. 본 연구에서는 이러한 한계를 극복하기 위해 각 세부 기간의 문서에 대한 독립적인 분석을 통해 세부 기간별 주요 이슈를 도출한 후, 각 이슈의 유사도에 기반하여 이슈 흐름도를 도출하고자 한다. 또한 각 문서의 카테고리 정보를 활용하여 카테고리간의 이슈 전이 패턴을 분석하고자 한다. 본 논문에서는 총 53,739건의 신문 기사에 제안 방법론을 적용한 실험을 수행하였으며, 이를 통해 전통적인 이슈 트래킹을 통해 발굴한 주요 이슈의 세부 기간별 구성 내용을 살펴볼 수 있을 뿐 아니라, 특정 이슈의 선행 이슈와 후행 이슈를 파악할 수 있음을 확인하였다. 또한 카테고리간 분석을 통해 단방향 전이와 양방향 전이의 흥미로운 패턴을 발견하였다.

Owing to the extensive use of Web media and the development of the IT industry, a large amount of data has been generated, shared, and stored. Nowadays, various types of unstructured data such as image, sound, video, and text are distributed through Web media. Therefore, many attempts have been made in recent years to discover new value through an analysis of these unstructured data. Among these types of unstructured data, text is recognized as the most representative method for users to express and share their opinions on the Web. In this sense, demand for obtaining new insights through text analysis is steadily increasing. Accordingly, text mining is increasingly being used for different purposes in various fields. In particular, issue tracking is being widely studied not only in the academic world but also in industries because it can be used to extract various issues from text such as news, (SocialNetworkServices) to analyze the trends of these issues. Conventionally, issue tracking is used to identify major issues sustained over a long period of time through topic modeling and to analyze the detailed distribution of documents involved in each issue. However, because conventional issue tracking assumes that the content composing each issue does not change throughout the entire tracking period, it cannot represent the dynamic mutation process of detailed issues that can be created, merged, divided, and deleted between these periods. Moreover, because only keywords that appear consistently throughout the entire period can be derived as issue keywords, concrete issue keywords such as "nuclear test" and "separated families" may be concealed by more general issue keywords such as "North Korea" in an analysis over a long period of time. This implies that many meaningful but short-lived issues cannot be discovered by conventional issue tracking. Note that detailed keywords are preferable to general keywords because the former can be clues for providing actionable strategies. To overcome these limitations, we performed an independent analysis on the documents of each detailed period. We generated an issue flow diagram based on the similarity of each issue between two consecutive periods. The issue transition pattern among categories was analyzed by using the category information of each document. In this study, we then applied the proposed methodology to a real case of 53,739 news articles. We derived an issue flow diagram from the articles. We then proposed the following useful application scenarios for the issue flow diagram presented in the experiment section. First, we can identify an issue that actively appears during a certain period and promptly disappears in the next period. Second, the preceding and following issues of a particular issue can be easily discovered from the issue flow diagram. This implies that our methodology can be used to discover the association between inter-period issues. Finally, an interesting pattern of one-way and two-way transitions was discovered by analyzing the transition patterns of issues through category analysis. Thus, we discovered that a pair of mutually similar categories induces two-way transitions. In contrast, one-way transitions can be recognized as an indicator that issues in a certain category tend to be influenced by other issues in another category. For practical application of the proposed methodology, high-quality word and stop word dictionaries need to be constructed. In addition, not only the number of documents but also additional meta-information such as the read counts, written time, and comments of documents should be analyzed. A rigorous performance evaluation or validation of the proposed methodology should be performed in future works.

앙상블 분류기란 개별 분류기보다 더 좋은 성과를 내기 위해 다수의 분류기를 결합하는 것을 의미한다. 이와 같은 앙상블 분류기는 단일 분류기의 일반화 성능을 향상시키는데 매우 유용한 것으로 알려져 있다. 랜덤 서브스페이스 앙상블 기법은 각각의 기저 분류기들을 위해 원 입력 변수 집합으로부터 랜덤하게 입력 변수 집합을 선택하며 이를 통해 기저 분류기들을 다양화 시키는 기법이다. k-최근접 이웃(KNN: k nearest neighbor)을 기저 분류기로 하는 랜덤 서브스페이스 앙상블 모형의 성과는 단일 모형의 성과를 개선시키는 데 효과적인 것으로 알려져 있으며, 이와 같은 랜덤 서브스페이스 앙상블의 성과는 각 기저 분류기를 위해 랜덤하게 선택된 입력 변수 집합과 KNN의 파라미터 k의 값이 중요한 영향을 미친다. 하지만, 단일 모형을 위한 k의 최적 선택이나 단일 모형을 위한 입력 변수 집합의 최적 선택에 관한 연구는 있었지만 KNN을 기저 분류기로 하는 앙상블 모형에서 이들의 최적화와 관련된 연구는 없는 것이 현실이다. 이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해 각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 본 논문에서 제안한 방법은 앙상블을 구성하게 될 각각의 KNN 기저 분류기들에 대해 최적의 앙상블 성과가 나올 수 있도록 각각의 기저 분류기가 사용할 파라미터 k의 값과 입력 변수를 유전자 알고리즘을 이용해 탐색하였다. 제안한 모형의 검증을 위해 국내 기업의 부도 예측 관련 데이터를 가지고 다양한 실험을 하였으며, 실험 결과 제안한 모형이 기존의 앙상블 모형보다 기저 분류기의 다양화와 예측 성과 개선에 효과적임을 알 수 있었다.

Bankruptcy involves considerable costs, so it can have significant effects on a country's economy. Thus, bankruptcy prediction is an important issue. Over the past several decades, many researchers have addressed topics associated with bankruptcy prediction. Early research on bankruptcy prediction employed conventional statistical methods such as univariate analysis, discriminant analysis, multiple regression, and logistic regression. Later on, many studies began utilizing artificial intelligence techniques such as inductive learning, neural networks, and case-based reasoning. Currently, ensemble models are being utilized to enhance the accuracy of bankruptcy prediction. Ensemble classification involves combining multiple classifiers to obtain more accurate predictions than those obtained using individual models. Ensemble learning techniques are known to be very useful for improving the generalization ability of the classifier. Base classifiers in the ensemble must be as accurate and diverse as possible in order to enhance the generalization ability of an ensemble model. Commonly used methods for constructing ensemble classifiers include bagging, boosting, and random subspace. The random subspace method selects a random feature subset for each classifier from the original feature space to diversify the base classifiers of an ensemble. Each ensemble member is trained by a randomly chosen feature subspace from the original feature set, and predictions from each ensemble member are combined by an aggregation method. The k-nearest neighbors (KNN) classifier is robust with respect to variations in the dataset but is very sensitive to changes in the feature space. For this reason, KNN is a good classifier for the random subspace method. The KNN random subspace ensemble model has been shown to be very effective for improving an individual KNN model. The k parameter of KNN base classifiers and selected feature subsets for base classifiers play an important role in determining the performance of the KNN ensemble model. However, few studies have focused on optimizing the k parameter and feature subsets of base classifiers in the ensemble. This study proposed a new ensemble method that improves upon the performance KNN ensemble model by optimizing both k parameters and feature subsets of base classifiers. A genetic algorithm was used to optimize the KNN ensemble model and improve the prediction accuracy of the ensemble model. The proposed model was applied to a bankruptcy prediction problem by using a real dataset from Korean companies. The research data included 1800 externally non-audited firms that filed for bankruptcy (900 cases) or non-bankruptcy (900 cases). Initially, the dataset consisted of 134 financial ratios. Prior to the experiments, 75 financial ratios were selected based on an independent sample t-test of each financial ratio as an input variable and bankruptcy or non-bankruptcy as an output variable. Of these, 24 financial ratios were selected by using a logistic regression backward feature selection method. The complete dataset was separated into two parts: training and validation. The training dataset was further divided into two portions: one for the training model and the other to avoid overfitting. The prediction accuracy against this dataset was used to determine the fitness value in order to avoid overfitting. The validation dataset was used to evaluate the effectiveness of the final model. A 10-fold cross-validation was implemented to compare the performances of the proposed model and other models. To evaluate the effectiveness of the proposed model, the classification accuracy of the proposed model was compared with that of other models. The Q-statistic values and average classification accuracies of base classifiers were investigated. The experimental results showed that the proposed model outperformed other models, such as the single model and random subspace ensemble model.

본 논문에서는 의존 구조 매칭과 약한 지도식 학습 방법을 적용하여 텍스트에서 IS-A 관계를 자동으로 추출하고 순위화하는 방법을 제안한다. 텍스트에서 잠재적인 IS-A 관계를 표현하는 [관계 표현, 하위어, 상위어]의 삼진관계 리스트를 추출하고, 관계 표현과 IS-A 관계 인스턴스, IS-A 관계 후보, 사이의 상호 관련성을 이용하여 각각의 점수를 반복적으로 정제한다. 제안한 방법의 대표적인 특징은 다음과 같다. 1) 의존 구조에 기반한 패턴 매칭 방법을 적용하여 정규 표현에 기반한 방법보다 다양한 형태의 삼진관계를 추출할 수 있고, 2) 도메인 코퍼스에서 통계적으로 추출한 어휘 사이의 관련성 정보를 이용하여 도메인에 적합한 IS-A 관계 인스턴스의 순위를 높일 수 있으며, 3) 관계 표현과 관계 인스턴스의 점수를 상호 관련성에 기반한 방법으로 반복적으로 점수화하여 IS-A 관계 인스턴스 사이의 변별력을 높일 수 있다. 실험에서 순위화된 관계 인스턴스는 전문가의 판단과 66%이상 일치함을 보였고, 의존 구조를 이용한 유연한 패턴 매칭 방법은 정규표현을 이용한 방법보다 43.6%의 추가적인 삼진관계를 추출하였다.

정보기술의 발전과 디지털 커뮤니케이션의 확산으로 인해 급증하는 고객 불만과 피드백을 효과적으로 관리하고 처리하는 방법이 필요하다. 특히, 대부분의 데이터가 비정형 데이터인 상황에서, 이를 신속히 처리하고 분류하여 고객 서비스를 개선하는 것은 중요하다. 이에 본 연구에서는 전통적 분류 모델인 Naive Bayes, SVM, Random Forest와 딥러닝 모델인 CNN, LSTM을 살펴보고, 보스턴시의 교통 불만 데이터에 적용하여 고객 불만 데이터의 자동 분류 성능을 비교 분석하였다. 연구 결과, CNN과 LSTM은 각각 81%와 97%의 높은 분류 정확도를 보여, 고객 불만처럼 복잡하고 다양한 패턴의 비정형 데이터 처리에 더욱 효과적임을 확인하였다. 이러한 결과는 딥러닝 모델이 고객 불만 데이터의 특성을 더 잘 분석하고, 문맥적 연결을 감지하는 능력이 우수하기 때문이다. 본 연구는 기업이 고객의 목소리를 신속하고 정확하게 파악하고 대응할 수 있는 고객 서비스 개선 방법론을 제공하며, 이는 기업 경쟁력을 강화하는 데 기여할 것으로 기대된다.

With the advancement of information technology and the proliferation of digital communication, there is an increasing need for effective management and processing of the growing volume of customer complaints and feedback. Particularly, when most of the data is unstructured, it is crucial to quickly process and classify this data to improve customer service. In this study, we examine traditional classification models such as Naive Bayes, SVM, and Random Forest, as well as deep learning models like CNN and LSTM. These models were applied to Boston's traffic complaint data to compare the performance of automatic classification of customer complaint data. The results showed that CNN and LSTM achieved high classification accuracies of 81% and 97%, respectively, confirming their effectiveness in handling complex and diverse patterns of unstructured data, such as customer complaints. These findings demonstrate that deep learning models are better at analyzing the characteristics of customer complaint data and detecting contextual connections. This study provides a methodology for companies to quickly and accurately understand and respond to customer voices, thereby enhancing corporate competitiveness.

본 연구는 공매도거래를 예측하는 지수를 개발하기 위해 공매도거래에 영향을 주는 변수들을 사용하여 Baker and Wurgler(2006)의 방법론에 따라 공매도예보지수를 구성하였다. 표본 내 검정과 표본 외 검정을 통해 공매도예보지수의 예측력을 검정하였으며, 비정형화된 자료인 트렌드지수를 포함한 공매도예보지수와 트렌드지수를 제외한 공매도예보지수의 예측력을 비교 분석하였다. 또한, 공매도 과열 지정종목을 대상으로 공매도 과열 지정이 시장과 투자주체별 거래행태에 미치는 영향을 분석하고, 공매도 과열종목 지정일 전․후의 투자주체별 정보전이효과를 분석하였다. 주요 분석 결과는 다음과 같다. 첫째, 공매도거래에 대한 공매도예보지수의 예측력은 표본 내 검정과 표본 외 검정에서 모두 유의한 양(+)의 예측력을 가지는 것으로 나타났다. 둘째, 공매도거래에 대한 예측력은 비정형화된 자료인 트렌드지수를 포함한 공매도예보지수가 트렌드지수를 제외하고 구성한 공매도예보지수보다 우수한 것으로 나타났다. 이는 공매도거래의 정확한 예측을 위해서는 정형화된 자료와 함께 비정형화된 자료의 정보를 활용하는 것이 필요하는 것을 의미한다. 셋째, 공매도 과열종목 지정일의 투자주체별 순매수수량을 살펴본 결과, 공매도거래량과 개인투자자의 순매수거래량이 정보전이에 주도적인 역할을 하는 것으로 나타났으며, 기관투자자와 외국인투자자의 순매수거래량은 의존적인 역할을 하는 것으로 나타났다. 넷째, 공매도 과열종목 지정일 전․후에는 개인투자자가 일관되게 주도적인 역할을 하는 것으로 나타났다. 반면, 기관투자자는 주도적인 역할에서 의존적인 역할로 이동하며, 공매도거래량은 공매도 과열종목 지정일로부터 4시차까지 의미 있는 정보를 전달하는 것으로 나타났다.

This study proposes a short selling forecast index using the method of Baker and Wurgler (2006) using various variables that can predict short selling. We compare the predictive power of the short selling forecast index with the trend index and the short selling forecast index without the trend index. In addition, we analyze the impact of the over-short selling designation on stock market and trading behavior of each investor and the information transfer effect of each investor before and after the event date. We summarize our findings as follows. First, we find that the short selling forecast index has a significant positive predictive power for short selling at all time lags. Second, we find that the predictive power of the short selling forecast index constructed with the trend index is higher than that of the forecast index without the trend index. Third, on the day of over-short selling designation, short selling volume and retail investors are found to play a leading role in the information transfer effect. Fourth, we find that retail investors consistently maintain a leading role in the information transfer effect even before and after the over-short selling designation.

본 연구는 건설 안전사고에 대한 트랜드 분석을 위해 LDA(Latent Dirichlet Allocation) 기반의 토픽모델링(Topic Modeling)을 제시하여 분석하고자 한다. 특히, 건설산업의 안전사고를 예방하기 위해 제시되고 있는 기존의 다양한 정형데이터 분석에서 벗어난 비정형 데이터 분석 기반의 토픽 모델링을 통해 건설 안전사고 주요 핵심 키워드의 흐름에 대해 파악이 가능하다. 본 방법론을 적용하기 위해 540개의 건설 안전사고 관련 뉴스데이터를 수집하였다. 이를 기반으로, 10가지 토픽과 각 토픽 내의 10가지 키워드를 통해 주요 이슈를 도출하였고 각 토픽에 대한 2017년 1월부터 2018년 2월까지의 뉴스 데이터를 월별 시계열 분석을 통해 향후 토픽에 관한 이슈를 예측한다. 본 연구를 바탕으로 향후 건설 안전사고의 다양한 이슈를 선제적으로 예측하고 이를 기반으로 건설 안전사고 정책과 연구에 좋은 방향을 제시할 것으로 판단한다.

In order to understand and track the trends of construction safety accident, this study shows the topic trends in the construction safety accident with LDA(Latent Dirichlet Allocation)-based topic modeling method for data analytics. Especially, it performs to figure out the main issue of construction safety accident with unstructured data analysis based on the topic modeling rather than a variety of structured data analysis for preventing to safety accident in construction industry. To apply this methodology, I randomly collected to 540 news article data about construction accident from January 2017 to February 2018. Based on the unstructured data with the LDA-based topic modeling, I found the 10 topics and identified key issues through 10 keyword in each 10 topics. I forecasted the topic issue related to construction safety accident based on analysis of time-series trends about the news data from January 2017 to February 2018. With this method, this research gives a hint about ways of using unstructured news article data to anticipate safety policy and research field and to respond to construction accident safety issues in the future.