Earticle

그간 차량검지기로부터 수집되는 다양한 정보는 주로 실시간 자료로 이용되었으나 최근 교통데이터 이력자료의 활용방안에 대한 중요성이 증대되고 있다. 이러한 배경에서 본 연구는 차량검지기자료의 이력자료 활용을 위한 전처리 개선에 대한 연구를 수행하였다. 실제 교통현상과 가장 가까운 데이터 처리를 목적으로 세부처리로직을 개선하였다. 평가결과 기존 전처리 과정보다 개선 전처리 과정이 실제값에 가까운 결과를 나타내는 것으로 분석되었다.

While the vehicle detector is collected from a variety of information was mainly used as a real-time data. Recently scheme of application for archived traffic data has become increasingly important. In this background, this research were conducted on the improvement of the preprocessing for archived traffic data application. The purpose of improving specific preprocessing was reflect transportation phenomena by traffic data. As evaluation result, improvement preprocessing was close to the actual value than exist preprocessing

효율적인 데이터베이스 마케팅을 위하여 고객들을 세분화하고, 새로운 지식을 탐색할 수 있는 데이터마이닝 의 필요성이 증대되고 있다. 데이터마이닝 도구를 구축하기 위해서는 단계별 구현이 요구되어 지는데, 본 연구에서는 데이터마이닝 을 위한 분산 환경에 적응 가능한 데이터 전처리 도구를 구성하였다. 기존의 데이터마이닝 도구인 앤 서 트리, 클레멘타인, 엔터프라이즈 마이너, 캔싱턴, 웨카의 전처리 부분을 고찰하고, 분산 환경에서 효율적으로 사용 할 수 있는 데이터 마이닝 전처리 도구를 구성하였다. 새로이 제안된 시스템은 엔터프라이즈 자바 빈즈와 XML을 기반으로 하였다.

This paper is to construction of the data mining preprocessing tool for efficient database marketing. We compare and evaluate the often used data mining tools based on the access method to local and remote databases, and on the exchange of information resources between different computers. The evaluated preprocessing of data mining tools are Answer Tree, Climentine, Enterprise Miner, Kensington, and Weka. We propose a design principle for an efficient system for data preprocessing for data mining on the distributed networks. This system is based on Java technology including EJB(Enterprise Java Beans) and XML(eXtensible Markup Language).

본 논문는 ‘알고리즘’이라는 키워드를 중심으로 NAVER 뉴스 데이터에 텍스트 마이닝 기법을 적용한 것이다. 연구의 목적은 뉴스 데이터에서 ‘알고리즘’과 관련된 주요 트렌드와 주제를 식별하고 분석하는 것이었다. 이를 위해 데이터 수집, 전처리, 특성 벡터화, 토픽 모델링 등의 과정을 수행하였다. 데이터 수집은 NAVER API를 사용하여 ‘알고리즘’ 키워드가 포함된 뉴스 기사를 대상으로 하였다. 수집된 데이터는 텍스트 전처리를 거쳐 분석에 적합한 형태로 변환되었다. 이후 특성 벡터화를 통해 텍스트 데이터를 머신러닝 알고리즘이 처리할 수 있는 수치적 형태로 변환하였 으며, LDA와 LSA와 같은 토픽 모델링 기법을 적용하여 주요 토픽들을 추출하고 분석하였다. 분석 결과, ‘알고리즘’ 키워드는 다양한 뉴스 주제에 걸쳐 상당한 중요성을 지니고 있음이 밝혀졌다. 특히, 기술 발전, 사회적 영향, 비즈니 스 전략 등과 관련된 토픽들이 주요하게 다루어졌다. 본 연구는 알고리즘과 관련된 뉴스 콘텐츠의 트렌드와 주제를 파악하는 데 있어 텍스트 마이닝 기법의 유용성을 입증하였다.

This study applies text mining techniques to NAVER News data, focusing on the keyword 'algorithm'. The aim was to identify and analyze the major trends and topics related to 'algorithm' within the news data. The process involved data collection, preprocessing, feature vectorization, and topic modeling.Data collection was performed using the NAVER API, targeting news articles that contained the keyword 'algorithm'. The collected data underwent text preprocessing to transform it into a format suitable for analysis. Subsequently, feature vectorization converted the text data into a numerical form that machine learning algorithms can process. Topic modeling techniques, such as LDA and LSA, were applied to extract and analyze the main topics.The analysis revealed that the keyword 'algorithm' holds significant importance across various news topics. Notably, topics related to technological advancements, societal impact, and business strategies were predominantly featured. This research demonstrates the effectiveness of text mining techniques in identifying and understanding trends and topics associated with algorithms in news content.

챗봇은 학술적인 분야에 국한되지 않고 다양한 분야에서 연구되고 사용되고 있다. 그럼에도 불구하고 대부분의 챗봇은 성격이 일관적이지 않다는 문제점이 있었다. 본 연구는 해당 문제를 해결하고자 새로운 전처리 방식과 학습 방법론을 제안한다. 제안된 방법론의 효용성을 검증하기 위해서 PERSONA-CHAT 데이터셋 중 validation 데이터셋으로 성능을 비교하는 실험을 진행하였고, 같은 데이터셋을 활용한 다른 모델에 비해 Perplexity의 지표에서 가장 높은 성능을 달성했다.

인공신경망 기계번역(Neural Machine Translation, NMT)은 한정된 개수의 단어만을 번역에 이용하기 때문 에 사전에 등록되지 않은 단어들이 입력으로 들어올 가능성이 있다. 이러한 Out of Vocabulary(OOV) 문제를 완화하고자 고안된 방법이 서브 워드 분절(Subword Tokenization)이며, 이는 문장을 단어보다 더 작은 서브 워드 단위로 분할하여 단어를 구성하는 방법론이다. 본 논문에서는 일반적인 서브 워드 분절 알고리즘들을 다루며, 나아가 한국어의 무한한 용언 활용을 잘 다룰 수 있는 사전을 만들기 위해 한국어의 음절 중 종성을 분리하여 서브 워드 분절을 학습하는 새로운 방법론을 제안한다. 실험결과 본 논문에서 제안하는 방법론이 기존의 서브 워드 분리 방법론보다 높은 성능을 거두었다.

Since Neural Machine Translation (NMT) uses only a limited number of words, there is a possibility that words that are not registered in the dictionary will be entered as input. The proposed method to alleviate this Out of Vocabulary (OOV) problem is Subword Tokenization, which is a methodology for constructing words by dividing sentences into subword units smaller than words. In this paper, we deal with general subword tokenization algorithms. Furthermore, in order to create a vocabulary that can handle the infinite conjugation of Korean adjectives and verbs, we propose a new methodology for subword tokenization training by separating the Jongsung(coda) from Korean syllables (consisting of Chosung-onset, Jungsung-neucleus and Jongsung-coda). As a result of the experiment, the methodology proposed in this paper outperforms the existing subword tokenization methodology.

To enable optical interconnect fluidity in next-generation data centers, we propose adaptive transmission based on machine learning in a wavelength-routing network. We consider programmable transmitters that can apply possible code rates to connections based on predicted bit error rate (BER) values. To classify the BER, we employ a preprocessing algorithm to feed the traffic data to a neural network classifier. We demonstrate the significance of our proposed preprocessing algorithm and the classifier performance for different values of and switch port count.

We propose a preprocessing system that transforms the real world into 3D mesh virtual world to provide augmented reality (AR) services. The proposed system uses a monocular RGB camera to obtain sequential images to generate real space. First, we create 3D real-world space composed of point clouds using sequential color images. And then, we segment the objects in each color image and assign an identification number for each object. Also, we execute ‘3D point labeling’, which assigns identification numbers from 2D segmented object to 3D point cloud through a simple projection manner with several parameters. This process could collect 3D point cloud with same the label by as an object. Finally, only the 3D point clouds that have the same identification number by as an object are used to generate 3D mesh. This paper confirmed that 3D mesh could be created using the only general monocular camera without the help of special 3D sensors.

비대면 서비스의 확산과 원격근무 등의 생활이 일상화되면서 메타버스의 이용자가 급증하였으며, 세컨드 라이프를 위한 금 융, 부동산 등 자산 실거래로써 사람들의 생활반경이 자연스럽게 확대되고 있다. 하지만 실세계에서와 같이 경제 활동을 자유 롭게 하기에는 전혀 다른 쟁점의 보안 이슈들이 발생할 수 있으며, 기존의 사이버 공간과 비교해도 완전히 새로운 유형의 문 제들이 발생할 가능성이 크다. 본 논문에서는 이러한 문제를 해결하기 위해 인증 및 프라이버시를 중점으로 방안을 제안한다. 메타버스에서 수집되는 데이터의 특수성에 기반하여 데이터 전처리 기능을 개선하고, W3C의 DID의 표준 방식을 준수하는 가 운데 NFT를 활용한 메타버스 내 새로운 인증 서비스를 정의하며, 이에 대한 시스템 설계 및 개발 방안을 제시한다. 제안한 시스템은 하이퍼레저 인디 블록체인을 활용하여 구현하고, 결과를 분석하여 본 연구의 적용 가능성 및 우수성을 검증한다.

As remote services and remote work become commonplace, the use of the Metaverse has grown. This allows transactions like real estate and finance in virtual Second Life. However, conducting economic activities in the Metaverse presents unique security challenges compared to the physical world and conventional cyberspace. To address these, the paper proposes solutions centered on authentication and privacy. It suggests improving data preprocessing based on Metaverse data's uniqueness and introduces a new authentication service using NFTs while adhering to W3C's DID framework. The system is implemented using Hyperledger Indy blockchain, and its success is confirmed through implementation analysis.

An advanced extraction method by ultrasonic extraction with applied solid phase extraction (SPE) has been developed for the determination of simultaneous eight major ginsenosides, namely ginsenosides Rg1, Re, Rf, Rb1, Rg2, Rc, Rb2, and Rd in the root of Panax ginseng. Four extraction methods including n-BuOH reflux extraction (Method A), 70% EtOH reflux extraction (Method B), 50% MeOH reflux extraction with SPE (Method C), and 50% MeOH ultrasonication with SPE clean-up process (Method D) were investigated for the determination of eight major ginsenosides. Total contents of ginsenosides were highest by extraction of Method C as 2.408 ± 0.011%. However, Method D was evaluated as relatively simpler and more efficient method due to short extraction time, small solvent consumption and less expensive, compared to conservative reflux method. Ginsenosides were also satisfactorily separated with good resolution and the accuracy range was between 1.05 and 4.06% as relative standard deviation (RSD) by Method D. SPE condition and HPLC condition were further optimized for determination of eight major ginsenosides by the ultrasonic extraction method. Conclusively, ultrasonic extraction of 2 g sample of ginseng using ultrasonic bath and 1 loading for SPE was evaluated as proper condition for extraction of ginseng.

양자 컴퓨터는 정보를 처리하기 위해 양자역학의 원리를 활용하는 컴퓨터 방식으로, 특정 알고리듬에 대해서는 기존 CPU 기반 컴퓨터에 비해 효율적인 연산비용을 가진다. 가장 범용적인 양자 컴퓨터인 양자 게이트 컴퓨터는 트랜지스터로 만들어진 게이트에 대응되는 양자 게이트를 연산 도구로 사용한다. 반면 양자 어닐러는 입자가 가진 파동 형태의 특성상 입자의 에너지보다 높은 장벽을 통과할 수 있다는 이론인 양자 터널링을 이용한 양자 컴퓨터로, 수학적 최적화 수행에 특화되어있다. 본 연구는 탄성파 탐사 자료의 처리 기법 및 지하구조 영상화 알고리듬 과정을 양자 컴퓨터로수행할 수 있는 이론적 가능성을 제시한다. 또한 해당 수행방법의 한계점을 함께 제시한다. 결과적으로, 본 연구는 양자 처리 장치가 추후 수치모델링, 탄성파 탐사 자료 전처리 및 자료 품질 향상 등의 기법을 시간효율적으로 수행할 수 있다는 가능성을 시사한다.

Quantum computers utilize the principles of quantum mechanics to process information and have efficient computational costs compared with central-processing-unit-based computers for specific algorithms. The most general-purpose quantum computer, the quantum gate computer, uses quantum gates corresponding to gates made of transistors as computational tools. Quantum annealers, however, utilize quantum tunneling, based on the theory that particles can pass through barriers higher than the particle energy owing to the particle waveform, and it is specialized in performing mathematical optimizations. This study investigated the theoretical possibility of applying seismic exploration data processing techniques and subsurface structure imaging algorithms using quantum computers. However, this study also reveals the limitations of these methods. The results suggest that quantum computers have the potential to perform numerical modeling, seismic data preprocessing, and data enhancement in a time-efficient manner.

자율주행 4단계 이상에서는 차량 스스로가 목적지까지 주행하기 위해 차선 단위의 전역경 로를 생성하는 것이 필수적이며, 이를 위해 정밀도로지도 활용에 관한 연구가 활발히 진행되 고 있다. 정밀도로지도 기반 전역경로 생성을 위해서는 정확한 링크 정보를 통해 도로 네트워 크를 구축하는 것이 필수적인데, 현재 공개된 정밀도로지도는 이 부분의 구현을 어렵게 하는 다양한 오류를 포함하는 것을 볼 수 있다. 이러한 배경을 바탕으로 본 연구에서는 정밀도로지 도 기반 전역경로 생성을 위한 링크 오류 개선 및 도로 네트워크 구축에 관한 연구를 수행하였 다. 전역경로 생성에 치명적일 수 있는 오류를 검출하고 링크를 포함한 정밀도로지도의 정보 들을 활용하여 도로 네트워크를 구축하는 전처리 알고리즘을 개발하였다. 제안하는 방법을 통 하여 실제 정밀도로지도로부터 정확한 전역경로를 생성할 수 있는 것을 확인함으로써 본 연구 의 유효성을 검증하였다.

An HD map is essential in the automated driving of level 4 and above to generate the vehicle's global path since it contains road information and each road's lane information. Therefore, all the road elements in the HD map must be correctly defined to construct the correct road network necessary to generate the global path. But unfortunately, it is not difficult to find various errors even in the most recent HD maps. Hence, a preprocessing algorithm has been developed to detect and correct errors in the HD map. This error detection and correction result in constructing the correct road network for use in global path planning. Furthermore, the algorithm was tested on real roads' HD maps, demonstrating its validity.

최근 몇 년간 딥 오토 인코더 또는 UNet과 같은 딥러닝 모델이 이상 상황 탐지를 위한 재구성 기반 모델로 사용되었다. 이러한 재구성 기반 모델은 재구성 손실을 기반으로 비정상 지수를 측정한다. 그러나 재구성 기반 모델의 탐지 성능은 입력 데이터의 형식에 따라 크게 좌우되므로 데이터 전처리 과정은 재구성 기반 이상 탐지 모델의 탐지 성능을 향상하는 데 매우 중요한 요소이다. 따라서 본 연구에서는 이상 탐지를 위한 새로운 데이터 처리 방법을 제안한다. 우리가 제안한 데이터 전처리 과정에서는 우선 현재 프레임과 이전 프레임 간의 차이를 계산하여 새로운 이미지를 생성한다. 그런 다음 새로 구축된 이미지를 UNet 모델에 대한 입력 이미지로 사용한다. 그런 다음 원래 이미지와 UNet 모델을 통해 재구성된 이미지 간의 차이를 계산하여 이상 영역 위치를 탐지한다. 실험에서 우리가 제안한 데이터 전처리 방법과 기존의 다른 데이터 전처리 기법의 탐지 성능을 비교하였다. 실험 결과 우리가 제안한 데이터 처리 방법을 사용한 UNet 기반 이상 탐지 모델이 다른 데이터 전처리 방법을 사용한 모델보다 이상 영역을 더 잘 탐지할 수 있음을 보여준다.

데이터 기반 의사결정 방법론, 고도화된 빅데이터 처리 기법의 발달로 데이터를 처리하는 방법에 대한 정보의 수요가 늘어나고 있다. 데이터를 활용하는 거의 모든 작업과 연구에서 데이터 전처리 과정이 포함 되나, 이러한 과정은 주장하고자 하는 내용이나 결과물을 도출하기 위한 수단으로써 언급될 뿐 실질적인 과정에 대해서 자세하게 설명하고 있는 연구는 부족하였다. 실질적인 분석 기법을 활용하기 이전의 단계 로 간단하게 언급되는 경우가 많아 데이터 처리에 대한 인사이트를 획득하기 어려운 경우가 많았다. 따라 서 해당 연구에서는, raw data에서부터 데이터를 처리하는 과정, 즉 데이터 처리 파이프라인에 대해서 자세하게 작성하고자 하였다. 특히 수입식품 수입 절차에 대한 설명을 구체화하여 해당 상황에서 데이터 의 필드들이 어떻게 해석될 수 있고 어떠한 필드들을 왜 활용하게 되었는지에 대한 상황과 해당 도메인 지식을 공유하면서 흐름을 기술하고자 하였다.

With the development of data-driven decision-making and sophisticated big data processing technique, there is a growing demand for information on how to process data. However, recent studies with data preprocessing mentioned only as a means to achieve a result. Therefore, in this study, we aimed to write in detail about the data processing pipeline, include prerocessing data. In particular, we shares the context and domain knowledge to aid fluent understand of the research.

TCS (Toll Collection System) 데이터는 원시 데이터 자체로서도 구간의 교통상황을 어느 정도 반영할 수 있는 교통특성을 내포하고 있다. 그러나 TCS 데이터에는 이상치가 포함되어 있어 이러한 데이터는 해당 구간의 통행시간을 대표한다고 볼 수 없으므로 만약 이러한 이상치들이 포함되어 있음에도 불구하고 제거하지 않고 집락을 한다면 이상치들로 인해 통행시간은 크게 왜곡 될 가능성이 있다. 특히 장거리 구간일수록 통행시간의 분산이 증가하여 동일구간 동일시간대라도 다양한 통행시간이 분포하고 있다. 구간이 길어질수록 통행시간의 변동이 심하여 적절한 통행시간 대푯값을 구하기가 어렵다. 따라서 TCS 자료를 이용하여 통행시간의 대푯값을 산정하기 위해서는 통행시간의 변동 특성을 파악하는 것이 중요하다. 본 연구에서는 TCS 데이터의 전처리 기법을 개선하되 구간의 길이와 교통상황에 따른 통행시간의 변동을 고려하여 TCS 원시데이터로부터 시･공간적 통행패턴을 파악할 수 있는 의미 있는 통행시간을 추출하고자 한다.

TCS Data imply characteristics of traffic conditions. However, there are outliers in TCS data, which can not represent the travel time of the pertinent section, if these outliers are not eliminated, travel time may be distorted owing to these outliers. Various travel time can be distributed under the same section and time because the variation of the travel time is increase as the section distance is increase, which make difficult to calculate the representative of travel time. Accordingly, it is important to grasp travel time characteristics in order to compute the representative of travel time using TCS Data. In this study, after analyzing the variation ratio of the travel time according to the link distance and the level of congestion, the outlier elimination model and the smoothing model for TCS data were proposed. The results show that the proposed model can be utilized for estimating a reliable travel time for a long-distance path in which there are a variation of travel times from the same departure time, the intervals are large and the change in the representative travel time is irregular for a short period.

본 논문에서는 계량기영상에서 발생하는 변화요인을 제거하기 위한 전처리 기법들을 제안한다. 이들 중 윤곽보존 숫자강화라고 명명한 제안기법은 계기판 영상이 고르지 못한 문제점을 해결하기 위해 설계되었다. 이 기법은 숫자 테두리의 명도는 그대로 유지하면서 숫자 중심부분의 밝기는 강화시킴으로써 숫자 영역을 배경 영역으로 부터 두드러지게 한다. 제안하는 전처리 기법의 효과는 통계적 학습이론에 기반을 둔 SVM을 이용한 숫자인식 성능실험을 통해 입증한다. 마진 및 인식률 측면에서 제안기법의 획기적 성능향상을 보인다.

In this paper we propose several preprocessing techniques to remove a few variations occurred in meter-digit images. Among these techniques, one method named Contour Preserving Digit Enhancement is designed to solve the problem of irregularity of digit-panel images. This method strengthens the digit region from the background region by preserving the intensity of the border region of a digit while enhancing the center region of the digit. We prove the effect of the proposed method through experiments with SVM which is based on Statistical Learning Theory. Then we demonstrate the significant improvement of the proposed method with respect to the margin and recognition rate.

최근 다양한 형태의 악성코드 등장으로 인해 기존의 정적 분석은 많은 한계를 노출하고 있다. 정적분석 은 (악성)코드를 실제로 실행하지 않고 원시 코드나 목적 코드를 가지고 코드나 프로그램의 구조를 분석 하는 것을 의미한다. 한편 정보보안 분야에서의 동적 분석이란 일반적으로 (악성)코드를 직접 실행하여 분석하는 형태로 프로그램의 실행 플로우를 파악하기 위해 (악성)코드의 실행 전후 상태를 비교·조사하여 분석하는 형태를 의미한다. 그러나 동적 분석을 위해서는 막대한 양의 데이터와 로그를 분석해야 하며 모 든 실행 플로우를 실제로 저장하기도 어려웠다. 본 논문에서는 윈도우 환경(윈도우 10 R5 이상)에서 2세 대 PT를 기반으로 악성코드 탐지 및 실시간 다중 동적 분석을 수행하는 시스템의 전처리기 구조를 제안 하였고 이를 구현하였다.

Recently, due to the appearance of various types of malware, the existing static analysis expose s many limitations. Static analysis means analyzing the structure of a code or program with sourc e code or object code without actually executing the (malicious) code. On the other hand, dynamic analysis in the field of information security generally refers to a form that directly executes and a nalyzes (malware) code, and compares and examines and analyzes the state before and after execu tion of (malware) code to grasp the execution flow of the program. However, dynamic analysis req uired analyzing huge amounts of data and logs, and it was difficult to actually store all execution flows. In this paper, we propose and implement a preprocessor architecture of a system that performs malware detection and real-time multi-dynamic analysis based on 2nd generation PT in Windows environment (Windows 10 R5 and above).