Earticle

최근 몇 년간 딥 오토 인코더 또는 UNet과 같은 딥러닝 모델이 이상 상황 탐지를 위한 재구성 기반 모델로 사용되었다. 이러한 재구성 기반 모델은 재구성 손실을 기반으로 비정상 지수를 측정한다. 그러나 재구성 기반 모델의 탐지 성능은 입력 데이터의 형식에 따라 크게 좌우되므로 데이터 전처리 과정은 재구성 기반 이상 탐지 모델의 탐지 성능을 향상하는 데 매우 중요한 요소이다. 따라서 본 연구에서는 이상 탐지를 위한 새로운 데이터 처리 방법을 제안한다. 우리가 제안한 데이터 전처리 과정에서는 우선 현재 프레임과 이전 프레임 간의 차이를 계산하여 새로운 이미지를 생성한다. 그런 다음 새로 구축된 이미지를 UNet 모델에 대한 입력 이미지로 사용한다. 그런 다음 원래 이미지와 UNet 모델을 통해 재구성된 이미지 간의 차이를 계산하여 이상 영역 위치를 탐지한다. 실험에서 우리가 제안한 데이터 전처리 방법과 기존의 다른 데이터 전처리 기법의 탐지 성능을 비교하였다. 실험 결과 우리가 제안한 데이터 처리 방법을 사용한 UNet 기반 이상 탐지 모델이 다른 데이터 전처리 방법을 사용한 모델보다 이상 영역을 더 잘 탐지할 수 있음을 보여준다.

데이터 기반 의사결정 방법론, 고도화된 빅데이터 처리 기법의 발달로 데이터를 처리하는 방법에 대한 정보의 수요가 늘어나고 있다. 데이터를 활용하는 거의 모든 작업과 연구에서 데이터 전처리 과정이 포함 되나, 이러한 과정은 주장하고자 하는 내용이나 결과물을 도출하기 위한 수단으로써 언급될 뿐 실질적인 과정에 대해서 자세하게 설명하고 있는 연구는 부족하였다. 실질적인 분석 기법을 활용하기 이전의 단계 로 간단하게 언급되는 경우가 많아 데이터 처리에 대한 인사이트를 획득하기 어려운 경우가 많았다. 따라 서 해당 연구에서는, raw data에서부터 데이터를 처리하는 과정, 즉 데이터 처리 파이프라인에 대해서 자세하게 작성하고자 하였다. 특히 수입식품 수입 절차에 대한 설명을 구체화하여 해당 상황에서 데이터 의 필드들이 어떻게 해석될 수 있고 어떠한 필드들을 왜 활용하게 되었는지에 대한 상황과 해당 도메인 지식을 공유하면서 흐름을 기술하고자 하였다.

With the development of data-driven decision-making and sophisticated big data processing technique, there is a growing demand for information on how to process data. However, recent studies with data preprocessing mentioned only as a means to achieve a result. Therefore, in this study, we aimed to write in detail about the data processing pipeline, include prerocessing data. In particular, we shares the context and domain knowledge to aid fluent understand of the research.

최근 많은 게임이 사용자의 게임 플레이와 관련된 데이터를 제공하고 있고, 이에 기계학습 기법을 결합하여 상대의 행동을 예측하는 연구들이 있다. 본 연구는 실시간 전략 게임(클래시로얄)의 경기 데이터와 기계학습 기반의 다 중 레이블 분류를 사용하여 상대 플레이어의 행동을 예측한다. 초기 실험은 이진 형태의 카드 특성과 카드 배치 좌표 그리고 정규화된 시간 정보를 입력받아 카드 타입, 카드 배치 좌표를 랜덤포레스트와 다층 퍼셉트론을 이용하여 예측한 다. 이후, 순차적으로 3 가지 전처리 방식을 사용하여 실험을 진행했다. 먼저 입력 데이터의 특성 정보 일부를 변환 시켜 예측했다. 다음으로 입력 데이터를 연속된 카드 입력 방식까지 고려한 중첩 형태로 변환 시켜 예측했다. 마지막으 로 모든 이전 단계의 데이터들을 정규화된 시간 기준에 따라 초반, 후반으로 분할하여 예측했다. 그 결과 가장 개선을 보인 전처리 방식은 중첩 형태의 데이터를 초반으로 분할하였을 경우로 카드 타입이 약 2.6%, 카드 배치 좌표가 약 1.8% 개선을 보였다.

Recently, many games provide data related to the users' game play, and there have been a few studies that predict opponent move by combining machine learning methods. This study predicts opponent move using match data of a real-time strategy game named ClashRoyale and a multi-label classification based on machine learning. In the initial experiment, binary card properties, binary card coordinates, and normalized time information are input, and card type and card coordinates are predicted using random forest and multi-layer perceptron. Subsequently, experiments were conducted sequentially using the next three data preprocessing methods. First, some property information of the input data were transformed. Next, input data were converted to nested form considering the consecutive card input system. Finally, input data were predicted by dividing into the early and the latter according to the normalized time information. As a result, the best preprocessing step was shown about 2.6% improvement in card type and about 1.8% improvement in card coordinates when nested data divided into the early.

최근 사물인터넷과 다양한 웨어러블 기기들이 등장하면서 인터넷 기술은 보다 편리하게 정보를 얻고 업무를 수행하는데 기여하고 있으나 인터넷이 다양한 부분에 이용되면서 공격에 노출되는 Attack Surface 지점이 증가하고 있으며 개인정보 획득, 위조, 사이버 테러 등 부당한 이익을 취하기 위한 목적의 네트워크 침입 시도 또한 증가하고 있다. 본 논문에서는 네트워크에서 발생하는 트래픽에서 비정상적인 행동을 분류하기 위한 희소클래스의 분류 성능을 개선하는 특징선택을 제안한다. UNSW-NB15 데이터셋은 다른 클래스에 비해 상대적으로 적은 인스턴스를 가지는 희 소클래스 불균형 문제가 발생하며 이를 제거하기 위해 언더샘플링 방법을 사용한다. 학습 알고리즘으로 SVM, k-NN 및 decision tree를 사용하고 훈련과 검증을 통하여 탐지 정확도와 RMSE가 우수한 조합의 서브셋들을 추출한다. 서브 셋들은 래퍼 기반의 실험을 통해 재현률 98%이상의 유효성을 입증하였으며 DT_PSO 방법이 가장 우수한 성능을 보였다.

Recently, as the Internet and various wearable devices have appeared, Internet technology has contributed to obtaining more convenient information and doing business. However, as the internet is used in various parts, the attack surface points that are exposed to attacks are increasing, Attempts to invade networks aimed at taking unfair advantage, such as cyber terrorism, are also increasing. In this paper, we propose a feature selection method to improve the classification performance of the class to classify the abnormal behavior in the network traffic. The UNSW-NB15 dataset has a rare class imbalance problem with relatively few instances compared to other classes, and an undersampling method is used to eliminate it. We use the SVM, k-NN, and decision tree algorithms and extract a subset of combinations with superior detection accuracy and RMSE through training and verification. The subset has recall values of more than 98% through the wrapper based experiments and the DT_PSO showed the best performance.

To enable optical interconnect fluidity in next-generation data centers, we propose adaptive transmission based on machine learning in a wavelength-routing network. We consider programmable transmitters that can apply possible code rates to connections based on predicted bit error rate (BER) values. To classify the BER, we employ a preprocessing algorithm to feed the traffic data to a neural network classifier. We demonstrate the significance of our proposed preprocessing algorithm and the classifier performance for different values of and switch port count.

비대면 서비스의 확산과 원격근무 등의 생활이 일상화되면서 메타버스의 이용자가 급증하였으며, 세컨드 라이프를 위한 금 융, 부동산 등 자산 실거래로써 사람들의 생활반경이 자연스럽게 확대되고 있다. 하지만 실세계에서와 같이 경제 활동을 자유 롭게 하기에는 전혀 다른 쟁점의 보안 이슈들이 발생할 수 있으며, 기존의 사이버 공간과 비교해도 완전히 새로운 유형의 문 제들이 발생할 가능성이 크다. 본 논문에서는 이러한 문제를 해결하기 위해 인증 및 프라이버시를 중점으로 방안을 제안한다. 메타버스에서 수집되는 데이터의 특수성에 기반하여 데이터 전처리 기능을 개선하고, W3C의 DID의 표준 방식을 준수하는 가 운데 NFT를 활용한 메타버스 내 새로운 인증 서비스를 정의하며, 이에 대한 시스템 설계 및 개발 방안을 제시한다. 제안한 시스템은 하이퍼레저 인디 블록체인을 활용하여 구현하고, 결과를 분석하여 본 연구의 적용 가능성 및 우수성을 검증한다.

As remote services and remote work become commonplace, the use of the Metaverse has grown. This allows transactions like real estate and finance in virtual Second Life. However, conducting economic activities in the Metaverse presents unique security challenges compared to the physical world and conventional cyberspace. To address these, the paper proposes solutions centered on authentication and privacy. It suggests improving data preprocessing based on Metaverse data's uniqueness and introduces a new authentication service using NFTs while adhering to W3C's DID framework. The system is implemented using Hyperledger Indy blockchain, and its success is confirmed through implementation analysis.

양자 컴퓨터는 정보를 처리하기 위해 양자역학의 원리를 활용하는 컴퓨터 방식으로, 특정 알고리듬에 대해서는 기존 CPU 기반 컴퓨터에 비해 효율적인 연산비용을 가진다. 가장 범용적인 양자 컴퓨터인 양자 게이트 컴퓨터는 트랜지스터로 만들어진 게이트에 대응되는 양자 게이트를 연산 도구로 사용한다. 반면 양자 어닐러는 입자가 가진 파동 형태의 특성상 입자의 에너지보다 높은 장벽을 통과할 수 있다는 이론인 양자 터널링을 이용한 양자 컴퓨터로, 수학적 최적화 수행에 특화되어있다. 본 연구는 탄성파 탐사 자료의 처리 기법 및 지하구조 영상화 알고리듬 과정을 양자 컴퓨터로수행할 수 있는 이론적 가능성을 제시한다. 또한 해당 수행방법의 한계점을 함께 제시한다. 결과적으로, 본 연구는 양자 처리 장치가 추후 수치모델링, 탄성파 탐사 자료 전처리 및 자료 품질 향상 등의 기법을 시간효율적으로 수행할 수 있다는 가능성을 시사한다.

Quantum computers utilize the principles of quantum mechanics to process information and have efficient computational costs compared with central-processing-unit-based computers for specific algorithms. The most general-purpose quantum computer, the quantum gate computer, uses quantum gates corresponding to gates made of transistors as computational tools. Quantum annealers, however, utilize quantum tunneling, based on the theory that particles can pass through barriers higher than the particle energy owing to the particle waveform, and it is specialized in performing mathematical optimizations. This study investigated the theoretical possibility of applying seismic exploration data processing techniques and subsurface structure imaging algorithms using quantum computers. However, this study also reveals the limitations of these methods. The results suggest that quantum computers have the potential to perform numerical modeling, seismic data preprocessing, and data enhancement in a time-efficient manner.

효율적인 데이터베이스 마케팅을 위하여 고객들을 세분화하고, 새로운 지식을 탐색할 수 있는 데이터마이닝 의 필요성이 증대되고 있다. 데이터마이닝 도구를 구축하기 위해서는 단계별 구현이 요구되어 지는데, 본 연구에서는 데이터마이닝 을 위한 분산 환경에 적응 가능한 데이터 전처리 도구를 구성하였다. 기존의 데이터마이닝 도구인 앤 서 트리, 클레멘타인, 엔터프라이즈 마이너, 캔싱턴, 웨카의 전처리 부분을 고찰하고, 분산 환경에서 효율적으로 사용 할 수 있는 데이터 마이닝 전처리 도구를 구성하였다. 새로이 제안된 시스템은 엔터프라이즈 자바 빈즈와 XML을 기반으로 하였다.

This paper is to construction of the data mining preprocessing tool for efficient database marketing. We compare and evaluate the often used data mining tools based on the access method to local and remote databases, and on the exchange of information resources between different computers. The evaluated preprocessing of data mining tools are Answer Tree, Climentine, Enterprise Miner, Kensington, and Weka. We propose a design principle for an efficient system for data preprocessing for data mining on the distributed networks. This system is based on Java technology including EJB(Enterprise Java Beans) and XML(eXtensible Markup Language).

그간 차량검지기로부터 수집되는 다양한 정보는 주로 실시간 자료로 이용되었으나 최근 교통데이터 이력자료의 활용방안에 대한 중요성이 증대되고 있다. 이러한 배경에서 본 연구는 차량검지기자료의 이력자료 활용을 위한 전처리 개선에 대한 연구를 수행하였다. 실제 교통현상과 가장 가까운 데이터 처리를 목적으로 세부처리로직을 개선하였다. 평가결과 기존 전처리 과정보다 개선 전처리 과정이 실제값에 가까운 결과를 나타내는 것으로 분석되었다.

While the vehicle detector is collected from a variety of information was mainly used as a real-time data. Recently scheme of application for archived traffic data has become increasingly important. In this background, this research were conducted on the improvement of the preprocessing for archived traffic data application. The purpose of improving specific preprocessing was reflect transportation phenomena by traffic data. As evaluation result, improvement preprocessing was close to the actual value than exist preprocessing

TCS (Toll Collection System) 데이터는 원시 데이터 자체로서도 구간의 교통상황을 어느 정도 반영할 수 있는 교통특성을 내포하고 있다. 그러나 TCS 데이터에는 이상치가 포함되어 있어 이러한 데이터는 해당 구간의 통행시간을 대표한다고 볼 수 없으므로 만약 이러한 이상치들이 포함되어 있음에도 불구하고 제거하지 않고 집락을 한다면 이상치들로 인해 통행시간은 크게 왜곡 될 가능성이 있다. 특히 장거리 구간일수록 통행시간의 분산이 증가하여 동일구간 동일시간대라도 다양한 통행시간이 분포하고 있다. 구간이 길어질수록 통행시간의 변동이 심하여 적절한 통행시간 대푯값을 구하기가 어렵다. 따라서 TCS 자료를 이용하여 통행시간의 대푯값을 산정하기 위해서는 통행시간의 변동 특성을 파악하는 것이 중요하다. 본 연구에서는 TCS 데이터의 전처리 기법을 개선하되 구간의 길이와 교통상황에 따른 통행시간의 변동을 고려하여 TCS 원시데이터로부터 시･공간적 통행패턴을 파악할 수 있는 의미 있는 통행시간을 추출하고자 한다.

TCS Data imply characteristics of traffic conditions. However, there are outliers in TCS data, which can not represent the travel time of the pertinent section, if these outliers are not eliminated, travel time may be distorted owing to these outliers. Various travel time can be distributed under the same section and time because the variation of the travel time is increase as the section distance is increase, which make difficult to calculate the representative of travel time. Accordingly, it is important to grasp travel time characteristics in order to compute the representative of travel time using TCS Data. In this study, after analyzing the variation ratio of the travel time according to the link distance and the level of congestion, the outlier elimination model and the smoothing model for TCS data were proposed. The results show that the proposed model can be utilized for estimating a reliable travel time for a long-distance path in which there are a variation of travel times from the same departure time, the intervals are large and the change in the representative travel time is irregular for a short period.

The potential of cloud computing for overriding the needs for deploying various infrastructures for running a server based services brought up a revolutionary change in the way the traditional demands of the people use to be handled. Cloud computing provides the software’s on pay per use option which make it easier for the people who are not able to meet the economic requirements. Since the whole scenario is beneficial to big industries like facebook, google, orkut etc , various order fields are also getting dependent on cloud computing. Since tons of data is uploading every second to the cloud server does needs to be mined properly for efficient data storage.in this paper we try to integrate the data preprocessing technique with data classification technique to mine big data’s of asthma based patients.

Nowadays, a huge amount of data is stored in system from web, mobile, social media, and health centre or from any production company. Unfortunately these data cannot be used as it is. For knowledge discovery, we must use the quality input. To convert this data into quality input, we have many algorithms and methods in data mining. The preprocessing techniques are used for convert the noise data into quality data. So preprocessing steps are the most important steps in data mining. This paper presents all data preprocessing methods. Here the authors describes the four main process namely data cleaning, data integration, data reduction and data transformation.

This paper presents an automatic system for detection of breast cancer using data preprocessing and Bayesian network. In this study, ReliefF algorithm is used for reducing the dimension of breast cancer database then a pre-processing is done on the data and ultimately Bayesian network classifier is used for classification. The system performance has been compared with model NN (neural network) and AR + NN (neural networks combined with association rules). The dimension of input feature space is reduced from nine to eight by using ReliefF. In test stage, 3-fold cross validation method was applied to the Wisconsin breast cancer database to evaluate the proposed system performance. The correct classification rate of proposed system is 98.1%.This research offered that the preprocessing is necessary on this data and combination of ReliefF and Bayesian network can be used to obtain fast automatic diagnostic systems for breast cancer.

Big Data in the form of streaming, the data stream mining, has received a great deal of attention for some time. With disparate multiple sensors, sensors are able to gentrify the information they want to acquire. In this paper, the ways to encode a wide range of sensor data that is continuously reported is proposed. These encoding methods enable higher level analysis than identify the frequent pattern or association rules. It is essential that sensors are distributed and extract various and detailed information about the context that was sensed. This study suggests that it is essential that the sensor data is encoded in a reasonable and valid way of context inference and extracting a variety of quality information even in the data stream environment for on-off analysis of the large amount of sensor data that continuously flow in through the sensor data encoding method.

With the development of mobile internet and social network, the scale of structured data have been increasing to PB level and above rapidly, while the query performance is greatly reduce. The efficiency of query optimization on large-scale datasets is currently a research focus in both academia and industry. In this paper, we present a distributed data management method, designed to improve query performance, called KCSQ. KCSQ analyses historical SQL commands, deduces statistics using frequency and the coupling degree of tables and table columns, and confirms the key column based on statistical evidence. When importing new tables into the HDFS, the data are divided into different blocks according to their key column. Any query on these columns can reduce the amount of data to be queried and the number of working nodes and thus effectively improves the throughput rate of the system.