Earticle

대량의 데이터를 실시간으로 처리하는 스트리밍 처리에서는 데이터가 발생한 순서에 따라 처리하는 것이 중요하다. 그러나 데이터 스트림은 다양한 원인으로 인해 입력 순서가 뒤바뀔 수 있으며, 이런 무질서 데이터는 데이터 처리 시간을 지연시키거나, 처리 정확도를 떨어트리는 문제를 초래한다. 본 논문에서는 무질서 데이터 처리결과의 정확성 을 높이면서 이로 인해 발생하는 데이터 처리 지연을 줄일 수 있는 데이터 스트림 분리 처리 방법인 DSSP(Data Stream Split Processing) 모델을 제안한다. DSSP 모델은 지연 데이터로 인한 전체 처리시간의 지연을 방지하 기 위해 입력 데이터 스트림을 처리시간 내에 입력되는 정상 데이터 스트림과 처리시간 내에 입력되지 못한 지연 데 이터 스트림으로 분리하여 처리한다. 정상적으로 입력된 데이터는 처리결과를 우선 신속히 제공하고, 지연 입력된 데이터는 별도로 저장하였다가 그 처리결과를 추가로 반영하여 데이터의 정확성을 보장할 수 있도록 한다. 본 논문 에서는 DSSP 시스템의 실험적 구현을 통해 그 효율과 성능을 분석한다.

It is crucial to process the data stream in event-time ordering when real-time processing a great amount of data. Data stream however, through various causes may create disorientation of the input order. These out-of-order data may induce data latency and reduce the correctness of the result. We propose a one such approach, a DSSP(Data Stream Split Processing) model that can reduce the latency of the data processing while increasing the accuracy of out-of-order data process results. To prevent the delay of response time caused by late data, our DSSP model splits input data stream into normal data stream that arrives on time and late data stream that does not. This model provides the result of normal data stream first, then applies the late data result that has been separately cached to assure the correctness of the data processing. We analyze the efficiency and performance of our DSSP model through experimental implementation.

분산 스트림 처리 시스템을 위한 고가용성 알고리즘에는 Passive Standby, Active Standby, Upstream Backup 알고리즘 등이 있다. 기존의 고가용성 알고리즘은 복구 시 필요한 데이터의 백업을 위한 bandwidth overhead가 크며 노드의 연산결과를 다수의 downstream 노드들이 공유하며 데이터의 유입률이 폭발적으로 증가하는 경우에 출력 큐의 오버플로우로 인한 데이터의 손실 문제가 발생 할 수 있다. 본 논문은 이러한 문제들을 해결하기 위해 데이터 스트림의 유입량과 노드들의 연산처리율 모니터링을 통해 백업 방법을 유동적으로 변경시키는 적응적 Upstream Backup 알고리즘을 제안한다.

There have been High-Availability algorithms for Distributed Stream Processing System such as Passive Standby, Active Standby and Upstream Backup. Existing High Availability Algorithms have high bandwidth overhead when they backup data needed for restoring from the system failure and data can be lost by overflow of output queue in case of explosive increasing of input data rates. In this paper, we suggest adaptive Upstream Backup algorithm which changes fluidly the way to backup using monitor input rates of data stream and throughput of operation to solve those problems.

Recently, we have witnessed the emergence of new data stream management systems that can scale up to a large number of machines for the real-time processing of big data. These systems typically provide a procedural programming interface with their own APIs. However, to enable the rapid development of applications, it is desirable to support a declarative interface with clear processing semantics, such as window SQL. This paper examines the programming interfaces of the state-of-the-art data stream management systems and discusses the necessity of SQL support to help users write stream queries easily and in an integrated manner.

In the IOT environment, sensor data stream consists of event data from heterogeneous multi-sensors. One type of sensor may have quite a different event frequency from those other kinds of sensors, which makes most sensor data sets imbalanced. To classify an imbalanced data effectively, it is necessary to preprocess it for converting into a balanced data. This process may unify heterogeneous attributes in the imbalanced data and alleviate the difficulties for data mining on it. Mass function plays an important role in the fuzzy theory and Dempster-Shafer Theory. In this paper, using a mass function is suggested to process imbalanced data stream. A mass function is developed to compute mass values for imbalanced data sets, and an experiment is performed to investigate the validity to apply the mass function to the sensor data stream.

In this paper, we present a novel feedback control-based load shedding scheme for data stream processing. Firstly we apply system identification to establish a dynamic model to describe data stream management system (DSMS), which enables us to analyze DSMS quantitatively. Then, based on the model, we use the Root Locus method to design the PI controller with proven performance guarantees. Theoretic analysis and experimental results demonstrate that our approach is robust even when system load changes frequently. Comparing to existing strategies, our approach also achieves significantly better performance.

Detecting anomalies in human movement is an important task in industrial applications, such as monitoring industrial disasters or accidents and recognizing unauthorized factory intruders. In this paper, we propose an abnormal worker movement detection system based on data stream processing and hierarchical clustering. In the proposed system, Apache Spark is used for streaming the location data of people. A hierarchical clusteringbased anomalous trajectory detection algorithm is designed for detecting anomalies in human movement. The algorithm is integrated into Apache Spark for detecting anomalies from location data. Specifically, the location information is streamed to Apache Spark using the message queuing telemetry transport protocol. Then, Apache Spark processes and stores location data in a data frame. When there is a request from a client, the processed data in the data frame is taken and put into the proposed algorithm for detecting anomalies. A real mobility trace of people is used to evaluate the proposed system. The obtained results show that the system has high performance and can be used for a wide range of industrial applications.

OSGi는 로컬 네트워크에서 하드웨어 및 미들웨어에 대한 상호 호환성 및 안전한 접근을 위한 보안성을 보장한다. 홈 네트워크 서비스가 복잡해짐에 따라 홈 네트워크 내에 실시간 데이터를 생성하는 센서가 추가되고 이 센서들을 활용한 OSGi 응용 서비스들이 증가하고 있다. 하지만, OSGi 응용에서는 이러한 센서에서 획득 가능한 실시간 센서 데이터를 효과적으로 처리하는 방법에 관한 연구는 미진하다. 또한, 실시간 데이터를 처리하기 위하여 대부분의 OSGi 기반 응용에서는 응용에 종속적인 미들웨어를 사용하거나 실시간 데이터의 처리와 가공에 대해서는 고려하지 않는다. 따라서 본 논문에서는 OSGi 응용에서 실시간 데이터를 활용하여 서비스를 효율적으로 제공할 수 있는 OSGi 응용 프레임워크를 제안한다. 이를 위하여 OSGi 응용으로 하여금 표준화된 방법으로 실시간 데이터를 처리하도록 지원하는 ALE 기반 실시간 센서 스트림 처리 미들웨어와의 연동 방법에 대하여 제안한다.

OSGi provides interoperability between hardwares and softwares and security for safe access in local network environments. According to the complexity of services in a home network environment, the usage of newly constructed sensors which generate real-time sensor data stream are steadily growing in the network and OSGi application services are also increasing using those sensors. However, the researches to effectively process real-time sensor data stream generated by those sensors are not actively going on, nowadays. Also, almost of OSGi-based applications use application-dependant middleware to process real-time data and do not even consider the process and manipulation of real-time data stream in most cases. In this paper, we propose OSGi application framework to effectively provide home network services by using real-time data stream in OSGi applications. For this, the method of interoperability with ALE-compliant middleware is proposed to process sensor data stream in a standardized method.

Many continuous queries are important to be process efficiently in a data stream environment. It is applied a query index technique that takes linear performance irrespective of the number and width of intervals for processing many continuous queries. Previous researches are not able to support the dynamic insertion and deletion to arrange intervals for constructing an index previously. It shows that the insertion and search performance is slowed by the number and width of interval inserted. Many intervals have to be inserted and searched linearly in a data stream environment. Therefore, we propose Hashed Multiple Lists in order to process continuous queries linearly. Proposed technique shows fast linear search performance. It can be utilized the systems applying a sensor network, and preprocessing technique of spatiotemporal data mining.

데이터 스트림 처리에 관한 연구들은 최근 컴퓨터 과학 분야에서 가장 않은 관심을 가지고 있고 흥미있는 이슈 중 하나이다. 이러한 경향은 다양한 어플리케이션의 출현으로 질의 저리에 대한 효율적인 방법과 새로운 데이터 스트림의 모델을 필요로 하기 때문일 것이다. 본 논문은 그 중에서도 데이터 스트림 분야의 가장 중요한 부분으로 생각되는 스케줄링, 적절한 질의 처리, 부하 분산, 근사화, 분산 데이터 모니터링에 대한 연구 분석을 도모하였다.

센서 네트워크 환경에서 스트림 데이터를 모니터링 하기 위해서는 스트림 데이터에 대한 연속적인 질의들을 효과적으로 처리하는 것이 필요하다. 이러한 연속적인 질의를 빠르게 검색하고 처리하기 위하여 낮은 저장 비용과 빠른 탐색 성능을 가진 질의 색인 기법이 많이 활용되고 있다. 기존 연구들은 사전에 삽입될 Interval 을 알고 트리를 구성하므로 동적인 삽입, 삭제가 불가능하거나 삽입된 Interval 수와 Interval 의 범위에 따라 높은 저장 비용이나 상대적으로 느린 탐색 속도를 보인다. 따라서 이 논문에서는 연속적인 질의 처리를 효율적으로 하기 위하여 Hashed Multiple Lists 를 제안한다. 제안된 기법은 빠른 선형 탐색 성능과 낮은 저장 비용을 요구하며 삽입, 삭제가 용이하고 다양한 범위를 표현할 수 있는 장점이 있다. 제안된 색인 기법은 센서 네트워크를 응용한 시스템과 상황 인식 시스템 등에서 연속적인 질의를 처리하는데 활용할 수 있다.

The growth of using smartphone and tablet pc has enabled variety kinds of realtime applications. In these applications, the data which we called data stream is multidimensional, continuous, rapid, and time-varying. However the traditional Database Management System (DBMS) suffers from processing the real time and complex application, in this paper we proposed the framework for CCR Data Stream Server's design and implementation that compiled with Data Stream Database Management System (DSMS) and DBMS in EMR system. The system enables users not only to query stored CCR information from DBMS, but also to execute continues query for the real-time CCR Data Stream.

USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

센서 네트워크는 스스로 감지하고 계산하고 무선으로 서로 통신할 수 있는 기능을 갖춘 센서들로 이루어진 네트워크이다. 센서 네트워크의 특징들로는 네트워크가 자체적으로 관리가 되어야 한다는 것과 배터리 전원이여서 전력의 효율성을 크게 고려해야 한다는 것이 있다. 센서 네트워크에서 생성되는 많은 양의 연속적인 데이터에 대하여 여러 개의 질의들을 동시에 처리해야 하는 경우에 전력의 효율성을 극대화시켜야 한다. 본 연구에서는 센서 네트워크에서 감시 목적의 미리 정의된 다중 질의들에 대해 색인을 두어 다중 질의 처리 성능을 높이고 메모리와 전력을 효율적으로 사용할 수 있는 기법을 제안한다. 공간 색인 기법 중에서 이진 탐색트리에 기반한 데이터 구조로서 각 레벨별로 차원이 반복되어 각 차원을 분할시키는 k-d 트리와, 공간을 계층적 구조로 자르며 겹침 관계를 줄인 R-트리의 변형인 R+-트리를 기반으로 하여 이들의 응용 및 융합을 통해 다중 질의를 색인하는 새로운 트리인 SMILE 트리를 제안한다. 질의들에 대한 SMILE 트리를 구성하여 센서 네트워크에서 생성되는 스트림 데이터에 대하여 관련된 질의를 탐색하도록 하면 질의를 순차 탐색하는 것과 비교하여 경우에 따라서는 평균 탐색시간을 약 50% 정도로 줄일 수 있다.

A sensor network consists of a network of sensors that can perform computation and also communicate with each other through wireless communication. Some important characteristics of sensor networks are that the network should be self administered and the power efficiency should be greatly considered due to the fact that it uses battery power. In sensor networks, when large amounts of various stream data is produced and multiple queries need to be processed simultaneously, the power efficiency should be maximized. This work proposes a technique to create an index on multiple monitoring queries so that the multi-query processing performance could be increased and the memory and power could be efficiently used. The proposed SMILE tree modifies and combines the ideas of spatial indexing techniques such as k-d trees and R+-trees. The k-d tree can divide the dimensions at each level, while the R+-tree improves the R-tree by dividing the space into a hierarchical manner and reduces the overlapping areas. By applying the SMILE tree on multiple queries and using it on stream data in sensor networks, the response time for finding an indexed query takes in some cases 50% of the time taken for a linear search to find the query.

많은 양의 연속적인 스트림 데이터를 대상으로 하는 연속적인 질의처리의 경우는 전통적 방식의 요구구동형 질의처리 방식이 적합하지 않다. 본 논문에서는 자료구동형 방식을 도입하여 질의를 처리함으로써 스트림 데이터에 알맞은 질의처리 기법을 제안하고 질의계획의 구조와 질의실행 방식을 설명하였다. 제안된 질의처리 기법은 다중질의 처리가 가능하며, 질의 간에 공유가 가능하게 한다. 또한 부분질의의 실행결과가 저장됨으로써 실행시간을 단축할 수 있다. 본 질의처리 모델에 XML 데이터와 XQuery 질의를 적용하였다.

Traditional query processing method is not efficient for continuous queries with large continuous stream data. This paper proposes a data-driven query processing method for stream data. The structure of query plan and query execution method are presented. With the proposed method, multiple query processing and sharing among queries can be achieved. Also query execution time can be reduced by storing partial results of query execution. This paper showed an example of query processing with XML data and XQuery query.

스트림 데이터들은 매우 용량이 크며, 짧은 보고 주기, 비동기적인 보고 시간을 가진다. 이러한 시스템의 질의는 최신의 값을 검색하는 현재질의, 과거 특정시점의 값을 검색하는 스냅샷 질의, 과거부터 현재까지의 값들을 검색하는 슬라이딩 윈도우 질의 등이 있다. 이 논문에서는 소규모 운영체제에서 파일 구조화된 데이터베이스를 이용하여 스트림 데이터들을 효율적으로 관리하는 기법을 제안하고자한다. 그리고 스트림 데이터에 대한 슬라이딩 윈도우 질의를 포함한 다양한 질의를 수용하는 질의 모델을 제안한다. 제안한 기법들을 원자로 안전 운전원 모듈에 적용하여 그 유용성을 검증하고자 한다. 운전원 모듈(COM)은 QNX 운영체제를 기반으로 하며, 파일 데이터베이스는 QNX COM의 적은 저장장치, 낮은 계산 능력을 감안하여 델타버젼과 버퍼링 등의 방법을 도입한다.

Stream data need a efficient data management with high reliability and real time processing. The characteristics of these data are a large volume, a short report interval and asynchronous report time. The typical queries of these systems consist of the current query to search the latest signal value, the snapshot query to search the signal value of a past time, the historical query to search the signal value of a past time to current. This paper proposes the efficient method to manage the above signals by using a file structured database in QNX operating systems. The query model to accommodate various query for stream data is proposed. The proposed methods are applied to reactive protection system to verify their usefulness. The COM(Cabinet Operator Module) based on the QNX employs file database that adopts a delta version and a buffering method for the resource limit of a small storage and a low computing power.

Due to advances in machine intelligence and increased demands for autonomous machines, the complexity of the underlying software platform is increasing at a rapid pace, overwhelming the developers with implementation details. We attempt to ease the burden that falls onto the developers by creating a graphical programming framework we named Splash. Splash is designed to provide an effective programming abstraction for autonomous machines that require stream processing. It also enables programmers to specify genuine, end-to-end timing constraints, which the Splash framework automatically monitors for violation. By utilizing the timing constraints, Splash provides three key language semantics: timing semantics, in-order delivery semantics, and rate-controlled data-driven stream processing semantics. These three semantics together collectively serve as a conceptual tool that can hide low-level details from programmers, allowing developers to focus on the main logic of their applications. In this paper, we introduce the three-language semantics in detail and explain their function in association with Splash's language constructs. Furthermore, we present the internal workings of the Splash programming framework and validate its effectiveness via a lane keeping assist system.

센서 네트워크, 모니터링, SDI (selective dissemination of information) 등과 같이 스트림 데이타를 생성하는 응용의 증가로 스트림 데이타에 대한 질의 처리를 효율적으로 지원하기 위한 연구가 활발히 수행되고 있다. 특히 SDI와 같은 웹 환경의 응용은 XML 스트림에 대한 질의 처리를 필요로 하는데, XML은 웹 환경에서 데이타 교환의 표준이므로 이에 대한 연구는 아주 중요하다. 그러나 현재까지 제시된 XML 스트림 질의 처리 시스템들은 정적인 질의 계획을 사용하기 때문에 동적으로 변하는 스트림 데이타에 대해 적응력 있게 대처하지 못하는 문제가 있다. 반면 관계 데이타 스트림에 대한 질의 처리 시스템들은 질의 연산자 라우팅 기법을 통해 동적인 질의 계획을 사용함으로써 적응력 있는 질의 처리를 지원한다. 본 논문에서는 관계 데이타 모델을 사용하는 시스템의 적응력 있는 질의 처리 모델을 적용하여XML 스트림에 대한 적응력 있는 질의 처리를 수행할 수 있는 시스템을 제안한다. 그리고 기존의 XML을 기반으로 하는 대표적인 시스템인 YFilter와 본 논문이 제안하는 시스템의 성능을 비교, 평가하여 본 논문이 제안하는 시스템의 효율성을 보인다.

As we are getting to deal with more applications that generate streaming data such as sensor network, monitoring, and SDI (selective dissemination of information), active research is being conducted to support efficient processing of queries over streaming data. The applications on the Web environment like SDI, among others, require query processing over streaming XML data, and its investigation is very important because XML has been established as the standard for data exchange on the Web. One of the major problems with the previous systems that support query processing over streaming XML data is that they cannot deal adaptively with dynamically changing stream because they rely on static query plans. On the other hand, the stream query processing systems based on relational data model have achieved adaptiveness in query processing due to query operator routing. In this paper, we propose a system of adaptive query processing over streaming XML data in which the model of adaptive query processing over streaming relational data is applied. We compare our system with YFiiter, one of the representative systems that provide XML stream query processing capability, to show efficiency of our system.

본 논문은 대량의 stream data를 처리하는 어플리케이션에서 하드웨어 가속기들이 접근하는 메모리가 non-cacheable에서 cacheable으로 변경됨에 따라 발생할 수 있는 데이터 일관성 문제를 고려하여 시스템 최적화를 진행하였다. 이를 위해 상위 수준 시뮬레이션을 통한 프로파일링 결과를 토대로 분석식을 만들어 활용하였다. 실험한 결과 여러 이미지 크기에서 메모리가 cacheable로 변경됨에 따라 평균 1.40배의 성능 향상을 보였다. 분석식의 주요 파라미터 최적화를 통해 최종적으로 3.88배의 성능 이득이 발생했으며, 항상 메모리가 cacheable인 경우의 성능이 항상 우월한 것은 아님을 확인할 수 있었다.

Performance optimization of applications with massive stream data processing has been performed by considering I/O data coherency problem where a memory is shared between processors and hardware accelerators. A formula for performance analyses is derived based on profiling results of system-level simulations. Our experimental results show that overall performance was improved by 1.40 times on average for various image sizes. Also, further optimization has been performed based on the parameters appeared in the derived formula. The final performance gain was 3.88 times comparing to the original design and we can find that the performance of the design with cacheable shared memory is not always.

스트림 서비스 환경에서는 지속적으로 입력되는 막대한 양의 데이터에 대해 원하는 조건을 탐색하는 실시간 질의처리가 요구된다. 기존의 R-tee기반 질의처리 기술은 각 이벤트에 대해 트리 전체에 대해 동일한 탐색과정을 반복해야 하므로 이를 효율적으로 감당할 수 없었다. 한편 센서 측정값을 비롯한 대부분의 스트림 데이터는 매우 높은 지역성을 가지며 이를 활용하여 탐색 공간을 크게 줄일 수 있다. 따라서 본 연구에서는 스트림 데이터의 지역성을 활용하여 스트림 환경에 적합한 질의처리 기법을 제안하였다. 또한 이 프레임웍을 활용하여 스트림 환경에서 어플리케이션이 요구하는 다양한 질의처리 서비스를 개발할 수 있을 것으로 기대된다. 본 연구에서 구현한 프로토타입 시스템을 스트림 환경에 적용해 얻은 실험 결과를 통해, 스트림 환경에서 기존질의처리 기법보다 더 적합하고 효율이 크게 개선됨을 확인할 수 있었다.

Stream service environment demands real-time query processing for voluminous data which are ceaselessly delivered from tremendous sources. Typical R-tree based query processing technologies cannot efficiently handle such situations, which require repetitive and inefficient exploration from the tree root on every data event. However, many stream data including sensor readings show high locality, which we exploit to reduce the search space of queries to explore. In this paper, we propose a query processing scheme exploiting the locality of stream data. From the simulation, we conclude that the proposed scheme performs much better than the traditional ones in terms of scalability and exploration efficiency.

센서 데이터 스트림 처리 기술은 유비쿼터스 컴퓨팅의 핵심 기술로 그 중요성이 날로 증대되어, 현재 산업계는 물론 학계에서도 그 역량을 이에 집중하고 있다. 본 논문에서는, 센서 데이터 스트림에 대한 특징 및 이를 처리하기 위한 산업계와 학계의 동향을 알아본다. 그리고, 대용량 센서데이터 스트림을 처리하기 위해 요구되어지는 기능을 정리하고, 이를 기반으로 센서 데이터 스트림처리 시스템의 구조를 설계한다.