Earticle

데이터센터는 다양한 센서로부터 수많은 종류의 데이터를 수집하고 있으며 이러한 데이터는 데이터센터 모니터링시스템의 분석을 통해 센터의 효율 관리와 개선에 활용되고 있다. 최근에는 데이터센터의 대형화 추세에 따라 센서데이터 양이 폭발적으로 증가하고 모니터링 시스템은 대량의 실시간 스트리밍 데이터에 대한 분석 및 처리 방안이필요하게 되었다. 따라서 본 논문에서는 데이터 발생시간인 이벤트 시간을 기반으로 한 대량의 스트리밍 센서데이터 처리 방안과 데이터양의 증가에 따른 처리 확장성(scalability) 제공 방안을 제시하고자 한다. 이벤트 시간 기반스트리밍 처리를 위해서는 데이터 발생시간과 처리시간 사이의 시간 지연 문제가 해결되어야 하는데 이를 위해 필터링(filtering), 추가시간(slack time), 윈도우 더블링(window doubling), 조정시간(coordinate time) 등을 이용한 처리 방안을 제시한다. 또한 처리 확장성 제공 방안으로 분산 스트리밍 시스템을 활용한 모니터링 시스템 구축 방안을 제시하고 실험적 시스템 구현을 통해 그 효율과 성능을 분석한다.

A data center collects a very large volume of data from various kinds of sensors that is used by the data center monitoring system for the center’s efficiency management and improvement. As the recent trend of large size data center leads to the explosion of sensor data, the monitoring system requires streaming data processing to process and to analyze large volume of real-time data. This paper proposes an event time based real-time streaming processing model for large sensor data. The event time is the time when the data is generated at a sensor. This paper also presents a method to provide scalability of streaming data processing. For the event time based real-time streaming processing, a latency problem between data generation time and processing time should be resolved. We provide a solution based on filtering, slack time, window doubling and coordinate time methods. In order to provide the scalability, this paper builds an experimental monitoring system based on distributed streaming systems and shows an analysis of its performance and efficiency.

최근, 대량의 스트림 데이터에 대한 실시간 처리와 그 결과의 시각화에 관한 연구가 활발히 진행되고 있다. 그러나 기존 연구는 입력 스트림 구조의 변경이나, 시각화할 데이터와 그 처리방식의 변경 등을 실시간으로 시각화에 반영 하지 못하고 있다. 본 논문에서는 스트림 데이터의 시각화 기능과 시각화를 위한 데이터의 수집 및 처리 기능을 통 합적으로 제공하는 대화형 스트림 시각화 시스템, ISVS(Interactive Streaming Data Visualization System) 를 제안한다. ISVS는 입력 스트림 구조 변경, 시각화할 스트림의 필터링, 시각화 함수의 생성, 수정 등 시각화에 관련된 다양한 요구사항을 사용자가 쉽게 대화식으로 표현하고 이를 실시간으로 시각화에 반영할 수 있도록 한 시스 템이다. 또한, 본 논문에서는 분산 스트리밍 시스템을 이용한 ISVS 시스템의 구현과 이 시스템을 입체음향 기술 기 반의 동영상 스트리밍 서비스에 적용하여 실시간으로 다양한 시각화 처리가 가능함을 보였다.

Recently, there have been many studies on real-time processing and the visualization of a large stream data. However, in the existing studies, the changes which occurred in the input stream structure, in the data to be visualized, and in the processing methods, can not be reflected in visualization in real time. In this paper, we propose an Interactive Streaming Data Visualization System, ISVS, which provides visualization capabilities of streaming data covering collection and processing capabilities of visualized data. ISVS makes it easy for users to interactively express various visualization-relevant requirements of modulating input stream structures, filtering streams to be visualized, creating and modifying visualization functions. ISVS reflects them in real time. In addition, this paper presents the implementation of ISVS using the distributed streaming system. We show that it is capable of providing various real-time visualization processing by applying it to a stereo sound technology based video streaming service.

The advent of the e-commerce era has changed the way people shop, and at the same time, users generate a large amount of data when shopping. These data can be analyzed by offline calculation, but the results of offline analysis lack real-time performance. In this paper, by processing the log data and business data of e-commerce users in real-time, the feedback of the processing results can be quickly realized. The Spark big data computing framework has the advantages of real-time computing capability and high throughput. Spark Streaming, as an extension of Spark core, is the real-time stream processing component of the Spark computing platform. In this paper, the data is processed in real-time through Spark. Through Maxwell, real-time monitoring of business data changes in the MySQL database is performed, and the monitored data is sent to Kafka. Log data is directly sent to Kafka. Spark Streaming consumes the data in Kafka, then performs specific processing on the data according to the requirements, and the processed data is written to the Elasticsearch. In order to achieve exactly once consumption of data, this paper realizes at least one consumption of data by manually submitting offsets. Elasticsearch supports idempotent writes, so it can achieve exactly once consumption of downstream data. Manually submitted offsets are stored in Redis. Finally, specific queries can be performed on the processing results according to business requirements.

스마트 그리드는 에너지 이용 효율 최적화를 위한 개선방안으로 전기에너지를 발생하는 발전원별 분석하며, 전력 사용 측면에서 전력망을 통해 공급된 전력의 소비패턴으로 분석을 통해 에너지 이용 효율을 최적화할 수 있다. 본 논문에서는 아파치 Storm을 활용하여 실시간 데이터 수집 및 처리 시스템을 설계한다. 설계된 시스템은 에너지 효율성을 위해 이종의 실시간 대용량 스트리밍 센서 데이터를 수집하여 분석을 수행하도록 데이터 필터링과 변환 기법을 제시한다. 이를 위해 실시간 대용량 처리를 위해 필터링 및 변환을 병렬 처리하도록 한다. 필터링과 변환 처리는 독립적인 타스크로 구성하도록 하며, 전체 프로세스는 정의된 파이프-필터 토폴로지를 구성하여 처리한다.

현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

발전 시설은 연간 무중단으로 운영되어야 하고, 고장이 발생하면 손해가 막대하기 때문에 발전 시설 장비에는 수십만 개의 센서 데이터가 설치되어 있다. 본 논문에서는 효율적인 센서 데이터의 수집과 시설 모니터링 및 고장 예측 등을 위한 빅데이터 스트리밍 질의 처리 시스템을 설계 및 구현하였다. 또한 실시간 데이터 수집의 효율적인 관리를 위해 인코딩 방식을 설계하였으며, 데이터 전송 성능을 측정하여 문자열로 데이터를 전송하는 것보다 평균 12%, 최대 32% 데이터 처리 성능이 향상됨을 보였다. 또한, 스트리밍 데이터에 대한 윈도우 질의 처리 성능을 측정하여 약 0.97초의 평균 집계 질의 처리 시간이 소요됨을 확인하였다. 향후에는 고장 감지를 위한 인공지능 추론 모델을 제안하는 빅데이터 스트리밍 질의 처리 시스템에 적용할 예정이다.

스트림 데이터를 생성하는 응용의 증가로 스트림 데이터 처리에 대한 연구가 활발히 진행되고 있다. 이러한 응용의 예로 센서네트워크, 모니터링, Selective dissemination of information(SDI)등이 있다. 특히 SDI와 같은 웹 환경의 응용은 XML을 기반으로 스트림 데이터 처리에 대한 연구를 진행하고 있다. XML은 웹상의 데이터 교환의 표준으로 웹 응용의 증가로 인해 스트림 데이터 처리 분야에서도 XML을 사용하는 스트림 데이터 처리 시스템에 대한 연구가 많이 진행되고 있는 실정이다. 하지만 XML을 기반으로 하는 기존의 시스템들은 정적인 질의계획을 사용하여 스트림 데이터를 처리하기 때문에 동적으로 변하는 스트림 데이터에 적응력있게 대처할 수 있다. 이와 달리 관계 데이터 모델을 사용하는 스트림 데이터 처리 시스템은 동적인 질의 계획과 질의 처리 연산자의 라우팅(스케쥴링) 기법을 사용하여 적응력있는 질의처리를 지원한다. 본 논문에서는 관계 데이터 모델을 사용하는 시스템의 적응력있는 질의처리 모델을 XML을 기반으로 하는 시스템에 적용하는 기법들에 대하여 설명한다. 그리고 XML을 기반으로 하는 기존의 대표적인 시스템인 YFilter[7]와 본 논문의 제안하는 시스템과의 질의처리 성능을 비교 평가한다.

스트림 데이터를 생성하는 응용의 증가로 스트림 데이터 처리에 대한 연구가 활발히 진행되고 있다. 이러한 응용의 예로 센서네트워크, 모니터링, Selective dissemination of information(SDI)등이 있다. 특히 SDI와 같은 웹 환경의 응용은 XML을 기반으로 스트림 데이터 처리에 대한 연구를 진행하고 있다. XML은 웹상의 데이터 교환의 표준으로 웹 응용의 증가로 인해 스트림 데이터 처리 분야에서도 XML을 사용하는 스트림 데이터 처리 시스템에 대한 연구가 많이 진행되고 있는 실정이다. 하지만 XML을 기반으로 하는 기존의 시스템들은 정적인 질의계획을 사용하여 스트림 데이터를 처리하기 때문에 동적으로 변하는 스트림 데이터에 적응력있게 대처할 수 있다. 이와 달리 관계 데이터 모델을 사용하는 스트림 데이터 처리 시스템은 동적인 질의 계획과 질의 처리 연산자의 라우팅(스케쥴링) 기법을 사용하여 적응력있는 질의처리를 지원한다. 본 논문에서는 관계 데이터 모델을 사용하는 시스템의 적응력있는 질의처리 모델을 XML을 기반으로 하는 시스템에 적용하는 기법들에 대하여 설명한다. 그리고 XML을 기반으로 하는 기존의 대표적인 시스템인 YFilter[7]와 본 논문의 제안하는 시스템과의 질의처리 성능을 비교 평가한다.

스트리밍 데이터 처리는 여러 분야에서 많은 관심을 가지고 활발한 연구가 수행되고 있다. 특히 모니터링, 센서 네트워크등의 응용 분야에서 끊임없이 생성되는 대량의 스트리밍 데이터 처리를 위한 요구가 높아지고 있다. 본 논문에서는 XML 스트리밍 데이터에 대한 시구간 질의 처리 시스템 모델을 제시한다. 스트리밍 데이터 모델로 웹상의 데이터 교환 표준으로 자리잡은 XML을 사용하였고 연속적인 질의 처리를 위해 시구간이 명시된 XQuery를 질의 모델로 사용하였다. 제시된 시스템에서는 질의 처리의 성능 향상을 기하기 위해 질의 결과 값을 백그라운드 프로세싱으로 생성하고 그것을 캐슁하여 후속 질의의 결과 값에 반영하는 캐슁 기법을 제공한다.

스트리밍 데이터 처리는 여러 분야에서 많은 관심을 가지고 활발한 연구가 수행되고 있다. 특히 모니터링, 센서 네트워크등의 응용 분야에서 끊임없이 생성되는 대량의 스트리밍 데이터 처리를 위한 요구가 높아지고 있다. 본 논문에서는 XML 스트리밍 데이터에 대한 시구간 질의 처리 시스템 모델을 제시한다. 스트리밍 데이터 모델로 웹상의 데이터 교환 표준으로 자리잡은 XML을 사용하였고 연속적인 질의 처리를 위해 시구간이 명시된 XQuery를 질의 모델로 사용하였다. 제시된 시스템에서는 질의 처리의 성능 향상을 기하기 위해 질의 결과 값을 백그라운드 프로세싱으로 생성하고 그것을 캐슁하여 후속 질의의 결과 값에 반영하는 캐슁 기법을 제공한다.

RFID 미들웨어에서 처리하는 데이터는 스트림 데이터로써 질의색인 기법을 사용하면 효과적이다. 질의색인에서는 RFID 미들웨어의 표준 질의 인터페이스인 ECSpec 이 데이터가 되고, 리더가 태그를 인식하면서 발생하는 태그 이벤트는 질의 색인의 점 칠의가 된다. 질의색인의 데이터인 EXSpec 은 태그 및 리더에 대한 수집 조건과 결과집합의 보고 주기를 포함한다. 이때, 태그 이벤트가 발생할 때마다 점 질의를 즉시 수행하는 것보다 보고 주기까지 지연하고 수집된 질의 집합에서 연속되는 태그 이벤트를 영역 질의로 수행하면 질의 수행 횟수를 줄일 수 있다. 본 논문에서는 일정기간 동안의 연속된 태그 이벤트를 영역 연속 질의(a range continuous query)로 처리하기 위한 큐의 구성 방안과 태그 이벤트 집합으로부터 영역질의를 구성하기 위한 자료구조 및 알고리즘을 제안한다.

스트리밍 XML 데이터는 고정된 저장소에 유지되지 않고 사용자 측으로 계속적으로 데이터가 전송된다는 특성을 지닌다. 이러한 스트리밍 XML에 대한 질의 처리를 위해서는 효과적인 메모리 관리와 빠른 질의 처리 성능이 요구된다. 최근 최소한의 메모리 사용으로 효과적으로 트윅 질의를 처리하기 위한 기법인 StreamTX가 제안되었으나 반복적인 질의 처리 알고리즘 호출로 인해 불필요한 질의 처리시간이 발생한다. 따라서, 본 논문에서는 이러한 불필요한 질의 처리 시간을 줄이기 위해 실시간으로 질의와 무관한 노드를 제거하여 보다 효과적인 질의 처리를 수행 기법을 제안한다. 제안된 기법은 기존 연구와 유사한 메모리 사용량을 가지면서도 빠른 질의 처리 속도를 가짐을 성능평가를 통해 검증한다.

스트리밍 XML 데이터는 고정된 저장소에 유지되지 않고 사용자 측으로 계속적으로 데이터가 전송된다는 특성을 지닌다. 이러한 스트리밍 XML에 대한 질의 처리를 위해서는 효과적인 메모리 관리와 빠른 질의 처리 성능이 요구된다. 최근 최소한의 메모리 사용으로 효과적으로 트윅 질의를 처리하기 위한 기법인 StreamTX가 제안되었으나 반복적인 질의 처리 알고리즘 호출로 인해 불필요한 질의 처리시간이 발생한다. 따라서, 본 논문에서는 이러한 불필요한 질의 처리 시간을 줄이기 위해 실시간으로 질의와 무관한 노드를 제거하여 보다 효과적인 질의 처리를 수행 기법을 제안한다. 제안된 기법은 기존 연구와 유사한 메모리 사용량을 가지면서도 빠른 질의 처리 속도를 가짐을 성능평가를 통해 검증한다.

스트리밍 XML 데이터로부터 트윅 패턴 추출시 질의와 무관한 스트리밍 데이터를 프루닝함으로써 질의 처리 비용을 줄일 수 있어야 한다. 이때 작은 버퍼 사이즈를 유지하면서도 질의 매칭 과정을 최소화하는 것이 필요하다. 본 논문에서는 이를 위한 (1) 패턴 매칭 프루닝과 (2) 재사용성 감지 기법을 제안한다. 기존 기법과 비교하여 제안하는 기법은 스트리밍 데이터의 엘리먼트 이벤트, 버퍼상태 그리고 트윅 패턴을 고려하여 질의 매칭 과정을 최소화한다. 실험결과를 통해 제안기법이 기존 기법보다 우수한 성능을 나타냄을 보인다.

스트리밍 XML 데이터로부터 트윅 패턴 추출시 질의와 무관한 스트리밍 데이터를 프루닝함으로써 질의 처리 비용을 줄일 수 있어야 한다. 이때 작은 버퍼 사이즈를 유지하면서도 질의 매칭 과정을 최소화하는 것이 필요하다. 본 논문에서는 이를 위한 (1) 패턴 매칭 프루닝과 (2) 재사용성 감지 기법을 제안한다. 기존 기법과 비교하여 제안하는 기법은 스트리밍 데이터의 엘리먼트 이벤트, 버퍼상태 그리고 트윅 패턴을 고려하여 질의 매칭 과정을 최소화한다. 실험결과를 통해 제안기법이 기존 기법보다 우수한 성능을 나타냄을 보인다.