Earticle

The technology of IoT which began in the sensor networks generate numerous sensing data from a variety of physical environments to virtual world. There are many types of IoT device used the sensors based on application. They usually create time series data that people can use to make more sensible decision. Things produced various data which is generated and stored as time based and then saved them to the existing database. In this paper, we introduce the system architecture for the large distributed cluster based system for the processing and collecting of big-data of time-series to meet the goal of performance using Redis Cluster and OpenTSDB.

Though MapReduce programming model simplifies the development of parallel program, ordinary users have difficulties in setting up the development environment for MapReduce. The online integrated development environment for MapReduce programming can solve this problem, thus users need not build the environment themselves, only need to focus on the logical design of the parallel program. During the software construction, the problem of independent space setting and naming conflict of the file in the multi-user environment, and the problem of online compiling, execution and instant feedback message to client are solved. The software has been deployed and tested in Hadoop cluster, and can meet users’ basic requirements for the development of MapReduce.

Recently, as businesses and data types become more complex and diverse, efficient data analysis using machine learning is required. However, since communication in the cloud environment is greatly affected by network latency, data analysis is not smooth if information delay occurs. In this paper, SPT (Safe Proper Time) was applied to the cluster-based machine learning data analysis agent proposed in previous studies to solve this delay problem. SPT is a method of remotely and directly accessing memory to a cluster that processes data between layers, effectively improving data transfer speed and ensuring timeliness and reliability of data transfer.

Recently, IoT systems are cloud-based, so that continuous and large amounts of data collected from sensor nodes are processed in the data server through the cloud. However, in the centralized configuration of large-scale cloud computing, computational processing must be performed at a physical location where data collection and processing take place, and the need for edge computers to reduce the network load of the cloud system is gradually expanding. In this paper, a cluster system consisting of 6 inexpensive Raspberry Pi boards was constructed to perform fast data processing. And we propose "Kubernetes cluster system(KCS)" for processing large data collection and analysis by model distribution and data pipeline method. To compare the performance of this study, an ensemble model of deep learning was built, and the accuracy, processing performance, and processing time through the proposed KCS system and model distribution were compared and analyzed. As a result, the ensemble model was excellent in accuracy, but the KCS implemented as a data pipeline proved to be superior in processing speed..

ICT 기술이 발달로 인하여 주변에 존재하는 사물들을 네트워크로 연결하고, 사물에 대한 정보를 이용하여 다양한 분야에서 활용하기 위한 IoT 환경이 주목받고 있으며, 보안 위협 또한 증가하는 추세이다. IoT 환경에서 증가되는 보안 문제 를 해결하기 위해 민간 분야에서 인증서, 암호화, 해쉬연산, 블록체인 등을 활용한 방법들을 연구하고 있으나, 디바이스 간의 성능 격차를 극복하고 다양한 장치에서 호환성을 가지는 보안인증 방식은 현재까지 구체화 되어 제안되고 있지 않은 상황이 다. 본 논문에서는 IoT 장치 환경에 따른 영향을 최소화하여 호환성을 폭넓게 확보할 수 있는 인증 방식을 제안하고자 한다.

Due to the development of ICT technology, the IoT environment for connecting objects in the vicinity to networks and utilizing information about objects in various fields is getting attention, and security threats are also increasing. In order to solve the increasing security problem in IoT environment, we are studying methods that use certificate, encryption, hash calculation and block chain in the private sector. However, the security authentication method which overcomes the performance gap between devices and has compatibility with various devices It has not been proposed yet. In this paper, we propose an authentication method that can achieve wide compatibility by minimizing the influence of IoT device environment.

In this paper, we propose to new dispatcher method, which doesn't depend on an operating system of the server, and the direct routing method, by which a server answers a client's request at first hand. And, propose new web clustering scheme based on the contents on the web where web servers composed of cluster, with each different contents, answer client's request. The other purposes are to reduce overhead of the dispatcher through load balance, and to minimize the time to take in responding to a client's request. The performance of new web cluster scheme was improved by about 39% than that of the existing RR method. It was identified that the performance of the proposed web cluster method was extraordinary improved comparing with that of the existing RR method as a whole.

We consider a design of a combined quantizer and estimator for distributed systems wherein each node quantizes its measurement without any communication among the nodes and transmits it to a fusion node for estimation. Noting that the quantization partitions minimizing the estimation error are not independently encoded at nodes, we focus on the parameter regions created by the partitions and propose a cluster-based quantization algorithm that iteratively finds a given number of clusters of parameter regions with each region being closer to the corresponding codeword than to the other codewords. We introduce a new metric to determine the distance between codewords and parameter regions. We also discuss that the fusion node can perform an efficient estimation by finding the intersection of the clusters sent from the nodes. We demonstrate through experiments that the proposed design achieves a significant performance gain with a low complexity as compared to the previous designs.

빅데이터의 분산 처리를 수행하기 위한 대표적인 프레임워크인 하둡은 클러스터 규모를 수천 개 이상의 노드까지 증가시켜서 병렬분산 처리 성능을 높일 수 있는 장점이 있다. 하지만 클러스터의 규모를 줄이는 것은 결함이 있거나 성능이 저하된 노드들을 영구적으로 퇴역시키는 수준에서 제한되어 있음에 따라 소규모 클러스터에서 여러 노드들을 유연하게 운용하기에는 한계가 있다. 본 논문에서는 하둡 클러스터에서 노드를 제거할 때 발생하는 문제점을 논의하고 분산 클러스터의 규모를 탄력적으로 관리하기 위한 동적 다운 스케일링 기법을 제안한다. 일시적 다운스케일을 목적으로 노드를 제거할 때 완전히 퇴역시키는 것이 아니라 일시적으로 해제하고 필요시 다시 연결할 수 있도록 함으로써 동적 다운 스케일링을 지원할 수 있도록 시스템과 인터페이스를 설계하고 구현하였다. 실험 결과 성능저하 없이 효과적으로 다운 스케일링을 수행하는 것을 검증하였다.

Apache Hadoop, a representative framework for distributed processing of big data, has the advantage of increasing cluster size up to thousands of nodes to improve parallel distributed processing performance. However, reducing the size of the cluster is limited to the extent of permanently decommissioning nodes with defects or degraded performance, so there are limitations to operate multiple nodes flexibly in small clusters. In this paper, we discuss the problems that occur when removing nodes from the Hadoop cluster and propose a dynamic down-scaling technique to manage the distributed cluster more flexibly. To do this, we design and implement a modified Hadoop system and interfaces to support dynamic down-scaling of the cluster which supports temporary pause of a node and reconnection of it when necessary, rather than decommissioning the node when removing a node from the Hadoop cluster. We have verified that effective downsizing can be performed without performance degradation based on experimental results.

기존의 클러스터 기반 라우팅 프로토콜들은 클러스터 외부와의 통신을 클러스터 헤드가 전담함으로써 통신 경로의 구성을 단순화하고 클러스터 헤드를 통한 데이터 통신을 가능하게 하였다. 하지만 매 라운드마다 클러스터 헤드의 재선출(re-electioin) 및 클러스터의 재구성(re-clustering)에 드는 비용을 감수해야 한다. 본 논문에서는 클러스터 헤드없이 완전히 분산된 방식으로 클러스터를 구성하여 클러스터 헤드의 재선출 및 클러스터 재구성의 비용을 줄이고, 안정적인 클러스터 구조를 바탕으로 노드 간의 P2P 통신을 지원하는 라우팅 프로토콜(Distributed Cluster-based Routing Protocol, DCRP)을 제안한다. 제안 기법은 각각의 노드가 이웃 노드와의 연결 상태를 감지하여 독립적으로 자신의 상태를 변화시킴으로써 클러스터를 구성한다. 특정 클러스터를 지나는 경로는 완전히 해당 클러스터 내의 노드들의 책임 하에서 관리되기 때문에 에너지 소모를 효율적으로 관리하고 네트워크의 크기에 따른 확장성을 보장할 수 있다. 제안 기법은 시뮬레이션을 통해 기존 기법에 비해 네트워크 구조(topology)의 안정성이 향상되고 제어 메시지의 교환과 경로 설정에 소모되는 비용이 크게 줄었음을 확인하였다.

MANET에서 노드들은 DNS 서비스를 이용하기 위하여 DNS 서버를 구성해야 한다. 하지만 DNS 서버를 구성하는 노드는 다른 노드에 비해 많은 자원을 소비하게 되므로 DNS 서버는 주기적으로 교체되어야 한다. 따라서 본 논문은 클러스터링 기법을 활용하여 클러스터내의 노드들을 관리하는 CDNS 서버를 구성하고, 전체 CDNS 서버를 관리하는 RDNS 서버를 구성하여 네트워크의 모든 노드들이 DNS 서비스에 참여하는 분산 클러스터 기법의 DNS 시스템을 제안한다.

본 논문에서는 SDN (Software Defined Networking) 오픈소스 프레임워크인 오픈데이라이트(ODL, OpenDaylight) 컨트롤러 클러스터 환경에서 클러스터의 구조를 분석하며 고가용성(High availability)을 지원하는 컨트롤러 클러스터의 동작 방식을 다룬다. 또한 Raft 알고리즘의 리더 선정(Leader Election) 과정을 분석하고 효율적인 시스템 운용을 위한 Leader Election 과정의 개선 방안을 제안한다. 이와 함께 샤드(Shard) 리더와 샤드 팔로어의 성능차이를 제시하고, 기존과 제안 방식의 컨트롤러 클러스터의 성능을 비교 분석한다. 실험의 결과에 따르면 리더의 성능은 팔로어의 성능보다 좋으며 하나의 컨트롤러로 요청이 집중되어 전달될 때보다 분산된 컨트롤러로 요청이 전달될 때의 성능이 더 좋다. 따라서 제안 기법을 통하여 컨트롤러로의 요청을 분산함으로써 성능을 높일 수 있다.

OpenDaylight is an SDN (Software Defined Networking) open source framework, which is popular in network fields recently. This paper analyzes the performance of a controller cluster architecture by focusing on distributed datastore and Raft leader election algorithm. In addition, we propose an enhanced version of Raft algorithm in order to improve the performance of distributed datastore by distributing shard leaders over controller cluster. This paper compares the conventional Raft algorithm with the proposed version of the Raft algorithm. Moreover, we compare the performance of distributed datastore according to shard roles such as leader and follower. Experimental results show that Shard leaders provide better performance than followers and Shard updating requests need to be distributed over multiple controllers. So, by using proposed version of Raft algorithm, controller performance can be improved. The details of the experiment results are cleary described.

본 논문에서는 SDN (Software Defined Networking) 오픈소스 프레임워크인 오픈데이라이트(ODL, OpenDaylight) 컨트롤러 클러스터환경에서 클러스터의 구조를 분석하며 고가용성(High availability)을 지원하는 컨트롤러 클러스터의 동작 방식을 다룬다. 또한 Raft 알고리즘의 리더 선정(Leader Election) 과정을 분석하고 효율적인 시스템 운용을 위한 Leader Election 과정의 개선 방안을 제안한다. 이와 함께샤드(Shard) 리더와 샤드 팔로어의 성능차이를 제시하고, 기존과 제안 방식의 컨트롤러 클러스터의 성능을 비교 분석한다. 실험의 결과에따르면 리더의 성능은 팔로어의 성능보다 좋으며 하나의 컨트롤러로 요청이 집중되어 전달될 때보다 분산된 컨트롤러로 요청이 전달될 때의 성능이 더 좋다. 따라서 제안 기법을 통하여 컨트롤러로의 요청을 분산함으로써 성능을 높일 수 있다.

OpenDaylight is an SDN (Software Defined Networking) open source framework, which is popular in network fields recently. This paper analyzes the performance of a controller cluster architecture by focusing on distributed datastore and Raft leader election algorithm. In addition, we propose an enhanced version of Raft algorithm in order to improve the performance of distributed datastore by distributing shard leaders over controller cluster. This paper compares the conventional Raft algorithm with the proposed version of the Raft algorithm. Moreover, we compare the performance of distributed datastore according to shard roles such as leader and follower. Experimental results show that Shard leaders provide better performance than followers and Shard updating requests need to be distributed over multiple controllers. So, by using proposed version of Raft algorithm, controller performance can be improved. The details of the experiment results are cleary described.

성장하는 빅 데이터 시장과 빅 데이터 수의 기하급수적인 증가는 기존 컴퓨팅 환경에서 데이터 처리의 어려움을 야기한다. 특히 이미지 데이터 처리 속도는 데이터양이 많을수록 현저하게 느려진다. 이에 본 논문에서는 Apache Spark와 OpenCV를 활용한 분산 클러스터 컴퓨팅 환경의 대용량 이미지 머신러닝 시스템을 제안한다. 제안하는 시스템은 Apache Spark를 통해 분산 클러스터를 구성하며, OpenCV의 이미지 처리 알고리즘과 Spark MLlib의 머신러닝 알고리즘을 활용하여 작업을 수행한다. 제안하는 시스템을 통해 본 논문은 대용량 이미지 데이터 처리 및 머신러닝 작업 속도 향상 방법을 제시한다.

무선 센서네트워크는 환경 모니터링과 같은 다양한 어플리케이션을 갖고 있는 향상된 기술이다. 이를 구성하는 각각의 노드들은 특정지역에 분산되어 네트워크를 구성해서 해당 지역의 이벤트나 정보를 주기적으로 사용자에게 전달한다. 이때 토폴로지 제어는 네트워크의 수명과 통신에 중요한 영향을 미치는 요인이다. 본 논문에서는 무선 센서 네트워크에서 클러스터 기반의 분산형 토폴로지 제어기법을 제안한다. 이 기법은 먼저 네트워크를 클러스터 기반의 계층적인 구조로 구성한 후, 각각의 클러스터 내에서 최소 신장트리 (Minimum Spanning Tree)를 이용하여 토폴로지 제어를 수행한다. 이를 통해 무선센서 네트워크는 에너지 효율적이며 분산된 토폴로지 제어를 수행할 수 있고, 결과적으로 네트워크의 수명을 연장할 수 있다.

A distributed sewer cluster system is a cost-effective system to provide a service application for clients with reliable, scalable, available, and fault-tolerant features. In order to provide high quality services, it is necessary to evaluate service performances, tune the server system, and analyze performances. In this paper, we propose a simulator to generate workloads based on statistic configuration according to estimated application traffics, apply workload scheduling algorithms, and evaluate the simulation results. We introduce the simulator design modelling and architecture. By using flexible parameters, the simulator is able to generate various patterns of workloads with different statistics, and configure system environments such as the number of server nodes, system resources considered, and their capacities. With this simulator, we introduce two scenarios: one is to find appropriate thresholds for the best performance of cluster system, and the other is to find the suitable scheduling algorithm for workload characteristics of service applications.

A distributed server cluster system is a cost-effective system to provide a service application for clients with reliable, scalable, available, and fault-tolerant features. In order to provide high quality services, it is necessary to evaluate service performances, tune the server system, and analyze performances. In this paper, we propose a simulator to generate workloads based on statistic configuration according to estimated application traffics, apply workload scheduling algorithms, and evaluate the simulation results. We introduce the simulator design modelling and architecture. By using flexible parameters, the simulator is able to generate various patterns of workloads with different statistics, and configure system environments such as the number of server nodes, system resources considered, and their capacities. With this simulator, we introduce two scenarios: one is to find appropriate thresholds for the best performance of cluster system, and the other is to find the suitable scheduling algorithm for workload characteristics of service applications.

본 논문에서는 지리적으로 분산되어 있는 클러스터 시스템자원들을 효율적으로 활용하기 위한 3-tier 구조의 원격 설치 및 백업 방안을 소개한다. 최근에는 클러스터 시스템이 수백 노드 이상의 대규모 시스템이며, 공인망과 사설망이 혼재되는 복잡한 네트워크 환경으로 구성되고 있다. 따라서, 대규모 클러스터 시스템에 적합한 클러스터의 OS 설치와 원격지에서 클러스터 노드의 장애를 효과적으로 복구하는 것이 중요하다. 하지만 기존의 2-tier 구조의 클러스터 설치 및 이미지 백업 방법들은 공인망과 사설망으로 구성되어 있는 클러스터의 경우, 원격지에서 접근과 관리가 어렵다. 이러한 문제점을 해결하고자 본 논문에서는 3-tier 구조의 RISE(Remote Installation Service Environment) 시스템을 제안하고자 한다. RISE 시스템은 2-tier 구조의 마스터 노드 역할을 관리노드(GRISE)와 지역관리노드(LRISE)로 나누어줌으로써 다양한 네트워크환경하에서 초기설치 및 장애 발생시 효과적으로 지원할 수 있으며, 관리노드와 지역관리 노드들의 동기화 기능을 통해 지역관리노드들의 안정성을 보장하고 있다. 64개 노드의 클러스터 시스템과 Gigabit 네트워크 시스템을 활용한 실험을 통하여, 1.86 GByte의 시스템 이미지를 5분 53초 안에 확보 할 수 있었고, 64개 노드 클러스터 시스템의 초기설치 작업을 평균 17분 38초 안에 완료할 수 있었다.

In this paper, the way of remote installation and back-up of 3-tier structure is introduced for efficient utilizing the cluster system resources distributed at several places. Recently, cluster system is constructed as the system of over hundreds nodes under complex network system mixed with public networks and private networks. Therefore, the as installation method suitable for the large scale cluster system and the remote recovery of failure nodes are important. However the previous researches which are based on 2-tier architecture may not provide the efficient cluster installation and image back-up method when the network of cluster system is composed of several private networks and public networks. In this paper, RISE (Remote Installation Service and Environment) based on the 3-tier architecture is proposed to solve this problem. In our approach, the managing node's role is divided into the global master node (GRISE) and the local master node (LRISE) to provide the efficient initial system deployment and remote failure recovery of distributed cluster system under the various network systems. Also, LRISE's availability is ensured under the complex network environments by adopting the auto-synchronization mechanism between GRISE and LRISE. In this work, a 64-node cluster system with gigabit network system is utilized for the experiment. From the experimental result, the system image with 1.86GB data can be obtained in 5 minutes and 53 seconds and the image-based installation of 64-node system can be carried out in 17 minutes and 53 seconds.

하둡 분산 파일시스템(HDFS)는 빅데이터의 병렬 분산 처리를 위해 다수의 노드에 데이터를 중복 저장하는 파일시스템이다. HDFS의 분산 노드 클러스터는 수천 개 이상의 규모 확장성을 갖추고 있으나 빅데이터 처리를 위한 전용 하드웨어를 가정하고 있으며, 기존의 기업 및 병원에서 사용하고 있는 다양한 유휴 전산 자원을 고려하지는 못하는 문제가 있다. 본 논문에서는 기관 내 존재하는 다양한 유휴 전산 자원을 필요에 따라 동적으로 HDFS에 추가함으로써 빅데이터 저장 및 분석 성능을 향상시킬 수 있는 동적 클러스터 관리 기법을 제시한다.

Hadoop Distributed File System(HDFS) is a file system for distributed processing of big data by replicating data to distributed data nodes. HDFS cluster shows a great scalability up to thousands of nodes, but it assumes a exclusive node cluster with numerous nodes for the big data processing. Various operational-purpose worker systems used by office are hardly considered as a part of cluster. This paper discusses this problem and proposes a dynamic cluster management technique to increase storage capability and analytic performance of hadoop cluster. The propsed technique can add legacy systems to the cluster and can remove them from the cluster dynamically depending on their availability.

본 논문에서는 무선 센서네트워크에서 센서노드의 효율적 인증을 제공하기 위한 다중계층 클러스터 기반의 분산형 인증모델(DAMMC: Distributed Authentication Model using Multi-level Cluster)을 제안한다. 제안된 인증모델은 하나의 클러스터헤드가 CA 기능을 갖되 사용자가 정의한 m개의 다중계층을 두고 상위 클러스터가 하위클러스터를 인증하는 구조로서, 클러스터들끼리의 상호 인증 오버헤드를 해결할 수 있는 기법이다. 특히 노드 인증서 발급의 경우, 임계값 t개 이상의 클러스터 멤버노드가 분할인증서를 제공하는 경우에만 인증서가 생성되도록 비밀분산기법을 사용하여 센서노드의 효과적인 신뢰관계를 구축하였다. 제안된 DAMMC는 시뮬레이션을 통해 초기인증과정에서의 인증발급 연산시간, 노드 추가에 따른 인증발급 연산시간등이 기존 인증프로토콜에 비해 우수함을 확인하였으며, 보안성능도 변형공격, 속임 경로 공격 및 비인가된 노드 추가, 재사용 공격 등의 공격기법으로부터 안전함을 확인하였다.

In this paper, we propose the DAMMC(Distributed Authentication Model using Multi-level Cluster) for wireless sensor networks. The proposed model is that one cluster header in m-layer has a role of CA(Certificate Authority) but it just authenticates sensor nodes in lower layer for providing an efficient authentication without authenticating overhead among clusters. In here, the m-layer for authentication can be properly predefined by user in consideration of various network environments. And also, the DAMMC uses certificates based on the threshold cryptography scheme for more reliable configuration of WSN. Experimental results show that the cost of generation and reconfiguration certification are decreased but the security performance are increased compared to the existing method.

This paper introduces a new distributed QoS (Quality of Service) control system for clusters of web servers. The proposed system can employ not only network bandwidth but also other metrics such as processor load, memory usage, and storage access load that affect the overall system performance. Moreover, it controls over clustered\ulcorner workstations in of-der to utilize idle resources among workstations. This architecture maximizes overall usage of cluster of web servers while it provides predictable and differentiated performance for each contents volume. We implemented a prototype of introduced system, and the test results showed the proposed method can control QoS in a cluster server system.