Earticle

본 논문에서는 사물인터넷 센서 데이터베이스 기술을 분석하였고, 센서 노드 장애와 통신 장애에 대처하 기 위한 효율적인 데이터 관리 및 저장 기술에 대해 논의하였다. 센서 데이터베이스 환경에서 데이터 수집 및 모니 터링을 목적으로, 데이터 서비스 신뢰성 및 성능을 개선하기 위하여 새로운 안정성-인지 클러스터링 방식과 압축 쉐도우 복제 방식을 제안하였다. 또한, 데이터 미러링을 이용한 수정된 동기화 기술을 적용하여, 스토리지 효율성을 위한 압축된 쉐도우 데이터를 저장하였다. 쉐도우 데이터 복제 기술은 낮은 클러스터에 있는 안정성이 낮은 센서 노드의 배터리 및 통신 장애를 최소화한다. 결과적으로 불필요한 통신비용 및 배터리 소모를 줄일 수 있으며, 클러 스터 내 센서 노드를 동적으로 관리하여 전체적인 배터리 에너지 밸런스를 유지할 수 있다. 온도와 상대 습도 데이 터에 대하여 실험한 결과 센서 데이터의 크기가 14%이하로 감소되고 성능이 향상됨을 확인할 수 있었다.

This paper analyzed IoT sensor database technology and discussed efficient data management and storage technologies to cope with sensor nodes and communication failures. For data collection and monitoring in sensor database environment, a new stability-aware clustering scheme and compressed shadow replication scheme were proposed to improve the data service reliability and performance. In addition, a modified synchronizing skill using data mirroring was applied to store compressed shadow data for storage efficiency. Shadow data replication skill minimizes battery and communication failures of unreliable sensor nodes in the low clusters. Consequently, unnecessary communication costs and battery consumption can be reduced, and overall battery energy balance can be maintained by dynamically managing sensor nodes in the clusters. Experiments with temperature and relative humidity data have shown that the size of the sensor data is reduced to less than 14% and performance is improved.

ICT기술이 발전함에 따라 산업 전분야에 걸쳐 이전보다 훨씬 많은 디지털 데이터들이 생성, 이동, 보관, 활용되고 있다. 산출되는 데이터의 규모가 커지고 이를 활용하는 기술들이 발전함에 따라 대규모 데이터 기반의 신 서비스들이 등장하여 우리의 생활을 편리하게 하고 있으나 반대로 이들 데이터를 위변조 하거나 생성 시간을 변경하는 사이버 범죄 또한 증가하고 있다. 이에 대한 보안을 위해서는 데이터에 대한 무결성 및 시간 검증 기술이 필요한데 대표적인 것이 공개키 기반의 서명 기술이다. 그러나 공개키 기반의 서명 기술의 사용은 인증서와 키 관리 등에 필요한 부가적인 시스템 자원과 인프라 소요가 많아 대규모 데이터 환경에서는 적합하지 않다. 본 연구에서는 해시 함수와 머클 트리를 기반으로 시스템 자원의 소모가 적고, 동시에 대규모 데이터에 대해 서명을 할 수 있는 데이터 서명 기법을 소개하고, 서버 고장 등 장애 상황에서도 보다 안정적인 서비스가 가능하도록 개선한 해시 트리 분산 처리 방법을 제안하였다. 또한, 이 기술을 구현한 시스템을 개발하고 성능분석을 실시하였다. 본 기술은 클라우드, 빅데이터, IoT, 핀테크 등 대량의 데이터가 산출되는 분야에서 데이터 보안을 담보하는 효과적인 기술로써 크게 활용될 수 있다.

As the ICT technologies advance, the unprecedently large amount of digital data is created, transferred, stored, and utilized in every industry. With the data scale extension and the applying technologies advancement, the new services emerging from the use of large scale data make our living more convenient and useful. But the cybercrimes such as data forgery and/or change of data generation time are also increasing. For the data security against the cybercrimes, the technology for data integrity and the time verification are necessary. Today, public key based signature technology is the most commonly used. But a lot of costly system resources and the additional infra to manage the certificates and keys for using it make it impractical to use in the large-scale data environment. In this research, a new and far less system resources consuming signature technology for large scale data, based on the Hash Function and Merkle tree, is introduced. An improved method for processing the distributed hash trees is also suggested to mitigate the disruptions by server failures. The prototype system was implemented, and its performance was evaluated. The results show that the technology can be effectively used in a variety of areas like cloud computing, IoT, big data, fin-tech, etc., which produce a large-scale data.

Data Grid environment is a geographically distributed that deal with date-intensive application in scientific and enterprise computing. In data-intensive applications data transfer is a primary cause of job execution delay. Data access time depends on bandwidth, especially when hierarchy of bandwidth appears in network. Effective job scheduling can reduce data transfer time by considering hierarchy of bandwidth and also dispatching a job to where the needed data are present. Additionally, replication of data from primary repositories to other locations can be an important optimization step to reduce the frequency of remote data access. Objective of dynamic replica strategies is reducing file access time which leads to reducing job runtime. In this paper we develop a job scheduling policy, called SS (Scheduling strategy), and a dynamic data replication strategy, called DRS (Distributed Replication Strategy), to improve the data access efficiencies in a cluster grid. We study our approach and evaluate it through simulation. The results show that combination of SS and DRS has improved 17% over other combinations.

Hadoop distributed file system (HDFS) is designed to store huge data set reliably, has been widely used for processing massive-scale data in parallel. In HDFS, the data locality problem is one of critical problem that causes the performance decrement of a file system. To solve the data locality problem, we propose an efficient data replication scheme based on access count prediction in a Hadoop framework. By the previous data access count, the existing data replication scheme predicts the next access count of data files using Lagrange’s interpolation. Then, the proposed data replication scheme determines the replication factor with the predicted data access count, whether it generates a new replica or it uses the loaded data as cache selectively. Finally, the proposed scheme provides improvement of data locality. By performance evaluation, proposed efficient data replication scheme is compared with default data replication setting of Hadoop that shows proposed scheme reduces averagely 8.9% of the task completion time in the map phase. Regarding the data locality, proposed scheme provides the increase of node locality by 6.6% and the decrease of rack and rack-off locality by 38.9% and 56.5%.

With the development of P2P technology, more and more distributed systems are applying it for deploying large-scale storage infrastructure. However, maintaining desirable data availability in P2P environments is still an opening issue because of the vulnerability of participated peers. In this paper, a novel replication model is proposed to improving the data availability of P2P storage platforms. In the proposed replication model, the probability of peer’s failure is estimated by semi-Markov chain, which enables us to significantly improving the prediction accuracy of peer’s failure in a given period. Massive experiments are conducted in a real-world P2P platform to examining the performance of the proposed replication model, and the results indicate that it can achieve better tradeoffs between performance and data availability comparing with other replication schemes.

재해 발생 시 주요 IT 인프라 중단을 최소화하고 연속적인 비즈니스 서비스를 제공하기 위한 재해복구 계획 및 재해복구시스템의 구축은 반드시 필요하다. 재해복구시스템 구축과정에서 데이터 복제는 재해 발생 시 중단 없는 연속적인 비즈니스 서비스 제공을 위한 데이터 복구의 핵심요소로 데이터 복제방식은 시스템 구성환경과 재해복구 목표수준에 따라 결정할 수 있다. 본 논문에서는 재해복구시스템 구축에서 구성환경과 재해복구 목표수준에 적합한 데이터 복제방식 결정 방안에 대해 제시한다. 또한 복제방식 결정 절차를 적용하여 재해복구시스템을 구축하고 구축 결과를 분석한다. 재해복구시스템 구축 후 재해 상황에서 재해복구센터로 서비스가 전환, 정상적인 서비스가 진행되 는지를 판단하기 위한 모의 테스트를 진행하고 결과를 분석하였다. 그 결과 재해복구시스템 구축 단계에서는 체계적 으로 최적의 데이터 복제방식의 선정이 가능했다. 구축된 재해복구시스템은 연속적인 비즈니스 서비스 제공을 위해 재해복구센터로 서비스 전환되는 시간 RTO는 3.7시간으로, Tier 2였던 재해복구 수준이 목표수준 RTO 4시간 이내, RPO=0으로 개선되었다.

In the event of a disaster, it is essential to establish a disaster recovery plan and disaster recovery system to minimize disruption to major IT infrastructure and provide continuous business services. In the process of building a disaster recovery system, data replication is a key element of data recovery to provide uninterrupted and continuous business services in the event of a disaster. The data replication method can be determined depending on the system configuration environment and disaster recovery goal level. In this paper, we present a method for determining a data replication method suitable for the configuration environment and disaster recovery target level when building a disaster recovery system. In addition, the replication method decision procedure is applied to build a disaster recovery system and analyze the construction results. After establishing the disaster recovery system, a test was conducted to determine whether the service was transferred to the disaster recovery center in a disaster situation and normal service was provided, and the results were analyzed. As a result, it was possible to systematically select the optimal data replication method during the disaster recovery system construction phase. The established disaster recovery system has an RTO of 3.7 hours for service conversion to the disaster recovery center to provide continuous business services, and the disaster recovery level, which was Tier 2, has been improved to the target level within 4 hours of RTO and RPO=0.

In Quorum based cross datacenter distributed storage systems, data replication is a widely used technology. Such systems usually choose weak consistency, means they prone to select less number of replicas in read request in order to improve the performance, which lead to the possibility of getting stale data. In this paper, we propose an adaptive replica selection algorithm to make sure the system does not exceed specific stale read ratio while achieving good performance. Firstly, we choose a suitable distribution model from many candidates to estimate the time interval between current read request and nearest write request before it. Then we use Monte-Carlo method to simulate the processing order of read request and write request in different replicas. At last we use those estimated values to determine minimal number of replicas each read request needs to select in order to achieve a specific consistency level. We conduct a comprehensive experiments and the result shows our algorithm is effective.

A multicore system must be able to take full advantage of the program's instruction and data parallelism. This study introduces the data replication technique as a support technique to maximize the program's instruction and data parallelism. Instruction level parallelism can be limited by data dependency. In this case, if data is replicated to each processor core and used, instruction level parallelism can be used to the maximum. The technique proposed in this study can maximize the performance improvement effect when applied to scientific applications such as matrix multiplication operation.

Recent advancement in the field of life science data mining has inspired researchers and healthcare professionals to apply this novel technology to obtain descriptive patterns and predictive models from biomedical and healthcare databases. The discovery of hidden biomedical patterns from large clinical database can uncover potential knowledge to support prognosis and diagnosis decision makings. However, clinical application of data mining algorithms has a severe problem of low predictive accuracy rate that hampers their wide usage in the clinical environment. We thus focus our study on the improvement of predictive accuracy of the models created from the data mining algorithms. Our main research interest concerns the problem of learning a classification model from a multiclass data set with low prevalence rate of some minority classes. With such data characteristics, directly applying classification data mining techniques such as decision tree induction, regression analysis, neural networks, or support vector machines yields a suboptimal model in terms of predictive accuracy rate. To remedy the imbalanced class distribution among data instances, we apply random over-sampling and synthetic minority over-sampling (SMOTE) techniques to increase the predictive performance of the learned model. In our preliminary study, we consider specific kinds of primary tumors occurring at the frequency rate less than one percent as rare and minority classes. From the experimental results, the SMOTE technique gave a high specificity model, whereas the random over-sampling produced a high sensitivity classifier. The precision performance of a classification model obtained from the random over-sampling technique is on average much better than the model learned from the original imbalanced data set. We then extend our study by designing the heuristic based method to cope with the abundance of irrelevant feature that causes the decrease in learning time and sometimes lower the accuracy rate. The over-sampling technique and the heuristic-based feature selection are coupled as a data preparation method to deal with imbalanced data sets with many irrelevant features. The experimental results on arrhythmia and communities-and-crime data sets show significant improvement on the predicting accuracy, specificity, and sensitivity of the induced models.

The data grid is one of the infrastructures for data and storage resource management. Data replication can improve data access performance, fault tolerance, and reduce network transmission bandwidth. As the site storage space is limited in the grid, how to effectively use grid resources become an important challenge. This paper introduces a dynamic grid replication algorithm based on popularity support and confidence (BPSC). Through the algorithm, data and its associated copy can be placed on a suitable site, with reduced access latency. Through Optorsim, simulation results show that the algorithm can provide better performance compared with other algorithms

기존 데이터그리드에서는 대용량의 데이터 서비스를 위해 Peer-to-Peer 기반의 Data Replication 을 사용하였다. 하지만 기존의 방법은 로컬 사이트의 정보만을 가지고 Data Replication 을 수행하므로, 데이터그리드 전체의 Data Replication 을 수행하는데 비효율적이다. 이에 본 논문에서는 Rule 기반 Forward Chaining 을 수행하는 전문가 시스템을 이용하여, 데이터그리드 전체의 Data Replication 을 수행하는 방법을 제안하고 이를 구현하였다.

그리드 환경에서 OGSA(Open Grid Service Architecture)는 분산된 서비스의 이용 편의를 위한 시스템 독립적인 인터페이스를 제공한다. 하지만 OGSA 에서 사용자가 작업 수행시 필요로 하는 QoS 와 서비스의 신뢰성을 보장하기 위해, 동일한 그리드 정보 제공자를 이용하는 여러 서비스간의 공유 자원에 대한 경쟁 문제를 해결해야 한다. 본 논문에서는 OCSA 에서 여러 서비스의 효율적인 자원 할당을 보장하는 다이나믹 Data Replication 관리를 위한 의사결정 알고리즘을 제안한다.

Balanced Repeated Replication(BRR) is widely used to estimate the variance of linear or nonlinear estimators from complex sampling surveys. Most of survey data sets include imputed missing values and treat the imputed values as observed data. But applying the standard BRR variance estimation formula for imputed data does not produce valid variance estimators. Shao, Chen and Chen(1998) proposed an adjusted BRR method by adjusting the imputed data to produce more accurate variance estimators. In this paper, another adjusted BRR method is proposed with examples of real data.

프로세서 자원, 데이터 저장장치 자원을 제공하면서 가상기관(Virtual Organization)을 구성하는 각 사이트는 사용할 수 있는 네트윅 자원이 한정된 상황에서 애플리케이션 처리량을 극대화하는 최적화된 데이터그리드 시스템을 기대한다. 본 논문에서는 크기가 제한적이며 지리적으로 분산된 데이터 저장공간에서 적응적 데이터 복제 기법을 제안하고 Replica의 지리적 분배를 위한 평가 모델을 제안한다. 이를 위해 논리 시간 데이터 접근 기록 및 통계를 적용하여 복제할 파일들을 구분 하는 이산적 결정 모델을 제안하고 삭제할 Replica 결정에 논리 시간 접근 기록을 적용한다.

프로세서 자원, 데이터 저장장치 자원을 제공하면서 가상기관(Virtual Organization)을 구성하는 각 사이트는 사용할 수 있는 네트윅 자원이 한정된 상황에서 애플리케이션 처리량을 극대화하는 최적화된 데이터그리드 시스템을 기대한다. 본 논문에서는 크기가 제한적이며 지리적으로 분산된 데이터 저장공간에서 적응적 데이터 복제 기법을 제안하고 Replica의 지리적 분배를 위한 평가 모델을 제안한다. 이를 위해 논리 시간 데이터 접근 기록 및 통계를 적용하여 복제할 파일들을 구분 하는 이산적 결정 모델을 제안하고 삭제할 Replica 결정에 논리 시간 접근 기록을 적용한다.

클라우드 스토리지 시스템은 데이터의 저장과 관리를 위해서 분산 파일시스템을 사용한다. 기존 분산 파일시스템은 데이터 디스크의 손실 발생시 이를 복구하기 위해서 3개의 복제본을 만든다. 그러나 데이터 복제 기법은 저장공간을 원본 파일의 복제 횟수만큼 필요로하고 복제과정에서 입출력 발생이 증가하는 문제가 있다. 본 논문에서는 SSD 기반 클라우드 스토리지 시스템에서 저장공간 효율성 향상과 입출력 성능 향상을 위하여 Erasure Codes를 이용한 데이터 복제 기법을 제안한다. 특히, 데이터 접근 빈도에 따라 복제 횟수를 줄이더라도 Erasure Codes를 사용하여 데이터 복구 성능을 동일하게 유지하였다. 실험 결과 제안한 기법이 HDFS 보다 저장공간 효율성은 최대 약40% 향상되었으며, 읽기성능은 약11%, 쓰기성능은 약10% 향상됨을 확인하였다.

Cloud storage system uses a distributed file system for storing and managing data. Traditional distributed file system makes a triplication of data in order to restore data loss in disk failure. However, enforcing data replication method increases storage utilization and causes extra I/O operations during replication process. In this paper, we propose a data replication method using erasure codes in cloud storage system to improve storage space efficiency and I/O performance. In particular, according to data access frequency, the proposed method can reduce the number of data replications but using erasure codes can keep the same data recovery performance. Experimental results show that proposed method improves performance in storage efficiency 40%, read throughput 11%, write throughput 10% better than HDFS does.

최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리 프레임워크로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스 에서의 태스크 할당은 데이터의 지역성(locality)를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스 에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 지역성으로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 지역성을 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 감소하는 것을 확인하였다.

In recently years, with the growth of social media and the development of mobile devices, the data have been significantly increased. Hadoop has been widely utilized as a typical distributed storage and processing framework. The tasks in Mapreduce based on the Hadoop distributed file system are allocated to the map as close as possible by considering the data locality. However, there are data being requested frequently according to the data analysis tasks of Mapreduce. In this paper, we propose a hot-data replication mechanism to improve the processing speed of Mapreduce according to data access patterns. The proposed scheme reduces the task processing time and improves the data locality using the replica optimization algorithm on the high access frequency of hot data. It is shown through performance evaluation that the proposed scheme outperforms the existing scheme in terms of the load of access frequency.

이동적응망(MANET: Mobile Ad-hoc Network)은 네트워크 하부 구조를 필요로 하지 않은 무선 단말들로 구성된 네트워크이다. 이러한 특성은 네트워크 단절 가능성을 높게 하기 때문에 이동단말들의 데이터 액세스률이 낮아지게 된다는 문제점을 갖는다. 이를 해결하기 위하여 이동 노드들은 데이터의 중복사본을 갖는다. 이동 노드가 갖는 중복사본은 데이터 일관성을 유지하기 위하여 별도의 중복관리 기법이 필요하다. 하지만 MANET을 구성하는 이동 노드들은 일반적으로 제한된 전력을 가지고 있고 단절될 가능성이 높기 때문에 중복 사본의 일관성 보장은 어려운 문제로 지적되고 있다. 기존에 제안된 MANET에서의 데이터 중복관리 기법은 데이터 액세스 빈도수를 계산하여 액세스률을 높이는 방법에 주안점을 두고 있고 갱신 데이터의 일관성 보장은 그 어려움 때문에 주로 판독 연산만 고려하였다. 갱신 트랜잭션을 지원하는 경우 대부분 높은 통신비용을 이유로 데이터 일관성을 보장하지 않는다. 또한 이동 노드가 다수의 서버를 통해서 갱신 연산을 실행하기 때문에 통신 오버헤드로 인하여 전력소모가 크다. 본 논문에서는 주사본 노드를 통하여 갱신을 가능하게 함으로써 데이터 일관성을 유지할 수 있는 데이터 중복 기법을 제안한다. 제안된 기법은 이동 노드들의 에너지 특성을 고려하여 더 않은 에너지를 가진 노드에게 갱신 전파 및 일관성 유지를 의뢰함으로써 상대적으로 낮은 에너지를 갖는 이동 노드의 에너지 효율을 고려하였다.

최근, 국내외적으로 국가차원에서 Grid에 대한 다양한 연구가 이루어지고 Grid 컴퓨팅 기술에 대한 상용화의 추세가 보이면서 Grid 시스템에 참여하는 엔티티의 수가 날로 증가하고 있다. 따라서 Globus에 기반 한 Grid환경에서의 기존의 LDAP시스템은 늘어나는 부하를 처리하기에는 충분하지 못하게 되었고 제공할 수 있는 성능의 한계를 초과하고 있다. 이를 위하여 고성능 Grid환경에 부합되는 새로운 LDAP시스템의 설계가 필수적이고 이를 위해서는 기존 LDAP시스템에 대한 성능분석이 우선시 되어야 한다. 하지만 기존의 대부분의 연구는 읽기 동작이 대부분을 차지하는 기존의 응용들을 위한 성능향상에 목적을 두고 있어서 쓰기 동작이 대부분을 차지하는 Grid환경에 적용하기에는 부적합하다. 본 논문에서는 노드수(n), 도착율(λ), 읽기 확률(Pr)변화에 따른 분산 기반 모델과 복제 기반 모델에서 성능분석의 결과를 제시한다. 이를 위하여 M/M/l 큐잉모델을 기초로 기존 LDAP시스템에 대한 분산과 복제에 기반 한 분석모델을 도출하고, 분석모델을 통한 성능분석의 결과를 제시한다. 본 논문의 목표는 이러한 성능분석의 결과를 바탕으로 고성능 Grid환경에 부합되는 새로운 LDAP시스템의 설계방향을 제시하고자 한다. 또한 이러한 결과들은 고성능 Grid환경에서 LDAP기반의 GIS시스템의 설계에 기초자료 활용할 수 있을 것으로 사료된다.

Recently, as the number of entities participating in the Grid system increased, the response time of LDAP system became inadequate. Consequently, we have to design new LDAP that suitable for high performance Grid environments. For this, researches about analysis of performance LDAP system are needed firstly. However, because researches are focused mostly on read operation optimized environments, so these result of researches are not directly applied to high performance Grid environments that write operation occupies most. In this paper, we provide overall results of analysis of performance of LDAP system with respect to number of node, query arrival rate, probability of read and so on. The analysis is based on in analytic performance model by applying the M/M/1 queuing model. Finally, based on the results, we suggest the direction for the design of high performance LDAP system and this research results can be applied as basic materials to design of GIS in high performance Grid environments as well as.