Earticle

초록

영어

In big data era, there are a number of considerable parts in processing systems for capturing, storing, and analyzing stored or streaming data. Unlike traditional data handling systems, a big data processing system needs to concern the characteristics (format, velocity, and volume) of being handled data in the system. In this situation, virtualized computing platform is an emerging platform for handling big data effectively, since virtualization technology enables to manage computing resources dynamically and elastically with minimum efforts. In this paper, we analyze resource utilization of virtualized computing resources to discover suitable deployment models in Apache Hadoop and HBase-based big data processing environment. Consequently, Task Tracker service shows high CPU utilization and high Disk I/O overhead during MapReduce phases. Moreover, HRegion service indicates high network resource consumption for transfer the traffic data from DataNode to Task Tracker. DataNode shows high memory resource utilization and Disk I/O overhead for reading stored data.

한국어

빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석 하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이 터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해 야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축 적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하 나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터 처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 클라우드 기반 다중 계층 응용의 배포 모델 분석에관한 연구
2.2 클라우드 기반 빅 데이터 미들웨어의 배포 모델 분석에 관한 연구
3. 클라우드 기반 빅 데이터 처리 플랫폼의 배포 모델
4. 실험 설계
4.1 실험 응용 프로그램
4.2 실험 환경
4.3 실험 방법
5. 가상 컴퓨팅 자원 이용률 분석
5.1 Apache Hadoop 및 HBase 응용의 CPU 이용률 분석
5.2 Apache Hadoop 및 HBase 응용 별 가상 컴퓨팅 자원의 CPU 이용률 분석
5.3 Apache Hadoop 및 HBase 응용의 메모리 자원이용률 분석
5.4 Apache Hadoop 및 HBase 응용 별 가상 컴퓨팅자원의 메모리 자원 이용률 분석
5.5 Apache Hadoop 및 HBase 응용의 네트워크 이용률 분석
5.6 Apache Hadoop 및 HBase 응용 별 가상 컴퓨팅 자원의 네트워크 이용률 분석
5.7 Apache Hadoop 및 HBase 응용의 디스크이용률 분석
5.8 Apache Hadoop 및 HBase 응용 별 가상 컴퓨팅 자원의 디스크 이용률 분석
6. 결론
참고문헌

키워드

저자

• 조나연 [ Nayun Cho | 건국대학교 대학원 컴퓨터·정보통신공학과 ]
• 구민오 [ Mino Ku | 건국대학교 대학원 컴퓨터·정보통신공학과 ]
• 김바울 [ Baul Kim | 건국대학교 대학원 컴퓨터·정보통신공학과 ]
• Rui Xuhua [ 건국대학교 대학원 컴퓨터·정보통신공학과 ]
• 민덕기 [ Dugki Min | 건국대학교 대학원 컴퓨터·정보통신공학과 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  정보화연구 [정보화연구(구 정보기술아키텍처연구)]

• 간기

  계간

• pISSN

  1738-382X

• 수록기간

  2004~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 325 DDC 658