Earticle

현재 위치 Home

A Cost Effective Virtual Cluster with Hadoop Framework for Big Data Analytics

첫 페이지 보기
  • 발행기관
    보안공학연구지원센터(IJDTA) 바로가기
  • 간행물
    International Journal of Database Theory and Application SCOPUS 바로가기
  • 통권
    Vol.8 No.6 (2015.12)바로가기
  • 페이지
    pp.199-214
  • 저자
    Seraj Al Mahmud Mostafa, A.B.M Moniruzzaman
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A267562

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
Big data processing is currently becoming increasingly important research field in computer technology professionals due to the continuous growth of the amount of data generated by various fields. However, the processing of large-scale research data requires cluster technology infrastructure which causes huge investments for educational institutions. Hadoop is an open-source framework that allows for distributed storage and processing of very large data sets on computer clusters built from commodity hardware. This technology is being widely used for the analysis of large datasets. This paper focuses on proposes a low cost scalable hadoop virtual cluster platform and the performance of hadoop irtual cluster. We first describe the design and implementation of a virtual datacenter using hadoop framework. Then we perform a set of experiments to investigate the performance of virtual datacenter with standard datasets. For experiment and evaluation, the Cloudera's distribution of Apache Hadoop (CDH) is installed and configured on the DIU Cloud and Big Data Lab as a prototype implementation of a virtual data center and tested with 40 workstations. In this paper, we use TPC BENCHMARK ™ DS” by-Transaction Processing Performance Council (TPC) benchmarks for evaluation virtual data center performance. The contributions of this paper, is to design model and implement a cost effective elastic virtual data center with hadoop framework and resource utilizations for educational institutions to provide high performance for distributed and parallel processing; as well as, Identify the bottlenecks of this systems e.g. bandwidth of network connectivity with all nodes in the lab.

목차

Abstract
 1. Introduction
 2. Related Technologies
  2.1. Virtualization Technology
  2.2. Hadoop
  2.3. MapReduce
 3. Implementation of Hadoop Virtual Cluster
  3.1. Infrastructure Design
  3.2. Environment Setup
 4. Performance Evaluation
  4.1. Query Example One
  4.2. Query Example Two
  4.3. Query Example Three
 5. Conclusion
 References

키워드

Hadoop MapReduce Virtual Cluster Cloud Computing Big Data

저자

  • Seraj Al Mahmud Mostafa [ Member, IEEE, 2 Department of Computer Science and Engineering Daffodil International University Dhaka, Bangladesh ]
  • A.B.M Moniruzzaman [ Member, IEEE, 2 Department of Computer Science and Engineering Daffodil International University Dhaka, Bangladesh ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    보안공학연구지원센터(IJDTA) [Science & Engineering Research Support Center, Republic of Korea(IJDTA)]
  • 설립연도
    2006
  • 분야
    공학>컴퓨터학
  • 소개
    1. 보안공학에 대한 각종 조사 및 연구 2. 보안공학에 대한 응용기술 연구 및 발표 3. 보안공학에 관한 각종 학술 발표회 및 전시회 개최 4. 보안공학 기술의 상호 협조 및 정보교환 5. 보안공학에 관한 표준화 사업 및 규격의 제정 6. 보안공학에 관한 산학연 협동의 증진 7. 국제적 학술 교류 및 기술 협력 8. 보안공학에 관한 논문지 발간 9. 기타 본 회 목적 달성에 필요한 사업

간행물

  • 간행물명
    International Journal of Database Theory and Application
  • 간기
    격월간
  • pISSN
    2005-4270
  • 수록기간
    2008~2016
  • 십진분류
    KDC 505 DDC 605

이 권호 내 다른 논문 / International Journal of Database Theory and Application Vol.8 No.6

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.