Earticle

현재 위치 Home

Big Data Performance Evaluation Analysis Using Apache Pig

첫 페이지 보기
  • 발행기관
    보안공학연구지원센터(IJSEIA) 바로가기
  • 간행물
    International Journal of Software Engineering and Its Applications SCOPUS 바로가기
  • 통권
    Vol.10 No.11 (2016.11)바로가기
  • 페이지
    pp.429-440
  • 저자
    Gal Engelberg, Oded Koren, Nir Perel
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A292623

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
While companies' usage of big data products increases, the question of which big data architecture is the most suitable to the company's needs is rising. This study presents an approach of running multiple processes which simulates preliminary data processing of sale transactions input dataset using Apache Pig, in order to find the best performing big data environment in terms of decentralization level over the HDFS. The case study approach can provide companies an additional tool for understanding the required investment on hardware or cloud computing resources. We analyze which decentralization level achieves the best processing time, and explore the behavior of performance's change according to the change in decentralization level and performance change according to the change in the size of the input dataset. The case study's insights are: When processing the same data flow over the same input dataset, processing time performance is better as long as decentralization level increases; As long as decentralization level increases the change between performances decreases significantly; Processing the same Pig data flow under the same scale of decentralization level over large input dataset performs better then processing it over a smaller input dataset - in terms of processing time per volume unit; As blocks-data nodes ratio becomes higher, the processing time becomes longer, and vice versa.

목차

Abstract
 1. Introduction
 1.1 Hadoop Overview
  1.2 Apache Pig project
  1.3 Apache Pig Research Background
 2. Research method
  2.1 Case study's Data
  2.2. Case Study's Data Flow
  2.3. Case Study's Scenarios
 3. Data Analysis
  3.1. First Comparison
  3.2 Second Comparison
  3.3 Data Nodes Utilization Analysis
 4. Conclusions and Discussion
 References

키워드

Big Data Performance Hadoop Pig HDFS

저자

  • Gal Engelberg [ Department of Industrial Engineering and Management, Shenkar – Engineering, Israel ]
  • Oded Koren [ Department of Industrial Engineering and Management, Shenkar – Engineering, Israel ]
  • Nir Perel [ Department of Industrial Engineering and Management, Shenkar – Engineering, Israel ] Corresponding Author

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    보안공학연구지원센터(IJSEIA) [Science & Engineering Research Support Center, Republic of Korea(IJSEIA)]
  • 설립연도
    2006
  • 분야
    공학>컴퓨터학
  • 소개
    1. 보안공학에 대한 각종 조사 및 연구 2. 보안공학에 대한 응용기술 연구 및 발표 3. 보안공학에 관한 각종 학술 발표회 및 전시회 개최 4. 보안공학 기술의 상호 협조 및 정보교환 5. 보안공학에 관한 표준화 사업 및 규격의 제정 6. 보안공학에 관한 산학연 협동의 증진 7. 국제적 학술 교류 및 기술 협력 8. 보안공학에 관한 논문지 발간 9. 기타 본 회 목적 달성에 필요한 사업

간행물

  • 간행물명
    International Journal of Software Engineering and Its Applications
  • 간기
    월간
  • pISSN
    1738-9984
  • 수록기간
    2008~2016
  • 등재여부
    SCOPUS
  • 십진분류
    KDC 505 DDC 605

이 권호 내 다른 논문 / International Journal of Software Engineering and Its Applications Vol.10 No.11

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.