Earticle

현재 위치 Home

An Optimization Scheme in MapReduce for Reduce Stage

첫 페이지 보기
  • 발행기관
    보안공학연구지원센터(IJGDC) 바로가기
  • 간행물
    International Journal of Grid and Distributed Computing SCOPUS 바로가기
  • 통권
    Vol.9 No.8 (2016.08)바로가기
  • 페이지
    pp.197-208
  • 저자
    Qi Liu, Weidong Cai, Baowei Wang, Zhangjie Fu, Nigel Linge
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A284171

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
As a widely used programming model for the purposes of processing large data sets, MapReduce (MR) becomes inevitable in data clusters or grids, e.g. a Hadoop environment. Load balancing as a key factor affecting the performance of map resource distribution, has recently gained high concerns to optimize. Current MR processes in the realization of distributed tasks to clusters use hashing with random modulo operations, which can lead to uneven data distribution and inclined loads, thereby obstruct the performance of the entire distribution system. In this paper, a virtual partition consistent hashing (VPCH) algorithm is proposed for the reduce stage of MR processes, in order to achieve such a trade-off on job allocation. Besides, experienced programmers are needed to decide the number of reducers used during the reduce phase of the MR, which makes the quality of MR scripts differ. So, an extreme learning method is employed to recommend potential number of reducer a mapped task needs. Execution time is also predicted for user to better arrange their tasks. According to the results, VPCH can lead to load balancing and our prediction model can provide fast prediction than SVM with similar accuracy maintained.

목차

Abstract
 1. Introduction
 2. Related Work
 3. Virtual Partition Consistent Hashing
  3.1. Generation of VPCH Hash Circle
  3.2. Allocation of Mapped Data Splits
 4. A Prediction Model based on NO-ELM
  4.1. Number of Hidden Neurons Optimized ELM (NO-ELM)
  4.2. The Process to Build the Prediction Model based on NO-ELM
 5. Experiment and Analysis
  5.1. Evaluation of VPCH
  5.2. Evaluation of NO-ELM
 6. Conclusion
 Acknowledgments
 References

키워드

MapReduce Load Balancing Consistent Hashing Extreme Learning Fast Prediction

저자

  • Qi Liu [ Nanjing University of Information Science and Technology, 219 Ningliu Road, Nanjing, Jiangsu, 210044, China ]
  • Weidong Cai [ Nanjing University of Information Science and Technology, 219 Ningliu Road, Nanjing, Jiangsu, 210044, China ]
  • Baowei Wang [ Nanjing University of Information Science and Technology, 219 Ningliu Road, Nanjing, Jiangsu, 210044, China ]
  • Zhangjie Fu [ Nanjing University of Information Science and Technology, 219 Ningliu Road, Nanjing, Jiangsu, 210044, China ]
  • Nigel Linge [ The University of Salford, Salford, Greater Manchester, M5 4WT, UK ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    보안공학연구지원센터(IJGDC) [Science & Engineering Research Support Center, Republic of Korea(IJGDC)]
  • 설립연도
    2006
  • 분야
    공학>컴퓨터학
  • 소개
    1. 보안공학에 대한 각종 조사 및 연구 2. 보안공학에 대한 응용기술 연구 및 발표 3. 보안공학에 관한 각종 학술 발표회 및 전시회 개최 4. 보안공학 기술의 상호 협조 및 정보교환 5. 보안공학에 관한 표준화 사업 및 규격의 제정 6. 보안공학에 관한 산학연 협동의 증진 7. 국제적 학술 교류 및 기술 협력 8. 보안공학에 관한 논문지 발간 9. 기타 본 회 목적 달성에 필요한 사업

간행물

  • 간행물명
    International Journal of Grid and Distributed Computing
  • 간기
    격월간
  • pISSN
    2005-4262
  • 수록기간
    2008~2016
  • 십진분류
    KDC 505 DDC 605

이 권호 내 다른 논문 / International Journal of Grid and Distributed Computing Vol.9 No.8

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.