Earticle

현재 위치 Home

The Dynamic Replication Mechanism of HDFS Hot File based on Cloud Storage

첫 페이지 보기
  • 발행기관
    보안공학연구지원센터(IJSIA) 바로가기
  • 간행물
    International Journal of Security and Its Applications SCOPUS 바로가기
  • 통권
    Vol.9 No.8 (2015.08)바로가기
  • 페이지
    pp.439-448
  • 저자
    Mingyong Li, Yan Ma, Meilian Chen
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A252536

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
As an open source cloud storage scheme, HDFS is used by more and more large enterprises and researchers, and is actually applied to many cloud computing systems to deal with huge amounts of data. HDFS has many advantages, but there are some problems such as NameNode single point of failure, small file problem, hot issues, etc. For HDFS hot issues, this paper proposes a dynamic Replication mechanism of HDFS hot file based on cloud storage（HDFS-DRM）. The mechanism includes a Replication of the dynamic adjustment mechanism and adding, deleting duplicate node selection mechanism in two parts, by increasing the NameNode, BlockMap parameters, it records the number of reading requests of each file in a certain period of time to decide whether to increase or decrease the number of copies. The mechanism presents a replica placement method based on stage historical information and node load and selects the appropriate node to add or delete copies of documents to improve the utilization efficiency of the data node storage space effectively. Experimental results show that, HDFS - DRM in hot files case, compared to native HDFS file system access latency is significantly reduced, HDFS-DRM can solve the hot issues successfully.

목차

Abstract
 1. Introduction
 2. Framework of Dynamic Replication mechanism system based on HDFS
  2.1. Increasing access_log and Timer1 in NameNode
  2.2. Adding a Separate Dynamic Replica Controller, its Main Functions
 3. The Improvement of the BlockMap
 4. The Node's Selection of Adding and Deleting Replication
  4.1. The Selection of Node that Increase the Replication
  4.2. The Selection of Node that Delete Replication
 5. Experiment and Analysis
 6. Conclusion
 Acknowledgement
 References

키워드

Cloud storage HDFS hot files dynamic Replication

저자

  • Mingyong Li [ College of Computer and Information Science, Chongqing Normal University, Chongqing, China ]
  • Yan Ma [ College of Computer and Information Science, Chongqing Normal University, Chongqing, China ]
  • Meilian Chen [ College of Computer and Information Science, Chongqing Normal University, Chongqing, China ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    보안공학연구지원센터(IJSIA) [Science & Engineering Research Support Center, Republic of Korea(IJSIA)]
  • 설립연도
    2006
  • 분야
    공학>컴퓨터학
  • 소개
    1. 보안공학에 대한 각종 조사 및 연구 2. 보안공학에 대한 응용기술 연구 및 발표 3. 보안공학에 관한 각종 학술 발표회 및 전시회 개최 4. 보안공학 기술의 상호 협조 및 정보교환 5. 보안공학에 관한 표준화 사업 및 규격의 제정 6. 보안공학에 관한 산학연 협동의 증진 7. 국제적 학술 교류 및 기술 협력 8. 보안공학에 관한 논문지 발간 9. 기타 본 회 목적 달성에 필요한 사업

간행물

  • 간행물명
    International Journal of Security and Its Applications
  • 간기
    격월간
  • pISSN
    1738-9976
  • 수록기간
    2008~2016
  • 등재여부
    SCOPUS
  • 십진분류
    KDC 505 DDC 605

이 권호 내 다른 논문 / International Journal of Security and Its Applications Vol.9 No.8

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.