Earticle

초록

한국어

HDFS와 같은 분산 시스템은 다수의 노드를 인터커넥트 네트워크로 연결하여 클러스터로 구성한 HPC(High Performance Computing) 시스템이다. 이러한 시스템에서 인터커넥트 네트워크의 전송방식은 전체 시스템의 성 능에 미치는 영향이 크며, 분산 시스템의 연산 및 저장 방식에 많은 영향을 미친다. 최근, HDFS 시스템은 데이터 연산 및 저장 방식의 복잡화로 네트워크 부하와 노드의 연산 부하 분석을 통한 시스템 최적화가 필요하다. 본 논문 에서는 인터커넥트 네트워크와 HDFS 시스템의 안정성 보장 기법에 대한 다양한 방법의 시스템 성능 실험을 통해 서 HDFS 시스템의 병목현상을 분석해본다. 특히, 이더넷뿐만 아니라 PCIe NTB와 같은 RDMA(Remote Direct Memory Access) 방식의 인터커넥트 네트워크 기반의 HDFS 시스템에서 Erasure Coding 기법에 대한 성능 분 석을 함으로써, RDMA 전송 가능한 PCIe NBT 기반의 인터커넥트 네트워크에서 HDFS 시스템의 안정성 향상 및 성능 향상을 위한 해결 방안을 구상하였다.

영어

A distributed system such as HDFS is a High Performance Computing(HPC) system composed of a cluster by connecting a number of nodes through an interconnect network. In such a system, the Interconnect Network has a large effect on the performance of the entire system, and has a great influence on the storage operations of distributed system. Recently, the HDFS system is required to be optimized by analyzing the network load and the computational load of nodes due to the complexity of the data operation and storage method. In this paper, we have analyzed the bottleneck of HDFS system through system performance experiment of various methods in the aspect of the stability guarantee method of HDFS system. In particular by analyzing the performance of the erasure coding technique in the RDMA interconnect network-based HDFS system such as PCIe NTB as well as Ethernet a solution for improving the stability and performance of the HDFS system in the PCIe NTB-based interconnect network capable of RDMA transfer could be figured out.

목차

요약
Abstract
1. 서론
2. 배경
2.1 PCI-express NTB
2-2 HDFS(Hadoop Distribute File System)
3. PCIe NTB 기반 HDFS 저장 시스템
3.1 시스템 구성
3.2 HDFS 벤치마크 DFSIO
4. PCIe NTB 기반 HDFS 실험 분석 결과
4.1 HDFS의 Replication과 Erasure Coding성능 분석
4.2 네트워크에 따른 Erasure Coding 성능 분석
4.3 ISA-L 성능 비교 분석
4.4 실험 평가 분석 및 논의
5. 결론
Acknowledgment
참고문헌

저자

• 신동렬 [ Dong-Ryeol Sin | 한국외국어대학교 컴퓨터공학부 ]
• 고병현 [ Byeong-Hyun Ko | 한국외국어대학교 컴퓨터공학부 ]
• 지민재 [ Min-Jae Ji | 한국외국어대학교 컴퓨터공학부 ]
• 김성현 [ Seong-Hyun Kim | 한국외국어대학교 컴퓨터공학부 ]
• 임승호 [ Seung-Ho Lim | 한국외국어대학교 컴퓨터공학부 ] 교신저자

참고문헌