Earticle

초록

영어

Due to the recent data explosion, methods which can meet the requirement of large data analysis has been studying. This paper proposes MRIterativeBUC algorithm which enables efficient computation of large data cube by distributed parallel processing with MapReduce framework. MRIterativeBUC algorithm is developed for efficient iterative operation of the BUC method with MapReduce, and overcomes the limitations about the storage size and processing ability caused by large data cube computation. It employs the idea from the iceberg cube which computes only the interesting aspect of analysts and the distributed parallel process of cube computation by partitioning and sorting. Thus, it reduces data emission so that it can reduce network overload, processing amount on each node, and eventually the cube computation cost. The bottom-up cube computation and iterative algorithm using MapReduce, proposed in this paper, can be expanded in various way, and will make full use of many applications.

한국어

최근 데이터의 폭발적인 증가로 인해 대규모 데이터의 분석에 대한 요구를 충족할 수 있는 방 법들이 계속 연구되고 있다. 본 논문에서는 맵리듀스를 이용한 분산 병렬 처리를 통해 대규모 데이터 큐브의 효율적인 계산이 가능한 MRIterativeBUC 알고리즘을 제안하였다. MRIterativeBUC 알고 리즘은 기존의 BUC 알고리즘을 맵리듀스의 반복적 단계에 따른 효율적인 동작이 가능하도록 개발되 었고, 기존의 대규모 데이터 큐브 계산에 따른 문제인 데이터 크기와 저장 및 처리 능력의 한계를 해 결하였다. 또한, 분석자의 관심 부분에 대해서만 계산하는 빙산 큐브 개념의 도입과 파티셔닝, 정렬과 같은 큐브 계산을 분산 병렬 처리하는 방법 등의 장점들을 통해 데이터 방출량을 줄여서 네트워크 부 하를 줄이고, 각 노드의 처리량을 줄이며, 궁극적으로 전체 큐브 계산 비용을 줄일 수 있다. 본 연구 결과는 맵리듀스를 이용한 데이터 큐브 계산에 대해서 상향식 처리와 반복적 알고리즘을 통해 다양한 확장이 가능하며, 여러 응용 분야에서 활용이 가능할 것으로 예상된다.

목차

요약
Abstract
1. 서론
2. 연구 배경(Background)
2.1 데이터 큐브(Data Cube)
2.2 빙산 큐브(Iceberg Cube)
2.3 맵리듀스 프레임워크 (MapReduce Framework)
3. 문제 정의(Problem Definition)
3.1 BUC 알고리즘(BUC Algorithm)
3.2 MRNaive 알고리즘(MRNaive Algorithm)
4. 반복적 상향식 맵리듀스 알고리즘(Iterative BUC MapReduce Algorithm)
4.1 최소지지도에 따른 데이터 처리량 감소
4.2 파티셔닝과 정렬의 분산 병렬 처리
4.3 MRIterativeBUC 알고리즘
5. 결론
참고문헌

키워드

저자

• 이수안 [ Suan Lee | 강원대학교 IT대학 컴퓨터과학과 ]
• 조선화 [ Sunhwa Jo | 강원대학교 IT대학 컴퓨터과학과 ]
• 김진호 [ Jinho Kim | 강원대학교 IT대학 컴퓨터과학과 ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  정보화연구 [정보화연구(구 정보기술아키텍처연구)]

• 간기

  계간

• pISSN

  1738-382X

• 수록기간

  2004~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 325 DDC 658