Earticle

현재 위치 Home

Market Basket Analysis Algorithm on Map/Reduce in AWS EC2

첫 페이지 보기
  • 발행기관
    보안공학연구지원센터(IJAST) 바로가기
  • 간행물
    International Journal of Advanced Science and Technology 바로가기
  • 통권
    Vol.46 (2012.09)바로가기
  • 페이지
    pp.25-38
  • 저자
    Jongwook Woo
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A206799

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
As the web, social networking, and smartphone application have been popular, the data has grown drastically everyday. Thus, such data is called Big Data. Google met Big Data earlier than others and recognized the importance of the storage and computation of Big Data. Thus, Google implemented its parallel computing platform with Map/Reduce approach on Google Distributed File Systems (GFS) in order to compute Big Data. Map/Reduce motivates to redesign and convert the existing sequential algorithms to Map/Reduce algorithms for Big Data so that the paper presents Market Basket Analysis algorithm with Map/Reduce, one of popular data mining algorithms. The algorithm is to sort data set and to convert it to (key, value) pair to fit with Map/Reduce. Amazon Web Service (AWS) provides Apache Hadoop platform that provide Map/Reduce computing on Hadoop Distributed File Systems (HDFS) as one of many its services. In the paper, the proposed algorithm is executed on Amazon EC2 Map/Reduce platform with Hadoop. The experimental results show that the code with Map/Reduce increases the performance as adding more nodes but at a certain point, Map/Reduce has the limitation of exploring the parallelism with a bottle-neck that does not allow the performance gain. It is believed that the operations of distributing, aggregating, and reducing data in the nodes of Map/Reduce should cause the bottle-neck.

목차

Abstract
 1. Introduction
 2. Related Work
 3. Map/Reduce in Hadoop
  3.1. Map/Reduce in Parallel Computing
  3.2. The Issues of Map/Reduce
 4. Market Basket Analysis Algorithm
  4.1. Data Structure and Conversion
  4.2. The algorithm
  4.3. The Code
 5. Experimental Result
  5.1. Future Work with Database for Big Data
 6. Conclusion
 References

키워드

Big Data Map/Reduce Market Basket Analysis Association Rule Hadoop Cloud Computing AWS EC2

저자

  • Jongwook Woo [ Computer Information Systems Department California State University Los Angeles ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    보안공학연구지원센터(IJAST) [Science & Engineering Research Support Center, Republic of Korea(IJAST)]
  • 설립연도
    2006
  • 분야
    공학>컴퓨터학
  • 소개
    1. 보안공학에 대한 각종 조사 및 연구 2. 보안공학에 대한 응용기술 연구 및 발표 3. 보안공학에 관한 각종 학술 발표회 및 전시회 개최 4. 보안공학 기술의 상호 협조 및 정보교환 5. 보안공학에 관한 표준화 사업 및 규격의 제정 6. 보안공학에 관한 산학연 협동의 증진 7. 국제적 학술 교류 및 기술 협력 8. 보안공학에 관한 논문지 발간 9. 기타 본 회 목적 달성에 필요한 사업

간행물

  • 간행물명
    International Journal of Advanced Science and Technology
  • 간기
    월간
  • pISSN
    2005-4238
  • 수록기간
    2008~2016
  • 십진분류
    KDC 505 DDC 605

이 권호 내 다른 논문 / International Journal of Advanced Science and Technology Vol.46

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.