Earticle

현재 위치 Home

Analyze NYC Taxi Data Using Hive and Machine Learning

첫 페이지 보기
  • 발행기관
    보안공학연구지원센터(IJDTA) 바로가기
  • 간행물
    International Journal of Database Theory and Application SCOPUS 바로가기
  • 통권
    Vol.9 No.6 (2016.06)바로가기
  • 페이지
    pp.191-198
  • 저자
    Bayan Alghuraybi, Krishna Marvaniya, Guojun xia, Jongwook Woo
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A280231

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
Machine learning utilizes algorithms to run predictive models that learn from a large dataset in an iterative manner. Predictive models are used in many business applications to gain competitive advantages and understand customers better. This paper concentrates on analyzing New York taxi trips and fares and presenting the methodology we used to address the problem and results reached by building through Azure Machine learning studio. Our practical approach starts with an exploratory analysis of NYC taxi data via Microsoft Power BI. Then more extensive analysis was conducted through Apache Hive data warehouse. Hive was built on top of Hadoop enabling data synopsis, query, and analysis. We implemented Hive queries to create tables in Microsoft Azure blob storage and store the data in external tables. Finally, we conducted our experiment by creating, training and testing the module. The finding and insights pertain to the main variables of our experiment: pick up time, drop off time and tip amount that could be integrated into an application and enhance business by picking the location with the highest tip for example.

목차

Abstract
 1. Introduction
 2. Similar Work
 3. Review of HDInsight, MapReduce, Hive and Azure Machine Learning Studio
  3.1 HDInsight and Blob Storage
  3.2. MapReduce
  3.3. Hive
  3.4 Business Power BI
  3.5. Azure Machine Learning Studio
 4. Microsoft Azure Ingest data
  4.1. Load Data Into Storage Environments for Analytics
  4.2 Explore and Pre-Process Data through Business Power BI
  4.3 Explore and Pre-Process Data through Azure Hdinsight and Hive Queries
 5. Import Data into Azure Machine Learning Studio with the Reader Module
  5.1 Explore Data in the Predictive Analytics Process
  5.2 Create, Deploy & Consume Model
 6. Conclusion
 References

키워드

Machine learning HDInsight Hive Cluster

저자

  • Bayan Alghuraybi [ Grad Student, Prof., Department of Computer Information Systems, California State University Los Angeles ]
  • Krishna Marvaniya [ Grad Student, Prof., Department of Computer Information Systems, California State University Los Angeles ]
  • Guojun xia [ Grad Student, Prof., Department of Computer Information Systems, California State University Los Angeles ]
  • Jongwook Woo [ Prof., Department of Computer Information Systems, California State University Los Angeles ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    보안공학연구지원센터(IJDTA) [Science & Engineering Research Support Center, Republic of Korea(IJDTA)]
  • 설립연도
    2006
  • 분야
    공학>컴퓨터학
  • 소개
    1. 보안공학에 대한 각종 조사 및 연구 2. 보안공학에 대한 응용기술 연구 및 발표 3. 보안공학에 관한 각종 학술 발표회 및 전시회 개최 4. 보안공학 기술의 상호 협조 및 정보교환 5. 보안공학에 관한 표준화 사업 및 규격의 제정 6. 보안공학에 관한 산학연 협동의 증진 7. 국제적 학술 교류 및 기술 협력 8. 보안공학에 관한 논문지 발간 9. 기타 본 회 목적 달성에 필요한 사업

간행물

  • 간행물명
    International Journal of Database Theory and Application
  • 간기
    격월간
  • pISSN
    2005-4270
  • 수록기간
    2008~2016
  • 십진분류
    KDC 505 DDC 605

이 권호 내 다른 논문 / International Journal of Database Theory and Application Vol.9 No.6

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.