현재 위치
Home
Large-Scale Text Similarity Computing with Spark
-
- 발행기관
- 보안공학연구지원센터(IJGDC) 바로가기
-
- 간행물
- International Journal of Grid and Distributed Computing SCOPUS 바로가기
-
- 통권
- Vol.9 No.4 (2016.04)바로가기
-
- 페이지
- pp.95-100
-
- 저자
-
- 언어
- 영어(ENG)
-
- URL
- https://www.earticle.net/Article/A272910
※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.
원문정보
초록
- 영어
- Text understanding is a hot research in Natural Language Processing and Information Retrieval. In recent years, it has received wide attention and research. In the era of big data, Understanding text in large-scale datasets is a challenge. Although the earliest systems designed for these workloads, such as MapReduce, gave users a powerful, but low-level, procedural programming interface. So, MapReduce doesn’t compose well for lager text applications. Recently, Spark, an in-memory cluster-computing platform, has been proposed. It has emerged as a popular framework for large-scale data processing and analytics. It provides a general-purpose efficient cluster computing engine and simpler for the end users. In this work, we consider using Vector Space Model (VSM) and TF-IDF weighting schema and feature hashing feature extraction techniques in order to solve the problem of large-scale text data similarity computing by Spark. As a result, Experimental results that using Spark in order to solve document similarity computation problems as soon as quickly by 20Newsgroups. In additions, It is more benefit from document classification and clustering of machine learning tasks.
목차
Abstract
1. Introduction
2. Apache Spark
2.1. Resilient Distributed Datasets
2.2. Broadcast Variables and Accumulators
2.3. Lineage and Fault Tolerance of Spark
3. Vector Space Model and Similarity Computing Techniques
3.1. Text Representation
3.2. Similarity Computing Techniques
4. Experimental Results
5. Conclusion
Acknowledgements
References
키워드
Text Similarity Vector Space Model TF-IDF MapReduce Spark저자
간행물 정보
발행기관
-
- 발행기관명
- 보안공학연구지원센터(IJGDC) [Science & Engineering Research Support Center, Republic of Korea(IJGDC)]
- 설립연도
- 2006
- 분야
- 공학>컴퓨터학
- 소개
- 1. 보안공학에 대한 각종 조사 및 연구 2. 보안공학에 대한 응용기술 연구 및 발표 3. 보안공학에 관한 각종 학술 발표회 및 전시회 개최 4. 보안공학 기술의 상호 협조 및 정보교환 5. 보안공학에 관한 표준화 사업 및 규격의 제정 6. 보안공학에 관한 산학연 협동의 증진 7. 국제적 학술 교류 및 기술 협력 8. 보안공학에 관한 논문지 발간 9. 기타 본 회 목적 달성에 필요한 사업
간행물
-
- 간행물명
- International Journal of Grid and Distributed Computing
- 간기
- 격월간
- pISSN
- 2005-4262
- 수록기간
- 2008~2016
- 십진분류
- KDC 505 DDC 605
이 권호 내 다른 논문 / International Journal of Grid and Distributed Computing Vol.9 No.4
피인용수 : 0건 (자료제공 : 네이버학술정보)
함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.
출처 : 네이버학술정보
0개의 논문이 장바구니에 담겼습니다.