Earticle

초록

영어

We face problems from excessive information served with websites in this rapidly changing information era. We find little information useful and much useless and spend a lot of time to select information needed. Many websites including search engines use web crawling in order to make data updated. Web crawling is usually used to generate copies of all the pages of visited sites. Search engines index the pages for faster searching. With regard to data collection for wholesale and order information changing in realtime, the keyword-oriented web data collection is not adequate. The alternative for selective collection of web information in realtime has not been suggested. In this paper, we propose a method of collecting information of restricted web sites by using Web crawling distributed monitoring system (R-WCMS) and estimating collection time through detailed analysis of data and storing them in parallel system. Experimental results show that web site information retrieval is applied to the proposed model, reducing the time of 15-17%.

한국어

급변하는 정보화 시대에서 웹사이트에 서비스되는 정보 과잉에 대한 문제들을 접하곤 한다. 정보가 많 아도 쓸모 있는 정보는 없고, 필요한 정보를 선택하는데 불필요한 시간이 많이 소비 된다. 검색 엔진과 같은 여 러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링을 한다. 웹 크롤링은 대부분 방문한 사이트의 모 든 페이지의 복사본을 생성하는 데 사용되며 검색 엔진은 이렇게 생성된 페이지를 더욱 빠른 검색을 위해 인덱 싱 한다. 많은 데이터 중에 정보가 실시간으로 변경되는 도매정보, 주문정보 등의 제한된 웹 데이터 수집은 일 반적인 주제 중심의 웹 데이터 수집으로 무리가 있다. 현재 제한적 웹 정보를 실시간으로 수집하고 저장하는 방법에 대한 대안이 제시되고 있지 않다. 본 논문에서는 제한된 웹 사이트의 정보를 수집하고, 데이터의 상세 분석을 통한 수집 시간 예측과 분류 작업을 통해 병렬 시스템에 저장하는 웹 크롤링 분산 모니터링 시스템 (R-WCMS)을 제안한다. 실험 결과 웹 사이트 정보 검색을 제안모델에 적용하여 15-17% 시간이 감소됨을 입증 했다.

목차

요약
Abstract
1. 서론
2. 관련연구
2.1 Structure of Web Crawler
2.2 Topical crawler
2.3 Apache Kafka
3. 제안 모델
3.1 웹 데이터 수집기
3.2 실시간 웹 데이터 모니터 시스템
4. 실험 및 평가
4.1 실험 환경
4.2 실험 방법
4.3 결과 및 분석
5. 결론
REFERENCES

키워드

웹 크롤링 빅 데이터 하둡 스파크 카프카 병렬시스템 모니터링 Web Crawling big data hadoop spark kafka Parallel systems Monitoring

저자

• 김영아 [ Yeong-A Kim | 경남과학기술대학교 컴퓨터공학과 학생 ]
• 김계희 [ Gea-Hee Kim | 경남과학기술대학교 컴퓨터공학과 강사 ]
• 김현주 [ Hyun-Ju Kim | 경남과학기술대학교 컴퓨터공학과 교수 ]
• 김창근 [ Chang-Geun Kim | 경남과학기술대학교 컴퓨터공학과 교수 ] Corresponding author

참고문헌

발행기관

간행물