Earticle

초록

영어

With the aim of creating new economic values and strengthening national competitiveness, governments and major private companies around the world are continuing their interest in big data and making bold investments. In order to collect objective data, such as news, securing data integrity and quality should be a prerequisite. For researchers or practitioners who wish to make decisions or trend analyses based on objective and massive data, such as portal news, the problem of using the existing Crawler method is that data collection itself is blocked. In this study, we implemented a method of collecting web data by addressing existing crawler-style problems using the cloud service platform provided by Amazon Web Services (AWS). In addition, we collected ‘gas safety’ articles and analyzed issues related to gas safety. In order to ensure gas safety, the research confirmed that strategies for gas safety should be established and systematically operated based on five categories: accident/occurrence, prevention, maintenance/management, government/policy and target.

한국어

새로운 경제적 가치를 창출하고 국가경쟁력을 강화할 목적으로 세계 각국의 정부와 주요 민간 기업들은 빅데이터에 지속적인 관심과 과감한 투자를 하고 있다. 뉴스와 같이 객관적인 데이터를 수집하기 위해서, 데이터 무결성 및 품질의 확보 는 전제되어야 한다. 포털 뉴스와 같이 객관적이고 방대한 데이터를 바탕으로 의사결정이나 트렌드 분석을 하고자 하는 연 구자나 실무자의 경우, 기존 크롤러 방식을 이용할 경우 데이터 수집 자체가 차단되는 문제점이 발생한다. 본 연구에서는 Amazon Web Services (AWS)에서 제공하는 클라우드 서비스 플랫폼을 이용하여 기존 크롤러 방식의 문제점을 해결하여 웹 데이터를 수집하는 방법을 구현하였다. 또한 이를 바탕으로 국민의 안전과 직결되는 가스 안전 관련 기사를 수집하여 가스 안전과 관련된 이슈를 분석하였다. 본 연구를 통해 가스 안전을 확보하기 위해 5가지 분류, 즉 사고/발생, 예방, 유지/관 리, 정부/정책, 그리고 대상 등을 기준으로 가스 안전을 위한 전략이 수립되고, 체계적으로 운영되어야 함으로 확인하였다.

목차

요약
Abstract
1. 서론
2. 관련연구
2.1 크롤러의 개념
2.2 일반 웹 크롤링 방식
2.3 분산 웹 크롤링 방식
2.4 웹 크롤링 차단 문제
2.5 AWS를 활용하는 Web Crawler
3. 연구방법
3.1 AWS 활용 분산 웹 크롤러 구조
3.2 AWS 활용 분산 웹 크롤러 동작 방식
4. 가스 안전 이슈 분석
5. 결론 및 시사점
REFERENCES

키워드

가스 안전 이슈 분석 크롤러 분산 웹 크롤러 AWS 빅데이터 Gas Safety Issue Analysis Crawler Distributed Web Crawler AWS Big Data

저자

• 김용영 [ Yong-Young Kim | 건국대학교 교수 ]
• 김용기 [ Yong-Ki Kim | 충북대학교 박사과정 ]
• 김대식 [ Dae-Sik Kim | 충북대학교 석사과정 ]
• 김미혜 [ Mi-Hye Kim | 충북대학교 교수 ] Corresponding Author

참고문헌

발행기관

간행물