Earticle

초록

한국어

최근 기술의 발전으로 인하여 서로 다른 영역에서 대규모의 데이터를 생성할 수 있게 되었고 이로 인하여 빅데이터 를 효율적으로 처리하고 분석할 수 있는 대규모 데이터 센터의 필요성이 대두되었다. 데이터 양이 증가함에 따라 작 업 스케줄링과 자원 관리는 매우 중요한 요소이다. 본 논문에서는 데이터 센터의 성능을 향상하기 위한 목적으로 자 원 관리 및 업무 스케줄링 매커니즘을 개선하는 새로운 인공지능 기반 프레임워크를 제안한다. 우리의 논문에서는 기계 학습을 사용하여 리소스 관리를 위한 특정기간 동안의 수요 리소스 활용도를 예측하고, 작업 스케줄링 개선을 위하여 향상된 개미 군체(ant colony) 알고리즘을 사용한다. 프레임워크 시뮬레이션을 통해 미래의 수요를 예측하 여 실행 중인 노드의 수를 10% 줄이고 전통적인 리소스 관리와 작업 스케줄링 방법보다 작업량이 15% 향상하는 결과를 확인할 수 있었다. 본 결과를 기초로 하여 우리는 인공지능과 기계학습을 사용한 효과적인 자원할당과 작업 스케줄링이 전반적인 성능이나 데이터센터를 개선할 수 있음을 알 수 있다.

영어

Recent technological advancement has enabled the creation of large scale data (big data) in different domains which have raised the need for large data centers to process and analyze that big data in an efficient fashion. The incremental amount of data has made job scheduling and resource management an essential and challenging component of modern-day data centers. Therefore, in this paper, we have proposed a novel artificial intelligence based framework to enhance the data center performance by improving resource management and job scheduling mechanisms. We have used machine learning to predict resource utilization based on user demand over a particular time span for resource management and improved ant colony algorithm to job scheduling. Results generated from framework simulation demonstrates that predicting future demands aids prediction of future resource utilization and enables efficient job scheduling that reduce the number of running nodes by 10% and increase throughput by 15% from traditional resource management and job scheduling methods. Based on our simulation results be to argue that by using artificial intelligence and machine learning we can improve overall performance or modern-day data centers by efficient resource allocation and job scheduling.

목차

요약
Abstract
1. Introduction
2. Related Works
2.1 Machine Learning
2.2 Resource Management in Cloud Data Centers
3. Proposed Framework for Resource Management and Job Scheduling in Data Centers
4. Experiment and Results
4.1 Hadoop Response Time
4.2 Performance Evaluation
4.3 Resource prediction methods
4.4 Validation of Machine Learning Models
5. Conclusion
Acknowledgments
References

저자

• 알아나지라얀 [ Rayan Alanazi | 단국대학교 컴퓨터학과 ]
• 정혜진 [ Haejin Chung | 단국대학교 컴퓨터학과 ]
• 나연묵 [ Yunmook Nah | 단국대학교 컴퓨터학과 ] 교신저자

참고문헌