Earticle

The energy consumption is one of the most important factors in the virtual machines deployment in the current data centres. Various studies proved that the energy aware management of the virtual machines can reduce the total energy consumption about tens of percents. We developed the new approach, based on the distributed algorithm, which is able to consolidate the virtual machines between various virtualization nodes without the central coordinator. The input data for this algorithm is collected online from the electronic wattmeters, which are placed before the energy input of each virtualization node.

분산 이기종 시스템의 성능은 DAG로 주어지는 입력 그래프를 스케줄링 하는 알고리즘의 성능에 좌우된다. 많은 스케줄링 알고리즘 중에 리스트 스케줄링 알고리즘은 낮은 복잡도를 가지면서 우수한 성능을 보이고 있다. 리스트 스케줄링은 태스크 우선순위 결정 단계와 프로세서 할당 단계로 이루어져 있으나 대부분의 연구들은 태스크 우선순위 결정 단계만을 연구하고 있다. 본 논문에서는 기존의 할당 정책과 동일한 복잡도를 가지면서 성능이 향상된 새로운 프로세서 할당 정책인 LIP 정책을 제안한다. 기존의 리스트 스케줄링 알고리즘인 HEFT, HCPT, GCA, PETS의 태스크 우선순위 결정 정책에 본 논문에서 제안한 LIP 정책을 적용하여 실험한 결과 기존의 프로세서 할당 정책인 삽입 정책과 비 삽입 정책보다 성능 향상이 있는 것을 확인할 수 있었다.

The performance of Distributed Heterogeneous Computing System depends on the algorithm which schedules input DAG graph. Among various scheduling algorithms, list scheduling algorithm provides superior performance with low complexity. List scheduling consists of task prioritizing phase and processor allocation phase, but most studies only focus on task prioritizing phase. In this paper, we propose LIP policy which has the same complexity with traditional allocation policies but has superior performance. The performance of LIP has been observed by applying them to task prioritizing phase of traditional list scheduling algorithms, HCPT, HEFT, GCA, and PETS. The results show that LIP has better performance than insertion-based policy and non-insertion-based policy, which are traditional processor allocation policies.

분산 이기종 시스템에서 병렬 응용프로그램의 성능은 태스크를 스케줄링하는 방법에 따라 크게 영향을 받는다. 따라서 병렬 응용프로그램의 성능에 영향을 미치는 요소들을 태스크 스케줄링에 반영함으로써 주어진 환경 내에서 최적의 결과를 도출할 수 있도록 해야 한다. 일반적으로 병렬 응용프로그램의 전체 처리시간에 영향을 미치는 결정적 요소는 입력 그래프의 임계경로이다. 본 논문에서는 임계 경로 상의 임계노드를 고려한 태스크 스케줄링 알고리즘인 CLTS를 제안한다. CLTS는 우선순위 결정 단계에서 계층화를 통해 노드의 병렬처리 효율을 향상시키고 임계노드 처리에 의한 지연시간을 단축시킬 수 있도록 우선순위를 결정한다. 또 프로세서 할당 단계에서는 조건적으로 복제 기반 정책, 혹은 삽입 기반 정책을 사용하여 노드를 프로세서에 할당함으로써 전체 처리시간을 단축시킨다. 제안한 CLTS의 성능 평가를 위해 기존의 리스트 스케줄링 알고리즘인 HCFPD, DCPD와 함께 성능을 비교 평가하였다. 시뮬레이션을 통해 CLTS는 평균 SLR을 기준으로 HCPFD 대비 7.29%, DCPD 대비 8.93% 향상되었고, Speedup을 기준으로 HCPFD 대비 9.21%, DCPD 대비 7.66% 향상된 성능을 보임을 확인하였다.

In a distributed heterogeneous computing system, the performance of a parallel application greatly depends on its task scheduling algorithm. Therefore, in order to improve the performance, it is essential to consider some factors that can have effect on the performance of the parallel application in a given environment. One of the most important factors that affects the total execution time is a critical path. In this paper, we propose the CLTS algorithm for a task scheduling. The CLTS sets the priorities of all nodes to improve overall performance by applying leveling method to improve parallelism of task execution and by reducing the delay caused by waiting for execution of critical nodes in priority phase. After that, it conditionally uses insertion based policy or duplication based policy in processor allocation phase to reduce total schedule time. To evaluate the performance of the CLTS, we compared the CLTS with the DCPD and the HCPFD in our simulation. The results of the simulations show that the CLTS is better than the HCPFD by 7.29% and the DCPD by 8.93%. with respect to the average SLR, and also better than the HCPFD by 9.21% and the DCPD by 7.66% with respect to the average speedup.

여러 인공지능 서비스의 보급은 초고성능 컴퓨팅 시스템 아키텍처의 변화를 야기하였고 다양한 계산 자원들의 활용이 모색되고 있다. 본 연구에서는 이러한 계산 자원들의 수용을 위해 범용적으로 사용되는 PCIe 버스를 기반으로 시스템 버스 확장 장치를 설계하고 구현하였다. PCIe 4.0 스위치를 기반으로 하는 확장 보드와 어댑터 카드를 개발하였고 GPU를 활용하여 실제 시스템으로의 활용 가능성을 검증하였다.

본 논문에서는 이기종 엣지 컴퓨팅 환경에서 나타나는 클러스터 관리의 복잡성과 자원 활용의 비효율 문제를 해결하기 위해, 위치 기반의 계층적 클러스터 관리 체계를 제안한다. 제안된 시스템은 쿠버네티스를 기반으로 하여 Cloud-Hub-Edge의 3단계 계층 구조를 구성하며, 특히 Hub Layer에 배치된 Regional Hub를 중심으로 인접한 Edge Node들을 동적으로 클러스터링하는 방식을 채택한다. 이 구조를 통해 관리자는 개별 노드가 아닌 허브 단위로 자원을 제어하고 스케줄링할 수 있어 관리 효율이 향상되며, Regional Hub는 데이터의 전처리 및 로컬 집계를 수행하여 상위 계층인 Cloud Layer의 부하를 효과적으로 분산시킨다. 제안 시스템의 실효성을 평가하기 위해 이기종 장치들로 구성된 실제 테스트베드를 구축하고 실험을 수행하였으며, kind 기반의 가상 환경에서도 동일한 구조를 적용하여 확장성과 성능 개선 효과를 정량적으로 분석하였다. 실험 결과, Hub 기반의 계층 구조를 적용한 경우 Cloud Layer의 CPU 사용률이 평균 37% 감소하였고, Edge Node의 응답 지연 시간은 약 48% 단축되는 등 자원 효율성과 응답 성능 측면에서 유의미한 개선이 확인되었다.

In this paper, we propose a location-based hierarchical cluster management scheme to solve the problems of cluster management complexity and resource utilization inefficiency in heterogeneous edge computing-based infrastructures. The proposed system is based on Kubernetes to form a three-level hierarchical structure of Cloud-Hub-Edge, and in particular, it adopts a dynamic clustering of neighboring edge nodes around regional hubs deployed at the Hub Layer. This structure enables administrators to control and schedule resources at the hub level rather than individual nodes, which improves management efficiency, while the regional hubs perform preprocessing and local aggregation of data, effectively balancing the load of the upper layer, the Cloud Layer. To evaluate the effectiveness of the proposed system, a real testbed consisting of heterogeneous devices was built and experiments were conducted, and the same structure was applied to a virtual environment based on KIND to quantitatively analyze the scalability and performance improvement. As a result of the experiments, significant improvements in resource efficiency and response performance were observed, such as an average reduction of 37% in CPU utilization at the Cloud Layer and a reduction of about 48% in response latency at the Edge Node when the Hub-based hierarchy was applied.

Edge Computing enables image-based inference in close proximity to end users and real-world objects. However, since edge servers have limited computational and accelerator resources, efficient resource management is essential. In this paper, we present HeteroAccel system that performs optimal scheduling in Kubernetes platform based on available node and accelerator information for various inference requests. Our experiments showed 25.3% improvement in overall inference performance over the default scheduling scheme in edge computing environment in which four types of inference services are requested.