Earticle

초록

한국어

최근 심층신경망(DNN, deep neural network) 알고리즘이 많은 안전필수 실시간 시스템에 적용되기 시작하면서 DNN 추론 태스크의 실행이 주어진 마감 시간 안에 완료되어야 하는 타이밍 요구사항이 중요해졌다. 이를 위해 대 부분의 선행 연구들은 DNN의 실시간성을 보장하기 위해 엣지 컴퓨팅 환경에서 GPU나 CPU와 같은 컴퓨팅 자원 을 활용하는 것에 초점을 맞춘다. 이에 반면, Edge TPU는 엣지 컴퓨팅을 위한 차세대 인공지능 프로세서로 평가 받고 있음에도 불구하고, Edge TPU를 위한 실시간성 보장 연구는 전무한 실정이다. 따라서 본 논문에서는 Edge TPU 환경에서 여러 DNN 추론 태스크들의 타이밍 요구사항을 만족시키는 새로운 실시간 DNN 프레임워크를 제 안한다. 이 프레임워크에서는 1) 태스크 마감 시간을 고려하여 SRAM 캐시메모리를 할당하는 기법과 2) 우선순위 역전 현상을 줄이기 위한 모델 분할 기반의 스케줄링 기법을 제공한다. 본 연구에서는 Edge TPU가 장착된 Coral 개발 보드와 이미지 분류 모델들을 이용하여 해당 프레임워크의 성능을 검증하였다. 그 결과 기존 Edge TPU 기반 시스템보다 37%만큼 더 높은 스케줄링 가능성(scheduablity)를 제공할 수 있음을 보였다.

영어

As deep neural networks(DNNs) have been recently deployed in many safety-critical real-time embedded systems, it has become essential to meet timing requirements that DNN inference tasks must complete their execution within given deadlines. To this end, most previous studies focus on utilizing GPU or CPU in edge computing environments to support real-time DNN tasks. Meanwhile, although Edge TPU is regarded as a next-generation AI processor for edge computing, there is a lack of studies on real-time guarantee for Edge TPU. Thus, this paper presents a novel real-time DNN framework that can satisfy the timing requirements of multiple DNN inference tasks in edge TPU environments. This framework provides 1) a cache memory allocation technique that considers the deadline of each task and 2) a scheduling technique based on model segmentation to reduce priority inversion phenomena. We evaluated the performance of our framework by using Google Coral dev board, an embedded board equipped with Edge TPU, and several image classification models. The experiment result shows that our framework can provide higher schedulability by 37% than the existing Edge TPU system.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 실시간 DNN 시스템 연구
2.2 Edge TPU 관련 연구
3. Edge TPU의 실시간성 분석
3.1 Edge TPU의 동작 방식
3.2 Edge TPU의 실시간성 문제
4. Edge TPU 환경을 위한 실시간 DNN프레임워크
4.1 프레임워크의 동작 방식 개요
4.2 SRAM 할당 관리자
4.3 모델 분할 관리자
5. 시스템 전역 스케줄러
6. 마감 시간 인지 SRAM 할당 알고리즘
6.1 시스템 모델 및 표기 소개
6.2 혼합 정수 계획법 기반의 SRAM 할당 알고리즘
7. 실험 결과
7.1 스케줄링 가능성 실험
7.2 사례 연구 실험
8. 결론
참고문헌

저자

• 한창헌 [ Changhun Han | 아주대학교 AI융합네트워크학과 ]
• 오상은 [ Sangeun Oh | 아주대학교 AI융합네트워크학과 ]

참고문헌