Earticle

The rising popularity of intelligent embedded systems, coupled with the substantial computational and memory requirements of convolutional neural networks (CNNs), necessitates cost-effective on-device model inference. Various post-optimization techniques are used to reduce the model size and precision bits. However, these techniques often result in a significant reduction in performance. To solve these issues, we propose a quantization-aware training (QAT) strategy for optimizing the CNNs to low-bit integers, resulting in faster inference and less memory utilization. We inject fake quantization modules into the original architecture, train the model in complete precision, and then convert the model to an 8-bit integer (INT8). The resultant QAT model performs all the computation of the convolution layers, activation layers, and batch-normalization in INT8. Our method reduces the size of ResNet50 and ResNet101 by a factor of 3.9x and improves the inference speed by more than 2x. We utilize the CIFAR-10 and CIFAR-100 datasets to test the performance of the models.

얼굴 검출 및 정렬은 많은 어플리케이션에서 사용되며 딥러닝의 발전으로 성능이 많이 향상되었다. 하지 만 대부분의 최신 얼굴 검출 및 정렬 방법들은 매우 많은 연산을 필요로 하여 자원이 제한되는 모바일 환경이나 임베디드 시스템과 같은 엣지 장치에서 활용이 어려운 문제가 있다. 이를 해결하기 위해 본 논문에서는 EdgeFace 라는 새로운 얼굴 검출 및 정렬 기법을 제안하여 엣지 장치에서 속도와 정확성 측면에서 우수한 성능을 달성한다. 0.3M 파라미터를 초과하지 않으며 기존 경량 백본 보다 우수한 정확도를 달성하는 EdgeFaceNet이라는 새로운 경량 백본을 설계하고 검출 네트워크 부분에서는 특징 맵 스케일링 및 앵커 박스 설정을 사용하여 정확도 손실 없이 속도를 개선하도록 최적화하였다. WIDER FACE Hard 데이터셋에 대한 실험에서 EdgeFace는 83.8%의 정 확도로 Nvidia Tesla K80 GPU 에서 120 FPS, Nvidia Jetson Nano에서 26 FPS의 속도를 달성하였다.

Although recent face detection tasks have made significant progress, applying them to edge devices is still a difficult task. In this paper, we propose a new face detector called EdgeFace to achieve excellent performance in terms of speed and accuracy on edge devices. We design a new lightweight backbone called EdgeFaceNet and present a channel attention-based detection network. The backbone does not exceed 0.3M parameters and achieves better accuracy than existing lightweight backbones. In the detection network part, feature map scaling and anchor box settings are used to optimize to improve speed with meaningful accuracy, and improve the utilization contextual by channel-attention. From experiments on WIDER FACE hard dataset, EdgeFace achieves state-of-the-art performance among the lightweight face detection methods and runs at 120 FPS on Nvidia Tesla K80 GPU and 26 FPS on Nvidia Jetson Nano.

디지털 방송 시대가 열리면 채널의 수가 수백 개로 증가하기 때문에 시청자가 원하는 프로그램을 검색하는 일은 매우 어려워지게 된다. 이와 더불어 스마트 디바이스의 등장과 대중화로 인해서 사용자들은 기존에 제공받지 못했던 스마트한 서비스를 제공받기 원하고 있다. 이러한 문제를 해결하기 위한 방법으로 TV 프로그램 추천시스템에 대한 연구가 활발하게 진행 중이다. 그러나 현재 TV 프로그램 추천을 위한 연구들은 대부분 웹 기반에서 연구되었던 연구 결과를 TV 방송에 적용한 경우가 대부분이며, 현재 TV를 시청하고 있는 구성원들의 조합에 대해서는 고려하고 있지 않는다. 따라서 본 논문에서는 TV를 시청하고 있는 시청자의 환경 즉 구성원의 조합을 고려한 TV 프로그램 추천 시스템을 제안한다. 구성원의 조합은 얼굴인식기법을 이용하여 해당 사용자의 연령과 성별을 중심으로 그룹을 생성한다.

The number of channels are increased into several hundreds of channels when coming out the digital broadcasting era. In this environment, viewers searching for programs will be very difficult to do. In addition, recent popularization of smart devices are receiving the services that they previously had not been given to. A TV program recommended a system that has been studied as a way to solve these problems. However, most studies have been studied in most web-based research results when applied to broadcast TV for TV program recommendations. In particular, the combination of the current members who watch TV are not considered. In this paper, the environment and TV viewers are considering a combination of the members of the TV program’s recommended system proposal. In order to make a group deal successful, we employ the face recognition.

내장형 시스템은 메모리의 제약으로 인해 흔히 작은 코드사이즈를 요구한다. ARM THUMB 이나 MIPS16 과 같 이 절반 크기의 인코딩을 갖는 아키텍쳐는 코드 사이즈를 성공적으로 줄였으나, 동시에 줄어든 레지스터 필드의 크 기로 인해 가용 레지스터 개수가 줄어들고 더 많은 스필(spill) 을 양산하여 코드 사이즈와 성능에 악영향을 준다. 한 가지 해결방법은 레지스터 구조에 뱅크를 도입하는 것이다. 이렇게 하면 기존의 모든 레지스터를 레지스터 할당 에 사용할 수 있어서 스필 이 줄어든다. 이 과정에서 효과적인 레지스터 할당기법이 필요하며 우리는 코드를 두 가 지 영역으로 분할하고 각 역을 서로 다른 뱅크에 할당하는 방법을 사용한다. 코드 분할에 영향을 미치는 중요한 요 소 중 하나는 뱅크 전환 메커니즘인데 지금까지 toggling 과 selection 방법이 소개되었다. Toggling 은 코드 분할 을 간단하게 해 주는 반면 selection 은 보다 유연한 코드 분할이 가능하기에 이론적으로는 레지스터 요구도를 더 잘 분배할 수 있다. 이 논문은 두 메커니즘을 두 개의 레지스터 뱅크를 가지는 동일한 환경에 구현하여 코드 사이 즈와 성능에서의 효과를 비교하고자 한다. 실험결과를 통해 selection 은 뱅크 간의 copy 가 과도하게 삽입되는 관 계로 toggling 에 비해 작은 코드나 높은 성능을 보여주지 못했다.

Embedded systems often require small code size due to their tight memory constraints. Although the reduced encoding architectures such as the ARM THUMB or the MIPS16 can successfully reduce the code size due to its half-sized instructions, they suffer from higher spills due to their shortened register fields which constrain available registers, thus affecting the code size and the performance negatively. One solution is reconstruction the original register file into the banked one. This can make all of the original registers available for register allocation, thus reducing the spills. This requiresefficient banked register allocation by partitioning the code into two regions, one for each register bank. One important factor that affects the partitioning is the bank change mechanism, and two bank change mechanisms have been proposed, toggling and selection. Toggling simplifies the code partitioning, while selection is flexible in the code partitioning which, in theory, can distribute the register pressure better. This paper evaluates both mechanisms in the same context of dual register banks to understand their impact on the code size and the performance. Our experimental results indicate that selection fails to achieve smaller code or better performance than toggling due to excessive inter-bank copies.

The need for embedded devices to be able to exchange information with each other and with data centers is essential for the advent of the Internet of Things (IoT). Several existing communication protocols are designed for small devices including the message-queue telemetry transport (MQTT) protocol or the constrained application protocol (CoAP). However, most of the existing implementations are convenient for computers or smart phones but do not consider the strict constraints and limitations with regard resource usage, portability and configuration. In this paper, we report on an industrial research and development project which focuses on the design, implementation, testing and deployment of a MQTT module. The goal of this project is to develop this module for platforms having minimal RAM, flash code memory and processing power. This software module should be fully compliant with the MQTT protocol specification, portable, and inter-operable with other software stacks. In this paper, we present our approach based on abstraction layers to the design of the MQTT module and we discuss the compliance of the implementation with the requirements set including the MISRA static analysis requirements.

Model-driven and component-oriented development is increasingly being used in the development of embedded systems. When combined, both paradigms provide several advantages, such as higher reuse rates, and improved system quality. Performing model-driven and component-oriented development should be accompanied by a component model and a method that prescribes how the component model is used. This article provides an overview on the MARMOT method, which consists of an abstract component model and a methodology for the development of embedded systems. The paper describes a feasibility study that demonstrates MARMOT's capability to alleviate system design, verification, implementation, and reuse. Results indicate that model-driven and component-based development following the MARMOT method outperforms Agile development for embedded systems, leads to maintainable systems, and higher than normal reuse rates.

Accurate and efficient monitoring of dynamically changing environments is one of the most important requirements for ubiquitous network environments. Ubiquitous computing provides intelligent environments which are aware of spatial conditions and can provide timely and useful information to users or devices. Also, the growth of embedded systems and wireless communication technology has made it possible for sensor network environments to develop on a large scale and at low-cost. In this paper, we present the design and implementation of a monitoring system that collects, analyzes, and controls the status information of each sensor, following sensor data extracted from each sensor node. The monitoring system adopts Web technology for the implementation of a simple but efficient user interface that allows an operator to visualize any of the processes, elements, or related information in a convenient graphic form.

IoT 펌웨어의 취약점을 탐지하는 기존의 정적분석 방법은 심볼이 제거되었거나 정적으로 연결되지 않은 바이너리를 다룰 때 확장성과 정확도에 어려움을 겪는다. 88개의 펌웨어를 조사한 결과, 벤더사별로 동일한 SDK를 사용한다. 이런 특징을 활용해 본 연구에서는 Source 함수를 식별하기 위해 바이너리 Diffing과 Reaching Definition Analysis를 활용하여 기존 정적 분석 도구가 놓칠 수 있는 버그를 탐지했다. 기존 연구외에도 새로운 데이터셋을 구축해 테스트해서 5개의 CVE취약점을 식별하고 4개의 신규 취약점을 식별했다. 그 결과, 우리의 접근 방식이 중요한 취약점을 식별한다는 것을 입증했다.

Detecting vulnerabilities in IoT firmware using traditional static analysis methods faces challenges in scalability and accuracy when dealing with binaries that are stripped of symbols or not statically linked. Our investigation of 88 firmware samples revealed that vendors often utilize the same SDK. Leveraging this characteristic, our research employs binary diffing and reaching definition analysis to identify source functions, uncovering bugs that conventional static analysis tools may miss. In addition to existing studies, we created a new dataset for testing and cover five CVEs and uncover four new vulnerabilities. The results demonstrate that our approach effectively identifies critical vulnerabilities.

The trend is going to obtain the accurate and fast information to the development of information technology and electronic technology as an important part of corporate management. Press equipment to produce products that target is small and medium businesses. Became so economical real-time production information system(R-PIS) model has been implemented. R-PIS configure the embedded hardware and PC application software. This system is easy maintenance and upgrade that general-purpose PC and a modular hardware devices. Consists of modules such as wireless communication, LCD, Key-pad, memory control, and sensor signal. R-PIS is efficient materials and product management to maximize the productivity of the enterprise.

딥러닝의 발전과 함께 영상 기반의 많은 분야에서 개선된 연구들이 제안되고 있다. 차량 번호판 인식 방 법에도 딥러닝을 적용하여 높은 성능을 보이고 있지만 대부분이 매우 많은 연산량을 필요로 하여 자원이 제한되 는 임베디드 시스템 같은 환경에서의 동작이 어려운 문제가 있다. 이러한 문제를 해결하기 위해 본 논문에서는 임 베디드 시스템에서도 높은 성능을 보여주는 차량 번호판 인식 시스템을 제안한다. 제안하는 차량 번호판 인식 시 스템은 경량 백본과 최적화된 검출 네트워크를 결합한 차량 번호판과 번호를 검출하는 2개의 검출기와 번호를 인 식하는 분류 네트워크로 구성된다. 검증 데이터셋에 대한 실험에서 제안된 차량 번호판 인식 시스템은 98%의 높 은 정확도로 Nvidia RTX 2070 GPU에서 58FPS, Nvidia Jetson Nano에서 11FPS의 속도를 달성한다.

With the development of deep learning, improved studies have been proposed in many fields based on images. Although deep learning is applied to the vehicle license plate recognition method, it shows high performance, but most of them require a very large amount of computation, so there is a problem that it is difficult to operate in an environment such as an embedded system where resources are limited. To solve this problem, this paper proposes a vehicle license plate recognition system that shows high performance even in an embedded system. The proposed vehicle license plate recognition system is composed of a vehicle license plate combining a lightweight backbone and an optimized detection network, two detectors for detecting the number, and a classification network for recognizing the number. The vehicle license plate recognition system proposed in the experiment on the validation dataset achieves a speed of 58 FPS on the Nvidia RTX 2070 GPU and 11 FPS on the Nvidia Jetson Nano with a high accuracy of 98%.

본 논문은 경량 임베디드 환경에서 보안 인증 요구사항을 만족하는 안전한 난수(Random Number) 생성 구조를 제안한다. 제안하는 구조는 난수 생성기의 보안 적합성과 관련된 국제 표준인 NIST SP 800-90A/B/C 및 FIPS 140 계열 표준을 기반으로 설계하였다. 또한, 양자 컴퓨터가 적용되는 정보 시스템 환경에서도 적용될 수 있도록 양자 난수 발생기(QRNG: Quantum Random Number Generator)를 엔트로피 소스로 활용하였다. QRNG에서 생성된 원시 엔트로피(Raw Entropy)는 SHA-256 기반 조건화 구성요소(Conditioning Component)를 통해 정제되며, 이후 CTR_DRBG를 통해 암호학적으로 안전한 난수로 확장된다. 또한 엔트로피 소스(칩 자체 포함)의 신뢰성을 확보하기 위해 QRNG 출력에 대한 헬스 체크를 지속 수행하도록 설계했다. 특히, 본 연구는 엔트로피 소스와 난수 생성기의 역할을 명확히 분리하고, 임베디드 장치에서도 구현가능한 구조를 제시함으로써 최소 엔트로피 (min-entropy) 과대평가 위험을 줄이고 인증 적합성을 확보하였다. 제안 구조를 구현하기 위해 상용화 된 QRNG 칩(IDQ250C2)을 적용한 동작 구조를 제시하고 동작을 시험하였다.

This paper proposes a secure random number generation architecture that satisfies security requirements in lightweight embedded environments. The proposed system was designed based on the NIST SP 800-90A/B/C and the FIPS 140 series standards, which are international standards governing the security compliance of random number generators. Furthermore, a Quantum Random Number Generator (QRNG) is utilized as the entropy source to enable applicability in quantum-computing environments. The raw entropy generated by the QRNG is refined through a SHA-256-based conditioning component and subsequently used to produce cryptographically secure random numbers through CTR_DRBG. In addition, it was designed to continuously perform health checks on the QRNG output to ensure the reliability of the entropy source (including the chip itself). In particular, this study clearly separates the roles of the entropy source and the random number generator, presenting a structure implementable in embedded devices. This approach reduces the risk of overestimating min-entropy and ensures regulatory compliance. To validate the proposed structure, an operational model applying a commercially available QRNG chip (IDQ250C2) was presented and its operation was tested.

Nowadays, we have many embedded systems which store and process multimedia data. For multimedia systems using hard disks as storage media such as DVR, existing file systems are not the right choice to store multimedia data in terms of cost, performance and reliability. In this study we designed a reliable file system with very high performance for embedded multimedia applications. The proposed file system runs with quite simple disk layout to reduce time to initialize and to recover after power failures, uses a large data block to speed up the sequential accesses, incorporates a time-based indexing scheme to improve the time-based random accesses and boosts reliability by backing up the important meta data on a small NVRAM. We implemented the file system on a Linux-based DVR and verified the performance by comparing with existing file systems.

최근 스마트폰을 비롯한 커넥티드카(Connected Car), IoT 등의 확산으로 국방, 항공, 의료 등 다양한 분야에 서 임베디드 제어 시스템이 널리 분포되어 사용되고 있다. 스마트폰과 네트워크 시스템과 같이 각 역할을 수행하는 임베디드 제어 시스템이 유기적으로 구성되어 하나의 또 다른 시스템을 만들어가는 예시들이 늘어나고 있다. 이러한 추세에 따라 각 임베디드 제어 시스템의 유기적 연동과 신뢰성이 중요한 평가요소가 되고 있다. 본 논문에서는 임베 디드 제어 시스템이 사용되고 있는 분야 중에서 차량용 임베디드 제어시스템의 품질평가기준과 평가방법을 개발하고 자 한다. 차량용 임베디드 제어 시스템의 높은 품질수준을 만족시키기 위해 차량용 임베디드 제어 시스템의 최신동 향을 조사하고, 임베디드 제어 시스템의 구조 및 응용 기술을 분석하여 소프트웨어 국제표준 규격인 ISO/IEC 9126 과 전기전자제품 국제 표준 규격인 ISO 26262를 참조하여 차량용 임베디드 제어 시스템의 품질평가기준과 평가방법 론을 확립하고자 한다.

Embedded control system is widely spreaded and used in various fields including military defence, aviation, medical, etc. due to extended use of smart phones, connected car, IoT. Increasing examples are introduced where embedded control system that perform their unique role such as smart phone and network system organically configure to create new system. According to this trend, organic interface and reliability of each embedded control system are becoming important evaluation factors. The purpose of this paper is to develop quality evaluation criteria method for automobile embedded system, among the fields that use embedded control systems. In order to satisfy high quality level requirements of automobile embedded control system, we surveyed latest trend of automobile embedded control system, analyzed structure and application technology of embedded control system, to establish quality evaluation criteria and method for automobile embedded control system by referring international standard for software (ISO/IEC 9126), and international standard for electric & electronic products (ISO 26262).

본 연구는 개인화 클라우드 기반의 임베디드 STB(Set-Up Box) 적용을 통한 교육서비스 체계에 대한 연구로서 서버측에서는 개인화 클라우드 기반의 교육서비스 지원을 위한 서 비스 모델을 설계하고, 클라이언트 영역에서는 임베디드 STB를 기반으로 개인화 교육 콘 텐츠를 맞춤형으로 지원받아 IPTV 및 프로젝터를 통한 디스플레이가 가능하도록 지원하 는 교육용 제어보드를 개발하였다. 그리고 초중고 영어교실 및 방과후 수업에 적용이 가 능한 개인화 서비스 모델을 완성하고자 연구를 하였다. 또한 향후 이 서비스모델을 적용 하여 교사용 도우미 로봇에 제어용 보드로 활용이 가능하도록 확장성을 부여하고자 연구 하였다.

On the server side, the system for the education service of personalized cloud-based embedded STB (Set-Up Box) through the application of research as a research, design and support for the education service of personalized cloud-based service model based on the STB embedded in the client areapersonalized educational content received via IPTV and projector display customized support possible to support the educational development control board. School English classes and after-school classes in the personalized service model that can be applied to complete the study. Teacher assistant robot, the future service model by applying research to be used as the control board to grant scalability.

최근에 개발된 시스템 온칩 프로세서는 통합 성능을 요구하는 작업의 가능성을 제공하였으며, 이러한 작업은 예전에는 우수한 성능을 가진 컴퓨터의 도움만으로 수행 할 수 있는 것이었다. 본 논 문에서는 실제 환경 하에서 자율 이동 장치의 GPS 위치측정을 개선하기 위해 임베디드 영상처리기 법을 활용하는 고급 제어 시스템을 소개한다. 메인 컨트롤 시스템은 Raspberry PI 개발 보드에 통합 된 ARM(SoC.) 아키텍처를 기반으로 한다. 제시한 제어 시스템은 실시간 비디오 캡처, 전력-효율적 이미지 처리 작 업, 예를 들어 (임계 값 처리, 이진화, 모션 감지 등) 및 비디오와 같은 스트리밍 결과 이미지를 처리 할 수 있다. GPS 정밀도는 WAAS(EGNOS) 위성을 활용하여 다만 3 미터의 정밀도를 제공 할 수 있다. 제안한 솔루션은 도로와 보도의 경계를 감지하기 위해 GPS 솔루션 및 임베디드 이 미지 처리를 사용한다. 일부 도로나 통로가 길가의 흰색 선을 제공하지 않기 때문에 제시한 알고리 즘은 길가의 흰색 선을 검출하지 않고 보편적인 도로나 보도를 감지한다. 제안한 시스템은 소형 이 동장치에 사용할 수 있다. 예를 들어, 생산 공간 사이의 긴 거리를 가진 중공업 산업 단지에서 부품 수송을 위한 이동장치 등에 사용할 수 있다.

A recent development in system-on-chip processors provides possibilities of integration performancedemanding tasks, which can be performed only with the help of superior range of computers before. The article introduces advanced control system with embedded image processing to improving GPS localization of autonomous mobile devices in real environment. The main control system is based on ARM (SoC.) architecture integrated in Raspberry PI development board. Presented control systems can handle real-time video capturing, power-efficient image processing operation for example (thresholding, binarization, motion detection, ...etc.) and streaming results images as video. GPS precision can provide only 3 meters precision together with WAAS (Egnos) satellite. Our solution uses GPS solution and embedded image processing to detect border of roads or sidewalks. Our algorithm detects road or sidewalk universally without detection of white line in roadside, because pathways and some roads cannot provide this feature. Control system can be used for small autonomous mobile devices for example parts transport in industrial park of heavy industries, where are long distances between production halls.

최근 통신 빛 반도체 기술의 급격한 발전과 함께 소규모 기기에도 컴퓨팅 기능을 탑재하는 사물인터넷 시장이 부상하고 있다. 사물인터넷을 위한 저장장치는 전력소모와 물리적 크기에 제한이 있어 기존 HDD나 SSD 대신 NVRAM 기반의 스토리지가 사용될 것으로 전망되고 있다. 그러나 현재 사물인터넷 플랫폼 기술은 기존의 전통적인 스토리지를 타겟으로 설계되어 NVRAM 스토리지에서는 다양한 비효율성을 초래할 수 있다. 본 논문은 현재의 다양한 운영체제의 I/O 기법들의 효용성과 성능을 NVRAM 스토리지 환경에서 평가하고 분석하여 향후 사물인터넷을 위한 스토리지 기술에 대해 방향성을 제시한다.

With the rapid growth of semiconductor technologies, small-sized devices with powerful computing abilities are becoming a reality. As this environment has a limit on power supply, NVM storage that has a high density and low power consumption is preferred to HDD or SSD. However, legacy software layers optimized for HDDs should be revisited. Specifically, as storage performance approaches DRAM performance, existing I/O mechanisms and software configurations should be reassessed. This paper explores the challenges and implications of using NVM storage with a broad range of experiments. We measure the performance of a system with NVM storage emulated by DRAM with proper timing parameters and compare it with that of HDD storage environments under various configurations. Our experimental results show that even with storage as fast as DRAM, the performance gain is not large for read operations as current I/O mechanisms do a good job hiding the slow performance of HDD. To assess the potential benefit of fast storage media, we change various I/O configurations and perform experiments to quantify the effects of existing I/O mechanisms such as buffer caching, read-ahead, synchronous I/O, direct I/O, block I/O, and byte-addressable I/O on systems with NVM storage.