Earticle

스마트 씨티, 스마트 팩토리 등의 어플리케이션에서 실시간 처리는 매우 중요하다. 많은 데이터의 실시간 처리를 위 해 스트림 프로세싱 플랫폼을 이용하는데, 5G 네트워크 등 고속 대용량의 네트워크를 이용하는 수요가 증가함에 따 라 부하 분산 및 로컬에서의 실시간 응답 속도 향상을 위해 엣지에서의 프로세싱이 강조되고 있다. 따라서, 엣지에 서의 실시간 처리를 위해 스트림 프로세싱이 중요해질 것이다. 이 글에서는 공개되어 있는 스트림 프로세싱 플랫폼 에 대해 알아보고, Raspberry Pi 4와 같이 엣지 디바이스로 쓰일 수 있는 임베디드 시스템에서 스트림 프로세싱 플랫폼들의 성능을 실험을 통해 비교해 보았다.

Real time processing is very important for many applications such as Smart city and Smart factory. In order to handle real time big data processing, stream processing platforms are being used. Due to the rapid increase of processing demand from the usage of high speed networks such as 5G networks, edge processing can give us benefits such as off-loading of data processing from clouds or servers, and improving response time if the processing result is asked at local devices. Therefore, the stream processing will be important on the edge devices. In this work, we surveyed available open source streaming platforms, and carried out performance comparisons on the embedded system such as the Raspberry Pi 4 which can be used for edge devices.

2019년 12월부터 전 세계적으로 유행한 코로나바이러스감염증(COVID-19, SARS-CoV-2)에 기인한 폭발적인 전염으로 세계 각국에서 의료체계 붕괴 현상이 나타나고 있다. 이를 극복하기 위한 새로운 수단으로 딥러닝 시스템 을 활용한 자동화된 폐렴(Pneumonia) 판독 시스템의 필요성이 제기되고 있다. X-ray 영상 기반 폐렴 진단을 위 한 합성곱 신경망(Convolutional Neural Network, CNN)은 학습 데이터에 대한 전처리 과정이 이후 성능에 많 은 영향을 미친다. 특히 폐렴 진단을 위한 X-ray 의료영상은 병변에 대한 텍스쳐 정보가 영상 내 국소적 특징을 잡 아내는 데 중요한 역할을 하므로, 이와 관련된 데이터 전처리 기법이 상당히 중요하다. 본 연구에서는 폐렴 진단용 의료영상 데이터셋에 영상 해상도 향상(Image Super Resolution, ISR) 기법을 적용하여 모델의 성능이 데이터 전처리의 과정에 따라 어떻게 변화하는지를 살펴보았다. DenseNet 분류기로 입력 데이터셋 영상을 학습하기 전에 원본 데이터셋의 고해상도 영상을 256×256, 700×700, 1000×1000 크기로 줄인 후 잔류 밀집 네트워크 (Residual Dense Network, RDN) 기반 영상 해상도 향상 기법을 적용하였다. DenseNet 분류기의 기본 입력 크기인 224×224로 영상 크기를 다시 조절한 뒤 분류기를 학습하였다. 이 과정을 통해 잔류 밀집 네트워크 기반 다 양한 고해상도 기법들을 비교 실험하였으며, 그 결과 Noise-Cancel 모델이 원본 영상의 해상도를 2배 키운 영상에 대한 분류기 성능이 83.5602%의 정확도를 보이며 가장 우수한 성능을 나타냈다.

Since December 2019, the global medical system has collapsed due to the explosive infection caused by the corona-virus(COVID-19, SARS-CoV-2). As a new approach to overcome this, the need for an automated pneumonia inspection system facilitated by deep learning has been raised. In the convolutional neural network(CNN) for the diagnosis of pneumonia based on X-ray images, the preprocessing of training data has a significant effect on the performance. In particular, in X-ray medical images for pneumonia diagnosis, the texture information on the lesion plays an important role in detecting local features in the image, and thus the data preprocessing technique is very important. In this study, we applied Image Super Resolution techniques to the medical image dataset for pneumonia diagnosis and examined how the model's performance changes according to the process of data preprocessing. Before learning the input dataset image with the DenseNet classifier, the high resolution image of the original dataset is reduced to 256×256, 700×700 and 1000×1000 size, and then Residual Dense Networks based image super resolution techniques were applied. After resizing the image to 224×224, which is the default input size of the DenseNet classifier, the classifier was trained. Through this process, various high-resolution techniques based on the residual dense network were compared. As a result, the Noise-Cancel model showed the best performance with 83.5602% accuracy for the image whose resolution was doubled of the original image.

최근 산업 제어 시스템(Industrial Control System) 또는 SCADA(Supervisory Control and Data Acquisition) 등에서 사용되는 PLC(Programmable Logic Controller)에 대한 사이버 공격이 증가하고 있다. 특히, PLC의 펌 웨어에 대한 위변조 공격이 성공할 경우, 대규모의 산업재해를 유발할 수 있다. 본 논문에서는 PLC 장치의 펌웨어에 대한 무결성을 원격으로 검증하는 효율적인 기법을 제안한다. 이 기법은 challenge-response 방식을 기반으로 하 여, 관리 PC가 시리얼 통신으로 연결된 다른 임베디드 장치에 탑재된 펌웨어의 무결성을 검증한다. 제안 기법을 uC/OS-II 운영체제를 탑재한 임베디드 보드에 구현하여 제안 기법의 효율성을 스택사용량과 수행시간의 측면에서 평가한다. 평가 결과, 제안 기법은 적은 메모리와 계산량, 네트워크 전송량을 사용하여 임베디드 환경에 적합하다.

In recent years, cyber attacks on PLCs(Programmable Logic Controllers) in industrial control systems or SCADA(Supervisory Control and Data Acquisition) systems have increased. A successful forgery(or tampering) attack on PLC's firmware may cause a large-scale industrial disaster. In this paper, we propose an efficient technique that remotely verifies the integrity of firmware installed on PLCs. Based on a challenge-response approach, a supervisory PC can verify the integrity of firmware of embedded device connected to the PC via serial communication. We implement the proposed technique in an embedded board running uC/OS-II operating system and evaluate its efficiency in terms of stack usage and execution time. The technique uses a small amount of memory, network transmission and computation, so that it is suitable for embedded environment.

최근의 그래픽처리장치는(GPU: Graphics Processing Unit) 병렬 처리 작업에 특화된 하드웨어 자원을 활용하 여 다수의 스레드를 병렬로 수행시킴으로써 처리량을 극대화시켜 그래픽 작업뿐만 아니라 범용 프로그램에서도 좋 은 성능을 제공한다. 그러나 병렬성의 증가는 단위시간 동안 캐쉬에 접근하는 메모리 요청을 증가시키는데, 많은 양 의 메모리 요청은 캐쉬 경합(Cache Contention)을 증가시키기도 한다. 과도한 캐쉬 경합은 캐쉬에 대한 효율성을 낮추기 때문에 이로 인해 그래픽처리장치의 성능이 크게 감소할 수 있다. 본 논문에서는 MHSR(Miss Status Handling Registers)을 활용하여 SM(Streaming Multiprocessor)에 할당되는 CTA(Cooperative Thread Arrays)를 제한하는 기법을 통해 높은 병렬성으로 인한 성능 저하를 완화하고자 한다. MSHR은 캐쉬에 미스가 발 생했을 때 해당 요청에 대한 정보를 저장하는 자원으로, 점유된 MSHR 엔트리의 수를 통해 캐쉬 효율을 간접적으 로 추정할 수 있다. 제안하는 기법은 MSHR의 사용량을 측정하고, 측정값을 임계값과 비교하여 캐쉬 효율이 높은 지, 낮은지를 판단한다. 비교 결과, 캐쉬 효율이 낮다고 추정되는 경우에는 SM에 새로운 CTA를 할당하지 않음으 로써 병렬성을 낮추고, 높다고 추정되는 경우에는 새로운 CTA를 할당함으로써 병렬성을 높인다. 실험결과에 따르 면 제안하는 CTA 할당 기법은 기존 GPU 구조와 비교했을 때 약 5%의 성능 향상을 보인다.

Recent Graphics Processing Units(GPU) with powerful hardware resources provide high throughput for graphics tasks and general-purpose tasks by executing multiple threads in parallel. However, increased parallelism in the GPU also causes cache contention problem because it increases the number of memory requests. Excessive cache contention decreases the cache efficiency, and this may cause performance degradation of GPUs. In this paper, we propose a technique of limiting the number of CTAs(Cooperative Thread Arrays) allocated to the SM(Streaming Multiprocessor) based on MSHR(Miss Status Handling Registers) utilization to mitigate the performance degradation due to massive memory requests. MSHR stores the information corresponding to the memory request when a miss occurs in the cache. Our proposed method measures the degree of utilization for MSHR dynamically, and compares the measured value with the predefined threshold value, and determines whether the cache efficiency is high or low. If the cache efficiency is predicted to be low, the parallelism is reduced by limiting the number of CTAs allocated to the SM. When the cache efficiency is predicted to be high, the parallelism is increased by allocating more new CTAs. According to our experimental results, the proposed technique can improve the performance of GPUs by 5% on average compared to the traditional GPU architecture.

본 논문에서는 시각적인 자극을 희소 분포로 표현함으로써 입력 자극이 가지고 있는 형태적인 시맨틱을 기억하고 리 콜하는 모델을 제안한다. 사람의 두뇌에서 대뇌 신피질은 정보 처리와 기억을 담당하며 대뇌 신피질에서 뉴런의 동 작 메커니즘은 희소 분포 표현(SDR; Sparse Distributed Representation)으로 모델링 할 수 있다. 이와 같은 희소 분포 표현 기반의 기억 모델은 입력 자극을 기억하는 과정과 유사한 기억을 리콜하는 과정으로 구분하여 고려 할 수 있다. 먼저, 기억 과정은 시각 자극을 희소 분포 표현으로 변환하는 과정이며, 이 과정에서 기본적으로 입력 정보의 형태적인 시맨틱이 유지된다고 생각할 수 있다. 다음으로 이와 같이 기억된 정보와 새로운 입력 자극에 대한 희소 분포 표현들을 비교함으로써 유사한 형태적 시맨틱을 가지고 있는 기억을 리콜할 수도 있다. 본 논문에서는 리 콜 과정에서 형태적 시맨틱의 유사도를 측정하기 위한 기준으로 희소 분포 표현의 중첩률을 사용한다. MNIST (Modified National Institute of Standards and Technology) 데이터를 활용한 제안 모델의 실험 결과 10,000 개의 영상을 기억에 사용하고 주어진 시각 자극에 대한 리콜 실험을 한 결과 희소 분포 표현이 시각 자극의 형태적 시맨틱을 잘 유지하고 있음을 확인하였다.

This paper proposes a model to remember and recall morphological semantic of input visual stimuli using SDR(sparse distributed representation). Neocortex in human brain is in charge of information processing and memory, and operation of neurons in neocortex can be modeled by sparse distributed representation. This memory model based on sparse distributed representation can be considered as memory precess and recall process separately. First, memory process means a process to convert input visual stimuli to sparse distributed representation, and in this process, morphological semantic of input visual stimuli can be preserved. Next, recall process can be considered by comparing sparse distributed representation of new input visual stimulus and remembered sparse distributed representations. Superposition of sparse distributed representation is used to measure similarities. Experimental results using 10,000 images in MNIST(Modified National Institute of Standards and Technology) data set show that the sparse distributed representation of the proposed model efficiently keeps morphological semantic of the input visual stimuli.

미래전의 전투 양상 변화에 따라 우리군은 다계층‧다차원의 통신체계 구축을 추진하고 있으며, 특히 공중계층을 통 해 무선전송 중계를 지원하는 릴레이망 확보를 위해 노력하고 있다. 본 논문에서는 공중 릴레이 구조 및 각 구성 요 소들을 설명하고, 릴레이 구조에 따른 중계기 특징을 살펴보았다. 또한 공중 릴레이 망의 최신 연구사례를 단일, 다 중, 다체계, 게이트웨이의 4가지로 사례로 분류/분석하고, 공중 릴레이 망에서 발생할 수 있는 통신기술 이슈를 OSI 계층별로 나누어 정리하였다. 배포된 공중 릴레이망의 운영간 발생 가능한 시스템 운영 이슈를 통합관리와 서 비스 측면에서 분석하고, 분석 내용을 바탕으로 최근 연구가 활발히 논의 되고 있는 6G 기술 발전 방향과 더불어 공중 릴레이망 진화방향과 도전과제를 정리하였다.

The Korean military is promoting the establishment of a multi-layer and multi-tier communication system to meet the changes in combat patterns of future warfare, and in particular, is striving to achieve a relay network that supports wireless transmission and broadcasting through airwaves. In this paper, we explained the structure of the airborne relay and its components. The characteristics of the relay nodes according to the relay structure are examined. In addition, the latest research cases of airborne relay networks are classified into four cases: single, multiple, multi-system, and gateway, and communication technology issues that may occur in airborne relay networks are classified by OSI layer. The possible system operation issues between the operations of the deployed airborne relay network were analyzed in terms of integrated management and service. Based on the analysis, the direction of development of 6G technology, which has been actively discussed recently, and the direction of evolution and challenges of the airborne relay network were summarized.

가상현실 컨트롤러(virtual reality controller)는 사용자와 VR 컨텐츠 간의 상호작용을 지원하는 핵심적인 역할 을 한다. 많은 VR 시스템들에서는 실제 장비와 동일한 모양으로 제작된 컨트롤러를 사용할 수 있도록 지원하고 있 다. 하지만, 추가 도구를 사용한다는 것은 보다 현실적인 환경의 제공이라는 긍정적인 효과도 있지만, 사용자의 인 지적 부담 증가와 같은 부정적인 영향도 있을 수 있다. 본 논문에서는 VR 기반 훈련 시스템 개발에 있어서 다양한 VR 컨트롤러 도구의 사용과 사용자 경험을 ―현존감, 학습 경험, 인지 부하 ― 세 가지 관점에서 다룬다. 이를 위해 자체 VR 소방 훈련 시스템을 개발하였고, 필수 소방 도구를 제작하여 VR 시스템 내에서 실제처럼 조작할 수 있도 록 하였으며, 두 번의 사용자 스터디(user study)를 통해 기본 컨트롤러 기반의 시스템(standard), 실제 도구가 적용된 VR 시스템(real tools), 하이브리드(hybrid) 시스템에서의 사용자 경험을 분석하였다. 실험 결과, hybrid 방식이 기존 방식들에 비하여 더 높은 수준의 현존감 및 학습성을, 기본 컨트롤러와 비슷한 수준의 인지 부하를 보 였다. 이는 다수의 실제 도구를 사용하는 것이 반드시 더 높은 수준의 사용자 경험을 보장할 수 있는 것이 아님을 보여주며, VR 시스템의 컨트롤러 개발 및 활용의 전략적인 접근이 필요함을 시사한다. Abstract

A virtual reality(VR) controller plays a key role in supporting interactions between users and the virtual environment, and many VR systems have developed tools that are identical to actual equipment. While the use of real tools can provide a more realistic experience, it can also have negative effects, such as an increased cognitive burden on users. We studied such an aspect through the lenses of three human factor constructs - perceived presence, learning experience, and cognitive load. We developed a VR firefighting training system integrated with essential firefighting tools, which were physically identical to the real ones. We conducted two user studies to compare the user experience for the VR system with the standard VR controllers, the one with the real tools, and a hybrid system. As a result, the hybrid condition showed similar levels of perceived presence and learning experiences than the real tool condition and a similar level of cognitive load as the standard controller condition. This shows that having a larger number of real devices does not necessarily guarantee a higher level of user experience and suggests a strategic approach to the development and utilization of control devices in VR systems.

본 논문에서는 엣지컴퓨팅 기반 객체검출 및 Pan-Tilt-Zoom(PTZ) 제어를 활용한 다중객체의 순차추적 방법을 제 안한다. 제안하는 방법은 순찰단계와 순차추적단계로 나누어 PTZ 제어를 수행한다. 먼저 순찰 단계에서 카메라의 화각을 기준점으로 이동시킨 후 사전 정의된 이동 패턴에 따라 순찰 기동을 반복 수행한다. 순찰 기동 중 입력되는 모든 영상 프레임에서 사전 정의된 이상상황의 발생여부를 확인하기 위하여 객체검출 및 식별자 부여를 수행한다. 이상상황이 발생중이라고 판단되면 제안하는 방법은 순차추적단계로 진입하여 사전에 정의된 규칙과 현재 상황이 반영된 객체별 우선 추적 순위를 설정한다. 이 순위에 따라 제안하는 방법은 각 객체를 집중 촬영하기 위한 PTZ 제 어를 순차적으로 수행한다. 순차추적이 모두 끝나면 제안하는 방법은 이상상황을 처음 인지한 화각으로 돌아간 뒤 여전히 이상상황이 존재한다면 순차추적을 반복하고, 그렇지 않다면 순찰단계로 돌아오게 된다. 제안하는 방법의 성 능을 평가하기 위해 스쿨존에서의 돌발상황을 즉시 인지하는 시나리오에 맞춰 실험을 설계하였다. 실험결과, 제안하는 방법은 0.951의 F1 Score로 이상상황을 판별하면서 24 frame per seconds의 처리 속도를 보이며 그 유효성을 입증하였다.

In this paper, a method for sequential tracking of multi-object using edge computing-based object detection and Pan-Tilt-Zoom(PTZ) control is proposed. The proposed method performs PTZ control in two procedures, which are patrol stage and sequential tracking stage. In the patrol stage, the proposed method firstly moves the camera’s angle of view to the reference point then follows the predefined moving procedure for sequential patrol. During the patrol, object detection and identifier assignment are conducted on inputted video frames to recognize incident of the predefined abnormal situations. In case the abnormal situation is on going, the proposed method switches the mode into sequential tracking stage, and by the predefined rules and current situations, assigns the tracking priorities. Followed by the priority, the proposed method conducts PTZ controls in sequential order to capture each objects related to the incident. After all the sequential tracking is over, the proposed method returns back to the angle of view at which the initial abnormal situation was recognized, and then repeats the sequential tracking if the abnormal situation still exists, and returns to the patrol stage otherwise. In order to evaluate the performance of the proposed method, an experiment was designed according to the scenario of immediately recognizing traffic accidents in the school zone. As a result of the experiment, the proposed method proved its effectiveness by showing an F1 score of 0.95 for discriminating abnormal situations with showing a processing speed of 24 frames per seconds.