Earticle

최근 심층신경망(DNN, deep neural network) 알고리즘이 많은 안전필수 실시간 시스템에 적용되기 시작하면서 DNN 추론 태스크의 실행이 주어진 마감 시간 안에 완료되어야 하는 타이밍 요구사항이 중요해졌다. 이를 위해 대 부분의 선행 연구들은 DNN의 실시간성을 보장하기 위해 엣지 컴퓨팅 환경에서 GPU나 CPU와 같은 컴퓨팅 자원 을 활용하는 것에 초점을 맞춘다. 이에 반면, Edge TPU는 엣지 컴퓨팅을 위한 차세대 인공지능 프로세서로 평가 받고 있음에도 불구하고, Edge TPU를 위한 실시간성 보장 연구는 전무한 실정이다. 따라서 본 논문에서는 Edge TPU 환경에서 여러 DNN 추론 태스크들의 타이밍 요구사항을 만족시키는 새로운 실시간 DNN 프레임워크를 제 안한다. 이 프레임워크에서는 1) 태스크 마감 시간을 고려하여 SRAM 캐시메모리를 할당하는 기법과 2) 우선순위 역전 현상을 줄이기 위한 모델 분할 기반의 스케줄링 기법을 제공한다. 본 연구에서는 Edge TPU가 장착된 Coral 개발 보드와 이미지 분류 모델들을 이용하여 해당 프레임워크의 성능을 검증하였다. 그 결과 기존 Edge TPU 기반 시스템보다 37%만큼 더 높은 스케줄링 가능성(scheduablity)를 제공할 수 있음을 보였다.

As deep neural networks(DNNs) have been recently deployed in many safety-critical real-time embedded systems, it has become essential to meet timing requirements that DNN inference tasks must complete their execution within given deadlines. To this end, most previous studies focus on utilizing GPU or CPU in edge computing environments to support real-time DNN tasks. Meanwhile, although Edge TPU is regarded as a next-generation AI processor for edge computing, there is a lack of studies on real-time guarantee for Edge TPU. Thus, this paper presents a novel real-time DNN framework that can satisfy the timing requirements of multiple DNN inference tasks in edge TPU environments. This framework provides 1) a cache memory allocation technique that considers the deadline of each task and 2) a scheduling technique based on model segmentation to reduce priority inversion phenomena. We evaluated the performance of our framework by using Google Coral dev board, an embedded board equipped with Edge TPU, and several image classification models. The experiment result shows that our framework can provide higher schedulability by 37% than the existing Edge TPU system.

본 논문에서는 복부 CT 영상에서 딥러닝을 이용한 정확하고 빠른 근육 분할 기법을 제안한다. 데이터 세트는 DICOM 태그의 리스케일 슬로프, 인터셉트 정보를 이용해 픽셀 값을 정규화하고 훈련 데이터 세트에는 유사 변환 을 이용해 이미지 증강을 수행했다. 증강된 훈련 데이터 세트에 U-net을 이용해 근육 영역 분할 학습을 수행했다. U-net은 생물의학 이미지 분할을 위해 고안된 fully convolutional networks 기반 모델이다. 분할된 근육 영역 에서 hounsfield unit 범위로 판별된 근육 외의 부분을 제거하여 근육 마스크를 생성한다. 제안된 모델의 정확도는 98%이고, 한 장의 복부 CT 영상에서 근육을 분할하는 데 평균 1초가 소요되었다.

In this paper, we propose an accurate and fast fully automated muscle segmentation technique using deep learning in abdominal CT images. The dataset normalized pixel values using rescale slope, intercept information in the DICOM tag, and image augmentation was performed using similarity transformation in the training dataset. We performed muscle region segmentation learning using U-net on the augmented training dataset. U-net is a fully convolutional networks based model designed for biomedical image segmentation. A muscle mask is generated by removing a portion other than the muscle determined by the hounsfield unit range from the divided muscle region. The accuracy of the proposed model was 98% and it took an average of 1 second to segment the muscles in one abdominal CT image.

비전 기반의 객체 인식에 있어 항상 최적의 영상을 기반으로 식별을 진행하기에는 현실적으로 다양한 제약이 존재한 다. 예를 들어, 관심 객체의 영상획득 시 간섭을 일으키는 물체의 존재와 같은 이유로 인해 객체의 일부가 가려져 있을 수 있다. 인물의 얼굴 분류에 있어서도 마스크와 같은 폐색물이 존재할 경우 원래의 학습된 모델을 통한 분류 진행시 정확도가 떨어지는 문제가 발생할 수 있다. 이를 극복하기 위하여 GAN 기반의 폐색 영역 복원 기법 및 임베 딩 벡터의 거리에 따른 학습 알고리즘인 ArcFace Loss 모델을 결합한 파이프라인을 제안해 부분 폐색된 얼굴의 인 식률을 높이고자 한다. 본 논문에서는 폐색된 얼굴 이미지의 대표적인 예인 마스크 착용 인물의 학습 및 분류를 바 탕으로 성능을 평가한다. 결과로 Accuracy와 F-1 Score에서 일반적인 얼굴 학습에 비하여 각기 68%와 0.62의 성능향상을 확인하였다.

In the vision-based object recognition, there are practically various limitations to always proceed with the identification based on the optimal image. For example, a part of the object may be occluded due to the presence of an object causing interference when acquiring an image of the object of interest. Even in the face classification of a person, if there is an occlusion such as a mask, there may be a problem that the accuracy is lowered when the classification is performed through the conventional trained model. To overcome this, we propose a pipeline that combines the GAN-based occlusion area restoration technique and the ArcFace Loss model, a machine learning algorithm based on the distance of the embedding vector, to increase the recognition accuracy of partially occluded faces. In this paper, the performance is evaluated based on the classification of a mask-wearing person, a representative example of an occluded face image. As a result, performance improvements of 68% and 0.62 were confirmed in Accuracy and F-1 Score, respectively, compared to conventional face learning.

인공지능 기술의 발전은 인간의 창의성이 요구되는 예술분야에서도 두각을 나타내고 있다. 별도의 지식 없이도 대량 의 음악 데이터 학습을 통해 자동으로 음악을 작곡하거나 청취자의 취향 혹은 상황에 맞는 음악을 추천한다. 기존 선행 연구들은 듣기 좋은 음악을 자동으로 생성하는 방법을 제시했다면 본 논문은 웹드라마에서 사용하기 위해 인간 의 감정 표현 및 스토리 흐름에 맞는 음원을 생성하는 방안을 제안한다. 영화 사전 제작 단계에서 시나리오가 작성 된 이후 청각적인 요소(음향, 음악 등)들을 적재적소에 배치하기 위해 작성하는 시각적인 음향 연출 지도를 활용하 여 웹 드라마 대본을 분석하고, 인공지능 작곡 모델 Magenta 모델을 통해 웹드라마 스토리의 흐름과 분위기에 적 합한 음원을 자동으로 생성하는 것을 기술한다. 본 논문을 통해 인공지능 기술이 웹 드라마 및 디지털 문화 콘텐츠 에 활용되는 음원 창작 전반적인 과정에 참여해 제작 시간 및 비용, 저작권 등에 구애 받지 않으며 인간의 창의성과 융합하여 다양한 장르의 음원을 창작하는 활동이 활발하게 이루어지기를 기대한다.

The development of artificial intelligence(AI) technology is also standing out in the field of art that requires human creativity. It automatically composes or recommends music that suits the listener’s taste or situation by learning large amount of music data without any additional knowledge. In previous studies, a method of automatically generating music that is pleasant to listen was suggested. On the other hand, this paper proposes a method of creating a sound source suitable for human emotion expression and story flow to use it in web dramas.The web drama script is analyzed by making use of visual sound production map, which is organized after the scenario had written in the pre-production stage of the movie and it is for placing the auditory elements (sound, music, etc.) in the right place. In addition, it describes the automatic sound source generation that is appropriate for the flow and atmosphere of the web drama through ‘Magenta’, the AI composition model. Consequently, through this study, it is expected that the engagement of AI technique in overall process of web drama and other digital culture contents leads active musical creation in various music genres by fusion with human creativity without regard to time, cost, copyright, etc.

기계학습을 이용한 안드로이드 악성 앱 탐지 연구가 활발하지만 미래의 악성 앱을 기존의 모델로 예측할 수 있는 지 속 가능성 문제에 대한 연구가 상대적으로 부족하다. 이전 연구는 기존 악성 앱 탐지 연구가 특정기간의 데이터만 사용하였고, 그 결과 지속 가능성이 부족함을 보였다. 본 논문은 그 해결책으로 연도별 데이터를 조합하여 지속 가 능성을 향상하는 실험을 진행하였다. 2014년부터 2020년까지의 연도별 데이터에서 2개 연도 또는 3개 연도 데이 터를 조합하여 기계학습을 실시하고, 모든 연도의 데이터로 모델을 평가하였다. 실험결과 데이터의 분포가 크게 달 라지는 3개 연도 데이터 조합이 가장 좋은 성능을 보였다.

Although research on Android malicious app detection using machine learning is active, research on sustainability issues that can predict future malicious apps with existing models is relatively scarce. Previous studies showed that existing malicious app detection studies only used data for a specific period, and as a result, lack of sustainability. To find a solution, we conducted an experiment to improve sustainability by combining yearly data. We trained machine learning models by combining data from two or three years from year-by-year data from 2014 to 2020, and the model was evaluated with data from all years. As a result of the experiment, the three-year data combination in which the distribution of the data was significantly different showed the best performance.

인공 위성을 통해 촬영된 해수면 위성 영상 정보를 실제 응용 분야에 활용하기 위해서는 손실된 온도 정보를 인위적 으로 복원하는 기술이 필수적이다. 본 논문에서는 해수면 온도 위성영상 복원을 위해 정답 영상이 필요 없는 비지도 (Unsupervised) 기반 외부-내부 학습으로 구성된 딥 러닝 모델을 제안한다. 제안 방법에서는 손실된 해수면 온도 영상의 정답 영상이 부재해도 손실된 해수면 온도 정보를 신뢰성 있게 복원할 수 있게 한다. 제안 복원 방법은 외부- 내부 학습 2단계의 과정으로 구성되어 있으며 1단계 외부 학습 과정에서는 비지도 학습을 기반으로 손실된 영역의 구조적 복원을 진행한다. 2단계 내부 학습 과정에서는 구조적 복원 결과와 손실 영상을 기반으로 색상 복원을 진행 한다. 제안 비지도 학습 기반 복원 딥 러닝 모델은 최신 다른 비지도 학습 모델들과 비교할 때 우수한 복원 성능을 달성했으며 정답 영상을 필연적으로 활용하는 지도 학습 기반 복원 모델들과 비교해도 유사한 복원 정확도를 보였 다. 또한 실제 측정한 해수면 온도 값과 비교하여 평균적으로 섭씨 1.8도 오차내에 복원 정확도를 달성하였다.

In order to utilize Sea Surface Temperature (SST) satellite image in practical applications, the techniques for restoring the lost temperature information is essential. We proposed a so-called unsupervised external-internal learning (UNEIL) model that does not require ground-truth images during the restoration of SST satellite images. Using the proposed UNEIL, it is possible to restore sea surface temperature information lost due to occluded clouds without using ground-truth images and excellent quality restoration results can be obtained. The proposed UNEIL largely consists of two-step learning steps: external and internal learning. In external learning, structural information of the lost area is restored in an unsupervised learning way. Next, internal learning based color restoration is performed based on structural restoration results. Experimental results showed that our UNEIL outperforms other state-of-the-art unsupervised restoration methods in terms of restoration accuracy and also achieves quite similar restoration accuracy, even compared to supervised restoration models that inevitably utilizes ground-truth images. The restoration accuracy of our UNEIL is achieved within an error of 1.8 degree Celsius on average compared to the actual sea surface temperature value.

다양한 개발자들이 참여하는 환경에서 서로의 상호작용을 이해하고 시스템 개발부분을 공유하는 오픈 플랫폼 소프 트웨어를 성공적으로 개발하기 위해서는 일관성있는 시스템 및 소프트웨어 요구사항에 대한 관리가 필요하다. 본 논 문에서는 다양한 요구사항 문장을 체계적으로 관리하기 위하여 요구사항 문장 집합을 구문론적으로 유사한 집단으 로 군집화하며, 올바르게 작성되지 않은 요구사항 문장을 사용자가 수정할 수 있도록 이와 유사한 표준 템플릿을 자 동으로 추천하는 방안을 제안한다. 철도 상호호환 통합 플랫폼 설계 및 개발 도메인에서 올바르게 작성된 총 500개 의 요구사항 문장에 대한 템플릿 집합을 대상으로 요구사항 문장의 분류 및 추천 정확도를 측정하였다. 실험에서 요 구사항 문장의 군집화에 대한 평균 분류 정확도는 99% 이상을 나타냈으며, 유사한 문장의 평균 추천 정확도는 93% 이상을 나타내었다.

To successfully develop a software system for an open platform, which involves many software and hardware developers and interacts each other to understand their tasks, the consistent maintenance of integrated software and system requirement specifications should be definitely required. In this paper, for the purpose of systematically managing various sentences of requirement specifications, all of the sentences are partitioned into their clusters depending upon their syntactic similarities. Further, the proposed method automatically recommends a standard template close to an input sentence, which turns out to be syntactically incorrect, so that users are able to update the input sentence of requirement specifications. In the domain of TRain Open Software ARchitecture (TROSAR) platform, the accuracies for the classification of requirement specifications and the recommendation of standard template were measured with totally 500 template sentences of requirement specifications. In the experiment, the average accuracy of cluster classification for the set of sentences was higher than 99%, and the average accuracy of recommendation for the similar templates was higher than 93%.

이미지 검색은 주어진 이미지에 대해 검색 목적에 맞는 이미지를 찾는 문제이다. 최근 연구는 주로 시각적으로 유사 한 이미지를 찾는 content-based image retrieval(CBIR) 문제를 해결하기 위해 이미지 분류를 위해 대용량 데 이터셋에 대해 사전 학습된 딥러닝 모델의 특징맵(feature map)을 활용한다. 본 논문은 주어진 이미지와 같은 객 체를 포함하고 있는 이미지를 찾는 object-based image retrieval(OBIR) 문제를 제안한다. 기존의 이미지 검색 기법은 global feature나 local feature를 사용해 유사한 이미지를 검색하는데 이때 주어진 이미지가 복잡한 배경 을 가지고 있거나 이미지의 객체가 작은 경우 객체 정보를 얻는 데 어려움이 발생한다. 이를 해결하기 위해 배경에 구애받지 않고 객체의 정보를 사용하는 최신 객체 인식 모델인 Detection Transformer(DETR)와 Bag of Visual Words(BoVW)를 활용한 객체 임베딩(object embedding) 및 이미지 검색 기법을 제안한다. 본 논문은 객체 인식 문제에 주로 쓰이는 COCO 데이터와 기존 이미지 검색 기법에서 사용하는 AID, Oxford & Paris 데이 터를 사용해 기존 이미지 검색 기법들과 비교 실험을 수행하였고, DETR 기반 BoVW가 OBIR 문제에서 기존 방법 대비 우수한 성능을 내는 것을 확인하였다.

Image retrieval is a problem of finding an image suitable for the purpose of search for a given image. Recent work utilizes a feature map of pre-trained deep learning models from large dataset for image classification to solve the content-based image retrival(CBIR) problem, mainly finding visually similar images. This paper proposes an object-based image retrival(OBIR) problem of finding an image containing an object same as a given image. Traditional image retrieval techniques use global or local features to search for similar images, which makes it difficult to obtain object information if a given image has a complex background or if the object of the image is small. To address this, we propose object embedding and image retrieval techniques using the latest object recognition models, DETR (Detection Transformer) and Bag of Visual Words (BoVW), which can represent object information regardless of background. This paper conduct a comparative experiment with existing image retrieval techniques using COCO data mainly used in object recognition problems and AID, Oxford & Paris data used in existing image retrieval techniques, and show that DETR-based BoVW outperforms existing methods in OBIR problems.