Earticle

이상 탐지는 비디오 프레임에서 정상 이벤트에서 벗어난 이상 영역의 위치를 검출하는 데 중점을 둔다. 본 논문에서 는 객체 중심 증강 기법을 통한 군중 장면에서의 임베딩 유사성 기반 이상 탐지 기법을 제안한다. 우선 우리가 제안 한 객체 중심 증강 기법을 통해 객체들이 이미지의 모든 영역에 위치하게끔 한다. 그런 다음 사전 훈련된 합성 곱 신경망(CNN)을 사용하여 임베딩 벡터를 추출한다. 그 이후 추출한 임베딩 벡터의 다변량 가우스 분포를 계산하여 정상 클래스의 분포 파라미터를 학습한다. 테스트 이미지에서의 이상 영역을 감지하기 위해 우선 정상 클래스를 나 타내는 참조 벡터와 테스트 이미지에서부터 추출한 임베딩 벡터 사이의 거리를 계산하여 이상치 맵을 생성한다. 그 이후 이상치 맵에서의 높은 스코어를 가지는 영역을 추출하는 방식으로 이상 영역을 감지할 수 있다. UCSD 데이터 셋을 사용하여 실험한 결과 우리가 제안한 방법이 다른 임베딩 유사성 기반 방법보다 이상 영역을 더 잘 감지할 수 있음을 보여준다.

Anomaly detection focuses on the problem of localization or classification of anomaly regions in a video frame that deviated from their normal event. In this paper, we present embedding similarity-based anomaly detection in crowd scenes via object-centric augmentation. First, we locate the objects in all possible spaces in the images using our proposed object-centric augmentation technique. Then, we use a pre-trained convolutional neural network (CNN) to extract embedding vectors. After that, a probabilistic representation of the normal class is obtained by calculating multivariate Gaussian distributions of the embedding vectors. To detect the anomalous regions of a test image, the anomaly map is formed by calculating the distance between reference vectors representing normal class and embedding vectors of a test image. Finally, the anomalous regions can be detected by extracting the regions that contain a high anomaly score in the anomaly map. Experimental results show that our proposed method can detect anomalous regions better than another embedding similarity-based method on the UCSD dataset.

인공지능 기술과 이를 뒷받침 해줄 수 있는 컴퓨팅 기술의 발전으로 인해 매우 많은 영역에서 인공지능 기술을 활용한 서비스를 제공하고 있다. 이와 더불어 네트워크와 클라우드(Cloud) 기술의 발전으로 인해 인공지능의 학습 (Training)과 추론(Inferencing)을 클라우드에서 수행함으로써 컴퓨팅 성능이 낮은 기기들 또한 인공지능을 직접적 으로 활용할 수 있다. 최근에는 클라우드 뿐 아니라 모바일 기기들이 함께 학습과 추론을 위한 연산들을 나누어 수행 하고 이를 다시 종합하는 협업 기계 학습은 많은 주목을 받고 있는 학습 기법들 중 한 형태이다. 이러한 형태의 학습의 경우, 모바일 기기들을 활용하여 학습하고 추론 연산을 수행할 때, 응용의 성능뿐 아니라 통신 상황과 그로 인한 지연 시간 및 모바일 기기들에서 소모되는 전력을 종합적으로 고려하는 것은 매우 중요하다. 따라서 본 논문에서는 클라우 드와 연결된 멀티 홉 기반의 네트워크에서 협업 기계 학습을 수행할 때, 학습 및 추론 연산 분배에 따른 주요 사례(All in-cloud, Training in-cloud, All on-device)들에 대해, 통신 상황을 고려하여 지연시간과 소모 전력에 대한 분석 을 수행하였다. 분석을 통해, 통신 상황을 고려하여 학습 및 추론 연산 분배 방식을 선택해야 함을 보였으며, 멀티 홉 네트워크인 경우 홉 수가 증가할수록 통신 상황에 따른 오버헤드가 급격히 증가될 수 있음을 보였다.

Due to the development of artificial intelligence (AI) and computing technologies supporting AI, services utilizing AI technologies are provided in so many areas. In addition, advances in network and cloud technologies also allow devices with low computing power to directly utilize AI by performing training and inference in the cloud. Recently, the cooperative machine learning, in which not only the cloud but also mobile devices perform computations for learning and inference together, is a form of learning techniques attracting attention. For this form of learning, when learning and performing inference operations using mobile devices, it is important to consider the performance of the application as well as the latency and power consumption in the mobile devices. Therefore, in this paper, we conduct analyses in the network situation when the cooperative machine learning is performed on multi-hop-based networks connected to the cloud. By considering the communication situation, from the latency and power consumption perspectives, we conduct the analyses of major cases depending on the distribution of learning and inference operations, All in-cloud case, Training in-cloud case, and All on-device case. Through the analyses, we show that the distribution method of learning and inference computation should be chosen with considering the communication situation. Furthermore, we show that, in the multi-hop networks, the overhead of communication can increase dramatically as the number of hops increases.

자기장 신호는 RF 신호와 달리 벽, 가구 등의 실내 구조로 인해 다중 경로 전파, 회절 및 산란 등이 발생하지 않아 신호가 안정적이기 때문에 높은 측위 성능의 기반이 될 수 있다. 반면, 사용자의 이동이 계속됨에 따라 자기장 신호 는 고유 시퀀스를 가지게 된다. 따라서 자기장 데이터의 시간에 따라 변하는 시퀀스를 인식하는 데 효과적인 LSTM 모델을 사용하여 사용자의 이동 경로를 추적한다. 또한, 다양한 사용자의 실제 이동에 따라 발생할 수 있는 상황들 을 반영하기 위해 학습 데이터를 생성하는 과정에서 걸음 길이, 걸음 인식 및 자기장 데이터 노이즈에 랜덤성을 반 영하였다. LSTM 모델의 평가를 위해 약 94m x 26m의 testbed에서 테스트를 진행하였다. 랜덤성이 반영된 데이 터셋에 대하여 랜덤성이 반영되지 않은 모델 대비 랜덤성을 반영하여 학습한 모델은 측위 오차를 3.11미터에서 1.26미터로 감소시킴으로써 측위 성능 향상을 보였을 뿐 아니라 측위 결과의 수렴 속도 또한 20걸음에서 10걸음으 로 크게 줄일 수 있었다.

Magnetic field does not generate multi-path propagation, diffraction, and scattering due to the indoor structures such as walls and furniture, so that the signal is much more stable over time than those of RF signals, which would potentially enable higher accuracy IPS. As a sequence of the geomagnetic field vectors grows longer, the sequence can uniquely identify the current position of the object. In order to memorize the contiguously changing patterns of geomagnetic vector sequences, we use a LSTM model which is good for recognizing the time-varying sequence of data. In addition, in order to reflect situations that may occur according to actual movement of various users, we reflect the randomness in terms of the step length, step detection, and magnetic field noise in the process of generating training data set. To evaluate our geomagnetic-field IPS based on our LSTM models, we use Hana Square testbed whose dimension is 94m x 26m Compared to the model that does not reflect randomness with respect to the data set that reflects randomness, the model with randomness substantially improve the localization performance, which could achieve the positioning error of 1.26 m. Also, the localization errors converge to a small value after the first 10 steps.

협업 필터링은 추천 시스템의 대표적인 기술로, 사용자 또는 항목 간의 유사성을 기반으로 추천 대상을 결정하는 방 법이다. 협업 필터링의 계산 속도를 높이기 위해 분산 병렬 협업 필터링이 제안되었다. 그러나 데이터 분산 불균형 으로 인한 데이터 왜곡 문제는 여전히 남아 있다. 따라서 본 연구에서는 데이터 분포 불균형으로 인한 데이터 왜곡 문제를 해결하기 위해 사용자 취향 레퍼토리 분석 방법에 기반한 데이터 분포 및 처리 방법을 제안하였다. 레퍼토 리 분석은 사용자가 이전에 사용했던 서비스 영역의 범위와 수를 분석하는 것이며, 제안된 기법에서는 사용자가 이 전에 사용했던 서비스에 대한 레퍼토리 분석 결과를 기반으로 데이터를 배포한다. 레퍼토리 분석 결과를 기반으로 사용자 데이터를 배포하는 실험이다. 성능은 RMSE 및 실행 시간 측정으로 충분히 사용할 수 있음을 보였다.

Collaborative filtering is a representative technique of recommendation systems. Collaborative filtering is a method of determining a recommendation target based on similarity between users or items. Distributed parallel collaborative filtering was proposed to improve the computational speed of collaborative filtering. However, the data skewness problem caused by imbalanced data distribution still remains. Therefore, in this study, we proposed a data distribution and processing method based on the user taste repertoire analysis method to solve the data skewness problem caused by data distribution imbalance. So, the repertoire analysis is to analyze the range and number of areas of the services previously used by the users. In the proposed method, data is distributed based on the results of the repertoire analysis of the services previously used by the users. Our experiment distributing data of users based on the results of the repertoire analysis. It was shown that the performance was sufficiently usable as measuring RMSE and execution time.

지난 10년 동안 엔터테인먼트 산업의 발전으로 인해 영화 데이터의 생산이 기하급수적으로 성장하여 색인 생성, 주 요장면 추천 및 장르 식별 등 다양한 연구 분야가 나타나게 되었다. 따라서 영화 콘텐츠를 분석하고 이해하는 것은 아주 중요한 분야로 자리 잡게 되었다. 본 논문에서는 시각적 요소와 텍스트 양식을 활용한 영화 문법과 맥락 분석 이라는 두 가지 측면에서 영화를 분석하는 지능형 프레임워크를 제안한다. 제안된 프레임워크는 확대/축소/배경/ 텍스트와 같이 영화에서 등장하는 장면을 감지하는 전처리 과정을 거친 후 상황별 분석을 위해 딥러닝 모델을 활용 한 객체와 텍스트 감지를 진행했다. 마지막으로 영화에서 나오는 대사를 추출하고 이를 영화 타임 스탬프를 기반으 로 각 씬에 대한 분석 결과와 영화에 등장하는 인물들의 대사를 저장함으로써 인덱싱 및 요약 등 다양한 용도로 활 용될 수 있게끔 만들었으며, 제안된 프레임워크는 주관적인 평가를 사용하여 평가를 진행하였다.

Over the past decade, advancements in the entertainment industry have caused exponential growth in video data production especially movies, leading to tiresome indexing, recommendation making, and genre identification. To overcome these challenges, analyzing and understanding the movie contents is the primary step. Therefore, in this paper we proposed an intelligent framework to analyze movies from two different aspects i.e., film grammar and contextual analysis using vision and textual modality. The proposed framework first preprocessed the movie for scene segmentation. Next, the cinematographic transitions are detected such as zoom, background and text related scenes. For contextual analysis, we used customized deep models for object and text detection. Finally, the detailed description of each scene over the movie timestamp is recorded which can be use for various application such as indexing and summarization etc. The proposed framework is evaluated using movie scripts and subjective evaluation.

네트워크 기술의 발전과 업무 환경의 변화로 인해 비대면 온라인 업무가 증가하고 있으며, 이로 인해 화상회의 시스 템의 사용이 확산되고 있다. 화상회의 시스템은 영상과 음성을 전송하여 화면을 공유하는 방법이다. 영상전송 시스 템은 회의를 진행할 때, 화면의 변화가 없는 경우에도 일정한 비율로 화면을 송출하게 된다. 이는 불필요한 트래픽 을 소모하게 되고, 호스트의 단방향 영상 송출이기 때문에 참가자들은 호스트의 영상에 직접적인 피드백을 할 수 없 다. 본 논문에서는 변화되지 않는 콘텐츠에 대한 트래픽 비용을 아끼고, 사용자들간 공유된 화면에서 상호작용할 수 있는 시스템을 설계하였다. 이 시스템을 구현하기 위해 HTML5 기반의 웹소켓과 WebRTC를 사용하였고, 이를 통 해 웹 브라우저만으로 화면을 공유하며 상호작용할 수 있는 시스템을 개발 할 수 있었다. 본 논문에서 개발된 시스 템은 유저들간 화면을 공유하며 필기, 화면 전환등의 상호작용을 할 수 있어 화상회의시 불편함을 개선하였으며, 다 른 화상회의 시스템과 비교하였을 때 트래픽의 이점도 확인할 수 있었다.

Due to the development of network technology and changes in the work environment, non-face-toface online work is increasing, and for this reason, the use of video conferencing systems is spreading. A video conferencing system is a method of sharing a screen by transmitting video and audio. When conducting a conference, the video transmission system transmits a screen at a constant rate even when there is no change in the screen. This consumes unnecessary traffic, and because it is a one-way video transmission from the host, participants cannot give direct feedback to the video of the host. In this paper, we designed a system that saves traffic costs for unchanging contents and allows users to interact on a shared screen. To implement this system, HTML5-based WebSocket and WebRTC were used, and through this, we were able to develop a system that can share screens and interact with only a web browser. The system developed in this paper improves the inconvenience of video conferencing by allowing users to share screens and interact with each other, such as handwriting and screen switching, and it is possible to confirm the advantage of traffic when compared to other video conferencing systems.

본 논문에서는 현재 많은 연구가 진행 중인 IR-UWB Radar와 기계학습을 이용하여 물체마다 반사되어 돌아오는 파형의 주파수 특성을 이용하여 물체의 재질을 인식하는 연구를 진행하였다. 각 물체의 재질마다 IR-UWB Radar 의 전파가 반사되는 에너지의 크기가 다르며, 투과되는 에너지의 양도 다르다. 이러한 특성을 에너지의 크기로만 물 체를 구분하기에는 한계가 있다. 본 논문에서는 반사된 전파의 크기를 FFT(Fast Fourier transform) 변환을 이 용하여 각 물체마다의 주파수 특성을 확인하였다. 그 결과 각 물체마다의 주파수 특성이 다르게 나오는 것을 확인 할 수 있었으며, 각 물체에 따른 주파수 특성 데이터를 모아 SVM과 같은 기계학습 함으로써, 물체 인식이 가능하다 는 것을 보였다.

In this paper, we investigate the material recognition using the frequency characteristics of the reflected wave coming back from the IR-UWB radar and artificial intelligence. The size of the energy reflected by the IR-UWB Radar differs from body to body, and the amount of energy transmitted is also different. There is a limit to distinguishing materials only by their energy. In this paper, frequency characteristics of each material are confirmed by using FFT(Fast Fourier Transform) transform of the size of reflected wave. As a result, it was confirmed that the frequency characteristics of each material appeared differently, and it was shown that material recognition is possible by collecting the frequency characteristic data for each material and learning it using machine learning such as SVM.

손가락 정맥은 인증에 사용되는 매우 안전하고 신뢰할 수 있는 생체 인식 형식이다. 손가락 정맥 인증은 비교적 최근 에 개발된 생체 공학 기술로 지난 10년간 더욱 주목을 받고 있다. 기존의 손가락 정맥 인증 기법은 조명 변화 및 이 미지 정렬 오류와 같은 몇 가지 요인에 의해 비효율적인 특징 추출로 이어지곤 하였는데, 이로 인해 인증 시스템의 전반적인 성능 저하가 발생하곤 하였다. 합성곱 신경망(CNN, Convolution Neural Network)은 기존의 손가락 정맥 인증의 문제를 극복하는 딥 트랜스퍼 학습 기반 접근 방식이다. 본 논문에서는 디지트 정맥 이미지에 대한 딥러 닝 기반 특징 추출 기술을 제안하였다. 제안된 CNN에는 6개의 컨볼루션 계층, RELU, 배치 정규화, 최대 풀링 계 층(max pooling layer) 그룹이 포함되어 있으며, 그 뒤에 풍부하게 결합된 계층과 평탄화 계층이 있다. CNN은 SDUMLA(Shandong University Machine Learning and Applications) 손가락 정맥 데이터베이스의 다른 영 상 그룹을 사용하여 테스트하고 훈련했으며 99.84%의 정확도, 0.00081의 FAR, 0.04의 FRR을 달성했다.

Finger vein is considered to be an extremely secure and reliable biometric modality used for Authentication. The finger vein authentication is the recently developing biometric technology which gains more attention from the past decade. The traditional methods of finger vein authentication techniques are affected by several factors such as illumination variations and image misalignments lead to inefficient feature extraction. Therefore, the overall performance of the authentication system is reduced. A Convolutional Neural Network is a deep transfer learning-based approach which overcomes the issues in the traditional finger vein authentication. A deep learning based feature extraction technique for digit vein images is proposed in this paper. The Convolution Neural Network (CNN) proposed in this paper contains six groups of a convolutional layer, RELU, batch normalization, and max pooling layer, followed by a abundantly coupled layer and a flatten layer. The CNN is tested, trained using a different group of images from the SDUMLA finger vein database and overall accuracy of 99.84%, 0.00081 of FAR and 0.04 of FRR were achieved.