Earticle

다중 뷰 비디오로부터 두드러진 정보 추출은 인터뷰, 인트라 뷰간 상관관계와 계산 비용 때문에 매우 어려운 영역입 니다. 매우 높은 계산 복잡성을 지닌 멀티 뷰 비디오에서 키프레임을 추출하기 위해 개발된 몇 가지 기술이 있습니 다. 이 논문에서, 우리는 내부에 존재하는 엔트로피와 복잡한 정보를 사용하여 멀티 뷰 비디오의 키프레임 추출 접 근 방식을 제시합니다. 첫 번째 단계에서는 프레임 사이의 SSIM값을 기반으로 각 보기에서 전체 비디오의 대표 샷 을 추출합니다. 두 번째 단계에서는 서로 다른 보기의 모든 샷 프레임에 대한 엔트로피와 복잡성 점수가 계산됩니 다. 마지막으로 엔트로피와 복잡성 점수가 가장 높은 프레임은 키 프레임으로 간주됩니다. 제안된 시스템은 사용 가 능한 Office벤치마크 데이터 세에서 주관적으로 평가되며, 정확성과 시간 복잡성의 측면에서 결과는 편리합니다.

Salient information extraction from multi-view videos is a very challenging area because of interview, intra-view correlations, and computational complexity. There are several techniques developed for keyframes extraction from multi-view videos with very high computational complexities. In this paper, we present a keyframes extraction approach from multi-view videos using entropy and complexity information present inside frame. In first step, we extract representative shots of the whole video from each view based on structural similarity index measurement (SSIM) difference value between frames. In second step, entropy and complexity scores for all frames of shots in different views are computed. Finally, the frames with highest entropy and complexity scores are considered as keyframes. The proposed system is subjectively evaluated on available office benchmark dataset and the results are convenient in terms of accuracy and time complexity.

본 논문에서는 기존 파티클 스웜 최적화를 기반으로 추적 대상 객체의 이동 궤적을 이용하는 객체 추적기에서 시간 정보 활용의 문제점을 개선한 강인한 객체 추적 알고리즘을 제안한다. 제안하는 알고리즘은 추적 대상 객체와 유사 한 특징을 가지는 변위들의 집합에 대한 위치들의 온라인 업데이트와 추적을 가능하게 한다. 객체들의 중첩을 검출 하고 추적 대상의 위치를 결정하기 위해 궤적 정보와 변위들의 집합을 기반으로 적응적 파라미터를 사용하는 규칙 기반 접근을 사용한다. 기존 알고리즘들과 비교해보면 제안하는 접근법은 가용한 정보를 복합적으로 사용함으로써 각종 임계값에 대한 적응적 조정을 가능하게 한다. 또한, 파티클 스웜 최적화에서 발산에 의한 손실과 불완전한 수 렴의 문제를 해결하기 위해 효율적인 가중치 조절 함수를 제안하고 있다. 제안하는 가중치 조절 함수는 파티클들이 최적의 해에 수렴하기 이전에 전체 프레임 영역에서 탐색할 수 있도록 한다. 유사한 특징 조합을 가지는 다중 객체 가 존재하는 환경에서 제안 알고리즘을 테스트한 결과, 기존 스웜 최적화 기반의 객체 추적기들에 비해 기존 유사 변위들에 대한 잘못된 추적을 현저히 줄이는 것을 확인할 수 있었다.

This paper proposes an enhanced object tracking algorithm to compensate the lack of temporal information in existing particle swarm optimization based object trackers using the trajectory of the target object. The proposed scheme also enables the tracking and documentation of the location of an online updated set of distractions. Based on the trajectories information and the distraction set, a rule based approach with adaptive parameters is utilized for occlusion detection and determination of the target position. Compare to existing algorithms, the proposed approach provides more comprehensive use of available information and does not require manual adjustment of threshold values. Moreover, an effective weight adjustment function is proposed to alleviate the diversity loss and pre-mature convergence problem in particle swarm optimization. The proposed weight function ensures particles to search thoroughly in the frame before convergence to an optimum solution. In the existence of multiple objects with similar feature composition, this algorithm is tested to significantly reduce convergence to nearby distractions compared to the other existing swarm intelligence based object trackers.

영상의 특징인 색상, 모양, 질감 등을 이용해 영상을 검색하는 연구들은 많이 진행되어 왔다. 또한 작물의 질병 영상 과 관련된 연구들도 진행되고 있다. 농업 현장에서 재배되는 작물에 발생한 질병을 확인하는데 도움이 되기 위해 본 논문에서는 시설원예 작물의 질병 영상을 이용한 유사도 기반 작물 질병 검색 시스템을 제안한다. 제안하는 시스템 은 단일 Descriptor를 사용하지 않고, 조합 Descriptor를 통해 기존 대비 영상의 유사도 검색 성능을 높였고 유사 도 검색 결과를 가독성 높게 사용자에게 제공하기 위해 가중치 기반 산출방법을 적용했다. 본 논문에서는 총 13개 의 개별 Descriptor를 이용해 조합을 진행했다. 조합 Descriptor를 이용해 6개 작물의 질병에 대해 유사도 검색을 진행했고 작물별로 평균 accuracy가 높은 조합 Descriptor를 선정해 유사도 검색에 사용했다. 검색된 결과는 병명 의 비율을 기반으로 한 산출방법과 가중치를 기반으로 한 산출방법을 사용해 백분율로 나타냈다. 병명의 비율을 기 반으로 한 산출방법은 질의 영상과 유사도 검색에 사용되는 영상의 수가 많은 병명이 1순위로 출력되는 문제점이 있다. 이를 해결하기 위해 가중치를 기반으로 한 산출방법을 사용했다. 작물의 병명별 테스트 영상을 두 가지 산출 방법에 적용해 검색 성능을 측정했다. 작물의 질병별로 두 가지 산출방법에 대해 검색 성능 값의 평균을 비교한 결 과 고추, 사과 작물에서는 병명의 비율을 기반으로 한 산출방법의 성능이 가중치를 기반으로 한 산출방법의 성능보 다 평균 약 11.89%의 높은 성능 결과를 보였다. 국화, 딸기, 배, 포도 작물에서는 가중치를 기반으로 한 산출방법 이 병명의 비율을 기반으로 한 산출방법의 성능보다 평균 약 20.34%의 높은 성능 결과를 보였다. 또한 본 논문에 서 제안하는 시스템의 UI/UX는 실제 사용자의 피드백을 통해 편리하게 구성했다. 시스템의 화면마다 상단에 제목 과 설명을 출력했고 사용자가 질병의 정보를 보기 편리하게 화면을 구성했다. 검색된 질병의 정보는 위에서 제안한 산출방법을 토대로 유사한 질병의 영상과 병명을 출력한다. 시스템의 환경은 PC 환경 기반의 웹 브라우저와 모바일 디바이스 환경 기반의 웹 브라우저를 통해 사용할 수 있도록 구현했다.

Many studies have been carried out to retrieve images using colors, shapes, and textures which are characteristic of images. In addition, there is also progress in research related to the disease images of the crop. In this paper, to be a help to identify the disease occurred in crops grown in the agricultural field, we propose a similarity-based crop disease search system using the diseases image of horticulture crops. The proposed system improves the similarity retrieval performance compared to existing ones through the combination descriptor without using a single descriptor and applied the weight based calculation method to provide users with highly readable similarity search results. In this paper, a total of 13 Descriptors were used in combination. We used to retrieval of disease of six crops using a combination Descriptor, and a combination Descriptor with the highest average accuracy for each crop was selected as a combination Descriptor for the crop. The retrieved result were expressed as a percentage using the calculation method based on the ratio of disease names, and calculation method based on the weight. The calculation method based on the ratio of disease name has a problem in that number of images used in the query image and similarity search was output in a first order. To solve this problem, we used a calculation method based on weight. We applied the test image of each disease name to each of the two calculation methods to measure the classification performance of the retrieval results. We compared averages of retrieval performance for two calculation method for each crop. In cases of red pepper and apple, the performance of the calculation method based on the ratio of disease names was about 11.89% on average higher than that of the calculation method based on weight, respectively. In cases of chrysanthemum, strawberry, pear, and grape, the performance of the calculation method based on the weight was about 20.34% on average higher than that of the calculation method based on the ratio of disease names, respectively. In addition, the system proposed in this paper, UI/UX was configured conveniently via the feedback of actual users. Each system screen has a title and a description of the screen at the top, and was configured to display a user to conveniently view the information on the disease. The information of the disease searched based on the calculation method proposed above displays images and disease names of similar diseases. The system’s environment is implemented for use with a web browser based on a pc environment and a web browser based on a mobile device environment.

전 세계적으로 국방력 향상을 위해 초정밀무기체계에 대한 연구가 활발히 진행되고 있다. 초정밀무기체계는 무기로 사용될 뿐만 아니라 사람이 접근하기 힘든 장소의 정찰 및 감시 역할도 수행하기 때문에 그 활용성이 점차 확장되고 있다. 이러한 무기체계가 공격의 대상이 될 경우, 국가 안보에 중요한 군사 데이터가 유출될 수 있고, 더 나아가 기 기가 탈취될 경우 오히려 자국을 위협하는 테러 도구로 사용될 수 있기 때문에 이와 같은 위협을 방지하기 위해서는 무기 체계에 대한 보안이 매우 중요하다. 이러한 무기체계의 보안을 유지하기 위해서는 전원이 인가된 시점부터 응 용프로그램이 실행되기까지 시스템 운용의 전반적인 모든 과정에 신뢰성을 부여하는 신뢰체인을 형성하는 것이 필 요하다. 따라서 본 논문에서는 신뢰성 부팅 기술 분석을 바탕으로 신뢰성 부팅 기술을 구성하는 요소 기술들을 도출 하고 하드웨어 종속/독립성을 기준으로 분류한다. 본 논문에서 분류한 하드웨어 종속/독립성에 따라 분류한 신뢰성 부팅 구성 요소를 바탕으로 신뢰성 부팅 기술을 적용하기 위해 필요한 최소한의 하드웨어 종속적인 구성 요소를 제 시하여 우리 군에서 국방력 향상을 위해 자체개발하는 초정밀무기체계 설계에 적용될 수 있을 것으로 기대된다.

Researches on military weapons are actively studied to improve national defense power of each country. The military weapon system is being used not only as a weapon but also as a reconnaissance and surveillance device for places where it is difficult for people to access. If such a weapon system becomes an object of attack, military data that is important to national security can be leaked. Furthermore, if a device is taken, it can be used as a terrorist tool to threaten its own country. So, security of military devices is necessarily required. In order to enhance the security of a weapon system such as drone, it is necessary to form a chain of trust(CoT) that gives trustworthiness to the overall process of the system from the power on until application is executed. In this paper, by analyzing the trusted computing-based boot technology, we derive trusted boot technology components and classify them based on hardware dependence/independence. We expect our classification of hardware dependence/independence to be applied to the trusted boot technology of our self-development ultraprecision weapon system to improve the defense capability in our military.

BLE 또는 Wi-Fi 기반 지문인식과 같은 기존의 RF 신호 기반 실내 위치인식 기술은 RF 신호의 불안정한 수신 신 호 세기로 인해 소규모 실내 환경에서도 작지 않은 오차를 발생시키며 공항, 백화점과 같은 대규모 실내 환경에 적 용하기가 어렵다. 이 논문에서는 RF 신호보다 안정적인 신호 강도를 갖는 자기장 신호를 이용한 실내측위 시스템을 제안한다. 유사한 자기장 값이 같은 실내 공간에 여럿 존재하지만, 사용자의 이동이 계속됨에 따라 자기장 신호는 고유 시퀀스를 가지게 된다. 본 논문에서는 시간에 따라 변화하는 센서 데이터 시퀀스를 인식하는 데 효과적인 순환 신경망 (Recurrent neural network, RNN)이라 불리는 심층 신경망 모델을 사용하여 사용자의 현재 위치와 이 동 경로를 추적한다. 제안된 신경망 기반의 지자기 실내측위시스템의 평가를 위해 약 94m x 26m 크기의 교내 테 스트베드에서 자기장 맵을 구축하고 자기장맵으로부터 추출한 다양한 이동 경로와 위치 정보를 이용하여 RNN을 학습한 결과, 테스트베드에서 제안된 시스템은 평균 1.20 미터의 테스트 측위 오차를 달성할 수 있었다.

Conventional RF signal-based indoor localization techniques such as BLE or Wi-Fi based fingerprinting method show considerable localization errors even in small-scale indoor environments due to unstable received signal strength(RSS) of RF signals. Therefore, it is difficult to apply the existing RF-based fingerprinting techniques to large-scale indoor environments such as airports and department stores. In this paper, instead of RF signal we use the geomagnetic sensor signal for indoor localization, whose signal strength is more stable than RF RSS. Although similar geomagnetic field values exist in indoor space, an object movement would experience a unique sequence of the geomagnetic field signals as the movement continues. We use a deep neural network model called the recurrent neural network (RNN), which is effective in recognizing time-varying sequences of sensor data, to track the user's location and movement path. To evaluate the performance of the proposed geomagnetic field based indoor positioning system (IPS), we constructed a magnetic field map for a campus testbed of about 94m x 26 m dimension and trained RNN using various potential movement paths and their location data extracted from the magnetic field map. By adjusting various hyperparameters, we could achieve an average localization error of 1.20 meters in the testbed.

최근 가상환경에서 몰입감을 늘리고 자유로운 상호작용을 제공하기 위한 손 제스처 인식에 대한 연구가 활발히 진행 되고 있다. 그러나 기존의 연구는 특화된 센서나 장비를 요구하거나, 낮은 인식률을 보이고 있다. 본 논문은 정적 손 제스처와 동적 손 제스처 인식을 위해 카메라 이외의 별도의 센서나 장비 없이 딥러닝 기술을 사용한 손 제스처 인식 방법을 제안한다. 일련의 손 제스처 영상을 고주파 영상으로 변환한 후 손 제스처 RGB 영상들과 이에 대한 고주파 영상들 각각에 대해 덴스넷 3차원 합성곱 신경망을 통해 학습한다. 6개의 정적 손 제스처와 9개의 동적 손 제스처 인터페이스에 대해 실험한 결과 기존 덴스넷에 비해 4.6%의 성능이 향상된 평균 92.6%의 인식률을 보였 다. 본 연구결과를 검증하기 위하여 3D 디펜스 게임을 구현한 결과 평균 34ms로 제스처 인식이 가능하여 가상현실 응용의 실시간 사용자 인터페이스로 사용가능함을 알 수 있었다.

Recently, there has been active studies on hand gesture recognition to increase immersion and provide user-friendly interaction in a virtual reality environment. However, most studies require specialized sensors or equipment, or show low recognition rates. This paper proposes a hand gesture recognition method using Deep Learning technology without separate sensors or equipment other than camera to recognize static and dynamic hand gestures. First, a series of hand gesture input images are converted into high-frequency images, then each of the hand gestures RGB images and their high-frequency images is learned through the DenseNet three-dimensional Convolutional Neural Network. Experimental results on 6 static hand gestures and 9 dynamic hand gestures showed an average of 92.6% recognition rate and increased 4.6% compared to previous DenseNet. The 3D defense game was implemented to verify the results of our study, and an average speed of 30 ms of gesture recognition was found to be available as a real-time user interface for virtual reality applications.

DDS(Data Distribution Service) 미들웨어는 DDS 네트워크 내에 있는 참여자와 종단점을 검색하기 위해 DDS 표준 검색 방식을 사용한다. DDS 표준 검색 방식은 멀티캐스트 통신 방식으로 모든 종단점을 검색하기 때문에, 네 트워크가 다를 경우 검색이 불가능할 수 있고 통신에 필요 없는 종단점들의 정보를 저장하는 자원 낭비가 발생한다. TNS(Topic Name Service)는 멀티캐스트를 이용하지 않고 전위 서버, 토픽 이름 서버, 종단 서버를 이용하여 통 신할 참여자에게만 필요한 종단점 정보를 전달해주기 때문에, 전술한 DDS 표준 검색 방식의 문제점을 해결할 수 있다. 그러나 TNS 구성 서버들을 경유하기 때문에 시간 지연이 발생한다. 본 논문에서는 TNS의 구성 서버들에서 의 처리 지연 시간을 측정하고, 종단점 정보를 수신하는데 소요되는 시간과 수신한 종단점 수를 측정함으로써 DDS 표준 검색 방식과 TNS 방식의 성능을 비교 및 분석하였다.

The DDS (Data Distribution Service) specification defines a discovery method for finding participants and endpoints in a DDS network. The standard discovery mechanism uses the multicast protocol and finds all the endpoints in the network. Because of using multicasting, discovery may fail in a network with different segments. Other problems include that memory space wastes due to storing information of all the endpoints. The Topic Name Service (TNS) solves these problems by unicasting only the endpoints, which are required for communication. However, an extra delay time is inevitable in components of TNS, i.e, a front-end server, topic name servers, and a terminal server. In this paper, we analyze the performance of TNS. Delay times in the servers of TNS and time required to receive endpoint information are measured. Time to finish discovery and number of receiving endpoints compare with the standard discovery method.

강우량은 매우 중요한 기상 정보이다. 일반적으로, 도로 수준과 같은 높은 공간 해상도의 강우량이 더 높은 가치를 가진다. 하지만, 도로 수준의 강우량을 측정하기 위해 충분한 수의 기상 관측 장비를 설치하는 것은 비용 관점에서 비효율적이다. 본 논문에서는 도로의 감시 카메라 영상으로부터 강우량을 인식하기 위해 심층 신경망을 활용하는 방 법에 대해 제시한다. 해당 목표를 달성하기 위해, 본 논문에서는 교내 두 지역의 감시 카메라 영상과 강우량 데이터 를 수집했으며, 새로운 심층 신경망 구조인 Temporal and Spatial Segment Networks(TSSN)를 제안한다. 본 논문에서 제시한 심층 신경망으로 강우량 인식을 수행한 결과, 프레임 RGB와 두 연속 프레임 RGB 차이를 입력으 로 사용했을 때, 높은 성능으로 강우량 인식을 수행할 수 있었다. 또한, 기존의 심층 신경망 모델과 비교했을 때, 본 논문에서 제안하는 TSSN이 가장 높은 성능을 기록함을 확인할 수 있었다.

Rainfall depth is an important meteorological information. Generally, high spatial resolution rainfall data such as road-level rainfall data are more beneficial. However, it is expensive to set up sufficient Automatic Weather Systems to get the road-level rainfall data. In this paper, we proposed to use deep learning to recognize rainfall depth from road surveillance videos. To achieve this goal, we collected two new video datasets, and proposed a new deep learning architecture named Temporal and Spatial Segment Networks (TSSN) for rainfall depth recognition. Under TSSN, the experimental results show that the combination of the video frame and the differential frame is a superior solution for the rainfall depth recognition. Also, the proposed TSSN architecture outperforms other architectures implemented in this paper.