Earticle

산업 현장에서 사용되는 기계 설비 고장의 상당 부분을 베어링의 고장이 차지하고 있는 상황에서, 베어링 고장으로 인해 발생하는 경제적/시간적 손실을 최소화하기 위해서는 빠르고 정확한 베어링 고장 진단 시스템 구축이 요구된 다. 본 논문에서는 베어링의 상태 정보를 담고 있는 음향 방출 신호를 시간-주파수 영역의 스펙트로그램 이미지로 변환한 후에, CNN 기반 딥러닝을 적용하여 베어링의 상태를 정확하게 판단할 수 있는 베어링 고장 진단 기법을 제 안한다. 제안된 고장 진단 기법을 다양한 CNN 모델을 활용하여 구현함으로써 CNN 모델에 따른 딥러닝 기반 베어 링 고장 진단의 정확성을 평가하고자 한다. 또한, 실제 산업 현장에서의 실시간 고장 진단 가능성을 판단하기 위해 CNN 모델에 따른 고장 진단 계산 복잡도를 분석한다. 이를 위해, 적용되는 CNN 모델에 따른 고장 진단 연산의 Multiply-Accumulate 복잡도를 구하고 실제 현장 적용에 적합할 것으로 판단되는 CNN 모델을 선택한 후, 해당 CNN 모델이 적용된 고장 진단을 라즈베리파이보드에서 동작시켜 봄으로써 산업 현장에 적용 가능한 임베디드시스 템에서의 실시간 진단 가능성을 확인하고자 한다. 실험 결과, 기존의 신호 처리를 기반으로 하는 베어링 고장 진단 기법들이 약 80%의 정확도를 보여주는 반면 제안하는 딥러닝을 적용한 베어링 고장 진단 기법은 100%에 가까운 높은 진단 정확도를 제공한다. 하지만, 가장 낮은 계산 복잡도를 요구하는 ShuffleNet을 적용하는 제안 기법의 경 우에도 라즈베리파이보드에서 진단을 수행하는데 24,270ms를 소요하여, 산업 현장에서 사용되기 위해서는 계산 복잡도를 더욱 낮출 수 있는 방안이 개발되어야 함을 알 수 있다.

Bearing faults account for a large portion of machine faults in real industrial sites. To minimize the damages caused by bearing faults, it is necessary to provide an accurate real-time bearing faults diagnosis system. In this work, we propose a new bearing fault diagnosis method using deep learning with various CNN models, where acoustic emission signals from working bearings are used to analyze the status of bearings. In the proposed method, the acoustic emission signals acquired from the bearings are converted into spectrogram images in the time-frequency domain, and then the status of bearings can be diagnosed through deep learning with various CNN models. Traditional signal processing based bearing fault diagnosis methods show the accuracy of about 80%, while our proposed deep learning based method provides very high fault diagnosis accuracy of about 100%. We also apply the proposed deep learning based fault diagnosis method to Raspberry Pi to test the availability for the working conditions in real industrial sites. We measured the multiply-accumulate complexity of the fault diagnosis process with various CNN models to find the CNN model suitable for real working conditions, and then the selected ShuffleNet CNN model was implanted and operated in Raspberry Pi to check the possibility of real-time bearing fault diagnosis.

인간 상호 작용 인식(HIR)은 이미 인간의 행동 및 활동 인식과 동일하게 급속도로 발전하고 있다. HIR에서 우리는 여러 인간 간의 장기적인 상호 관련된 동력을 탐구하여 비디오에서 인간과 인간의 상호 작용 인식 문제를 강조하고 자 한다. HIR 시스템은 인간과 인간의 상호 작용을 정확하게 이해하기 위해서는 동영상을 기반으로 한 강력한 특징 추출 및 선택 방법이 필요하다. 이 논문에서는 비디오에서 인간과 인간의 상호 작용을 현명하게 추적하기 위해 완전 히 연결된 블록에 이어 새로운 3D 컨볼루션 신경망(3D CNN)을 제안한다. 우리는 제안된 15개의 비디오 프레임 시퀀스를 새로운 3D CNN 아키텍처에 공급하여 모든 시퀀스에서 심층 특징을 추출한 다음 해당 시퀀스를 완전히 연결된 블록으로 전달하여 효율성을 높인다. 우리가 제안한 네트워크는 두 개의 벤치마크 데이터 셋인 UT-I와 TV Human Interaction 데이터 셋에서 전체적으로 84% 와 74%의 탁월한 인식 정확도를 달성하고 최신기술을 개선 함으로써 기존 최첨단 방식을 능가하였다. 우리가 제안한 네트워크는 비디오 기반 학습, 서비스 전투, 의료 미래학 자, 대화형 게임 및 감시 시스템과 같은 다양한멀티미디어 콘텐츠 및 보안 응용 프로그램에도 적용할 수 있다.

Human Interaction Recognition(HIR) has already been perceived rapid progress same as human action and activity recognition. In HIR, we intend to highlight the problem of human-to-human interaction recognition in videos by exploring the long term inter-related dynamics between multiple humans. In order to understand the human-to-human interaction precisely, HIR system requires a robust feature extraction and selection method based on videos. In this paper, we propose a novel 3D convolutional neural network(3D CNN) followed by a fully connected block, to wisely trace human to human interactions in videos. We feed our proposed model with 15 sequence of video frames to our novel 3D CNN architecture which extracts deep features from all the sequences and then pass those sequences to the fully connected block to boost our efficiency. Our proposed network outperformed the existing state-of-the-art methods by accomplishing extraordinary recognition accuracy on two benchmark datasets, UT-I and TV Human Interaction dataset i.e., 84% and 74% overall and improved from the state-of-the-art techniques. Our proposed network can also be applicable to other numerous multimedia contents and security applications such as video-based learning, service combats, medical futurists, interactive gaming, and surveillance systems.

드론을 활용한 분야는 점점 많아지고 있지만, 실제 드론의 임무 수행은 내장된 배터리를 통하여 활동하므로 드론의 내장된 배터리 용량에 따라 드론의 행동과 시간의 제약이 따른다. 이러한 드론의 자율 비행이나 임무 수행을 하는 드론의 운행 시간에 대한 단점을 보완하기 위해서 드론 배터리 용량을 늘리거나 배터리 충전을 위한 연구가 진행되 었다. 최근 드론 배터리 충전을 위한 방식으로 배터리 교환 방식과 무선 전력 충전방식에 관한 연구가 일부 진행이 되고 있다. 이중 무선 전력 충전방식은 하나의 드론을 충전하는 시스템은 개발이 되어 있지만, 다수의 드론을 충전 하는 방법에 대한 표준과 충전 방법에 관한 연구는 아직 활발하게 진행되고 있지는 않다. 무선 충전의 효율을 높이 기 위해서는 해당 무선 채널을 원하는 사용자에게 효율적으로 배분할 수 있는 최적화 문제를 해결하는 것이 우선이 다. 유선 충전 시 전력 할당 최적화 문제를 풀기 위해서 유전자 알고리즘을 이용하여 자동차 배터리 충전에 적용한 일부 연구는 있지만, 드론에 해당 연구를 적용하기에는 여러 차이점이 존재한다. 본 논문에서는 마이크로 유전 알고 리즘을 적용하여 무선 전력 충전의 전송 효율에 관여하는 무선 채널 설정 방법을 통해 다수의 드론을 충전할 방법을 제시한다. 시뮬레이션을 통해서 본 연구에서 제안하는 방법이 다수의 드론을 충전할 수 있는 무선 채널 배분의 효율 을 높일 수 있음을 보였다.

Although the increased use of drones or Unmanned Aerial Vehicles(UAVs) for the commercial and military field, the drone's built-in battery capacity will limit the drone's behavior and time. To achieve a fully autonomous flight or mission complete, recently, some researches have been conducted on increasing drone battery capacity or charging the battery method. Some of these studies have recently been conducted on battery switching and wireless charging methods to charge drone batteries. A system for charging a single drone is developed, but the standard for charging multiple drones and the method for charging them are not yet actively studied; however, research on the wireless charging method is not actively conducted. To improve the efficiency of wireless charging, it is first necessary to solve the optimization problem of efficiently allocating the corresponding wireless channel to the user who wants them. Although some studies have been applied to car battery charging using genetic algorithms to solve the problem of power allocation optimization in wired charging, there are many differences in applying the research to drones. In this study, applying the Micro Genetic Algorithm(μ-GA), we present a method for charging multiple drones through the wireless channel setup method involved in the transmission efficiency of wireless power charging. The feasibility of the proposed algorithm was checked using simulation. Numerical results are presented to demonstrate the performance of the proposed method.

감정인식은 인간과 컴퓨터 상호작용 분야에서 다양한 생체신호를 활용하여 지속적으로 연구되고 있다. 특히, 뇌파 (Electroencephalogram, EEG)는 음성과 표정보다 객관적이고, 접근이 용이하기 때문에, 감정연구에서 활발하게 활용되고 있다. 본 논문에서는 총 12명의 한국인을 대상으로 6개의 감정범주인 화남(Anger), 흥분(Excitement), 두려움(Fear), 행복(Happiness), 슬픔(Sadness), 그리고 중립(Neutral)로 구성된 4분간의 감정영상을 시청하 는 상황에서 뇌파 데이터를 수집하였다. 수집된 데이터는 전처리 과정을 거친 후, 파워스펙트럼(power spectrum) 값을 추출하였다. 이를 활용하여 Support Vector Machine(SVM)과 Long Short Term Memory(LSTM) 모델을 통하여 감정분류를 진행하였다. 실험방법은 개인의 차이를 고려하여 실험참가자 독립적(Subject-independent)방 식으로 진행되었다. 그 결과, LSTM이 SVM 보다 6개의 감정에 대하여 12.91% 향상된 80.46%의 분류정확도를 얻었다. 또한, LSTM의 레이어(Layer)수를 변경하여 분류를 진행한 결과로, 레이어(Layer)수가 2개일 때, 82.17%로 1.71% 향상되었다. 결론적으로, 본 논문에서는 6개의 감정범주에 대한 감정분류로 82.17%의 높은 정 확도를 얻었으며, LSTM은 뇌파와 같은 시간 의존형 데이터에 적합한 알고리즘임을 확인한 데에 의의가 있다.

EEG-based emotion recognition is a challenging task in human-computer interaction(HCI). Electroencephalogram(EEG) has significant advantages in emotion recognition since it directly reflects brain activity. This study recorded EEG signals from 12 participants watching Korean movie clips for 4 minutes, defined as six emotions: anger, excitement, fear, happiness, sadness, and neutral state. We also extract spectral power values as the feature using Fast Fourier Transform(FFT). Next, we have performed three classification models, Support Vector Machine(SVM), Long Short Term Memory(LSTM) with subject-dependent experiments. As a result, the best accuracy of 81.46% has been achieved in the LSTM model for classifying six emotional states, while SVM accuracy is 68.64%. In addition, promising results have been obtained for the LSTM model of 82.89% with two layers when applied for different layers. In conclusion, we present that the LSTM model specializes in the time-sequence data processing.

드론은 삶의 많은 측면에서 광범위하게 사용되고 있다. 엄청난 기술 발전에도 불구하고, 비, 아지랑이, 안개 와 같은 특정한 대기 탁도는 드론의 우수한 성능에 심각한 문제를 제기한다. 주어진 이미지에서 안개를 제거하는 아이디어에 초점을 맞춰, 우리는 주어진 안개 이미지에 대한 추가, 물리적 또는 사전 정보가 필요하지 않은 새로운 단일 이미지 기반 이미지 디포깅 네트워크를 제안한다. 본 연구에서는 GAN(Generative Adversarial Network)기반 기술을 사용하여 입력 안개 이미지에서 안개를 제거한다. 제안된 방법은 PSNR, SSIM, 대비 측정 및 평균 시각적 점수 (MVS)측면에서 최신 기술을 능가한다. 합성 및 실제 테스트 이미지 모두에 대해 수행된 광범위한 실험은 제안된 기술의 효과를 검증한다.

Drones are extensively being used in many facets of life. Despite tremendous technological advancements, certain atmospheric turbidities such as rain, haze, and fog pose serious challenges to good performance of drones. Focusing on the idea of removing fog from a given image, we proposed a novel single-image-based image defogging network, that do not require any additional, physical, or prior information regarding the given foggy image. In this study, we used Generative Adversarial Network(GAN)-based technique to remove fog from an input foggy image. The proposed method outperforms the state-of-the-art in terms of PSNR, SSIM, Contrast Measurement, and Mean Visual Score(MVS). The extensive experiments performed on both synthetic and real-world testing images validate the effectiveness of the proposed technique.

딥러닝의 연구가 활발해짐에 따라 안정성에 대한 중요성도 증대되고 있다. 특히 자율주행이나 의료 영상 판독과 같 은 분야에서는 안정성이 크게 요구된다. 그러나 사람 눈으로는 구별할 수 없지만, 딥러닝의 결과에 큰 영향을 끼치 는 적대적 사례(adversarial example)로 인한 취약성이 대두되고 있다. 따라서 최근 적대적 사례로 딥러닝 모델 을 공격하는 방법과 방어하는 방법은 활발히 연구가 되고 있다. 본 논문에서는 적대적 사례 영상을 푸리에 도메인 상으로 변환하여 분석하고, 푸리에 변환된 영상에서 얻은 노이즈 영상을 분류기의 입력으로 사용하여 적대적/비적 대적 사례로 이진 분류하는 방법을 제안한다. 흔히 사용되는 공격 방법 중 하나인 Projected Gradient Descent (PGD)와 Deepfool로 생성한 적대적 사례를 대상으로 판별 실험을 하였다. Cifar-10 데이터에 대해 실험한 결과, PGD의 경우 93% 분류 정확도를, Deepfool은 85%의 분류 정확도를 보여 향후 적대적 사례에 대한 방어 방법으 로 사용가능함을 확인하였다.

Recent advances in deep learning field have increased the importance of security and robustness. However, several works demonstrated that deep neural networks are vulnerable to adversarial examples which are indistinguishable to human eyes but lead to erroneous results. In this paper, we propose an classification method for the adversarial examples by using the extracted adversarial noises in the Fourier domain. We experimented our proposed method against the Projected Gradient Descent(PGD) and Deepfool adversarial attack method on Cifar-10. Our method achieves 93% accuracy against the PGD, and 85% accuracy against the Deepfool.

최근 여름 장마철을 맞이하여 국지성 호우로 인해 도심지에서 우수관의 배수 용량을 초과하는 경우가 빈발하여 극심 한 피해를 초래하고 있다. 이를 위해 본 논문에서는 연속적인 수위 계측을 통해 우수관 내 저수조의 수위를 자동으 로 조절하는 시스템을 제안하고 있다. 제안하는 시스템은 별도의 펌프가 설치되어 있지 않은 도심지 우수관 저수조 에 스마트 펌프 시스템을 설치하여 범람을 방지하도록 한다. 제안하는 시스템은 레이저 센서를 기반으로 수위를 계 측하는 모듈과 계측한 수위를 바탕으로 자동으로 펌프를 제어하여 수위를 조절하는 메인 시스템으로 구성된다. 먼저 수위 계측 모듈에서는 높이가 일정하지 않은 수면의 특성상 보다 정확한 수위 계측을 위해 여러 개의 레이저 센서를 사용한다. 수위 계측 결과는 와이파이 통신을 통해 메인 시스템으로 전달하고 실시간 데이터베이스에 저장 관리된 다. 또한, 메인 시스템에서는 실시간 수위 값을 바탕으로 기준 값과의 비교에 의해 배수펌프를 자동으로 제어하여 국지 호우에 따른 저수조 범람을 사전에 방지하도록 한다. 스마트 펌프 시스템의 각종 설정과 동작 상태는 스마트폰 어플리케이션과 웹사이트에서 확인 또는 제어할 수 있다. 또한, 위급 상황에서는 SMS를 통해 알려준다. 일반 펌프 와의 비교 실험 결과 제안 시스템은 일반 펌프 대비 약 14% 이하의 낮은 수위로 유지하도록 조절함으로써 저수조 범람 방지에 더욱 효과가 있음을 확인할 수 있다.

Recent local heavy rains in summer rainy season frequently cause severe damages within city area. Even though there are many storm drains in city area, the capacity of them is easily exceeded because of local heavy rain. This paper proposes a smart pump system which can adjust water level of a tank in storm drain through continuous water level measurements. The proposed system consists of two parts such as a laser sensor based water level measurement module and a main system which controls pump. The water level measurement module uses several laser sensors to measure the water level more accurately due to the non-constant nature of water level. The measured water level is transmitted to the main system through Wi-Fi communications, and stored in a real-time database. In addition, the main system controls the drain pump autonomously by comparing it with the reference value to prevent flooding in advance. Various settings and operation status of the proposed smart system can be checked or controlled from the smartphone application and web site. In case of emergency, SMS notification is provided as well. Experimental results show that the proposed smart pump system can control the water level of tank only 14% or less compared to the conventional pump system.

수어는 음성이 아닌 시각적 제스처(Gesture)를 매체로 의미를 전달한다. 시각적인 제스처를 이용하여 의미를 주고 받기 어려운 단어나 고유명사를 전달하기 위해서는 손과 손가락의 모양으로 한글의 자음과 모음을 표현한 지문자가 주로 사용된다. 본 연구에서는 MediaPipe Hands API를 이용하여 손 이미지로부터 Landmark를 추출하고 scikit-learn SVM(Support Vector Machine)을 이용하여 31개의 한글 지문자에 대한 학습 모델을 생성한다. ‘ㄲ’과 같은 지문자는 ‘ㄱ’에 대한 지문자가 오른쪽으로 이동하는 제스처로 표현되는데, 제안한 방법에서는 ‘ㄱ’ 무게 중심이 이동하는 것을 검출하여 ‘ㄲ’을 인식할 수 있다. 기존의 연구에서는 특정 수어 문장 또는 특정 지문자를 제한 적으로 인식하는 연구가 주를 이루고 있지만, 제안한 방법에서는 한글 지문자를 구성하는 36개의 지문자를 인식할 수 있기 때문에 청각장애인들의 지문자 학습, 수어 번역 등을 위해 유용하게 이용될 수 있을 것으로 기대된다.

Sign Language are languages that use a visual means of communicating using gestures and facial expression. Finger spelling uses hand movements and shapes to spell out the proper nouns or words, which are difficult to be represented. In this study, Korean finger spelling recognition system is proposed. Landmarks are extracted from hand images by utilizing MediaPipe Hands API. Also SVM(Support Vector Machine) of scikit-learn is used to train 31 Korean finger spellings. Finger spelling such as a double consonant ‘ㄲ’ is represented by moving ‘ㄱ’ in the right direction. The proposed method recognized ‘ㄲ’ by detecting the movement of the bounding box centroid for finger spelling. Most of the previous methods are not able to recognize all the finger spellings for Korean sign language, but the proposed technique can recognize all 36 Korean finger spellings. Also, it is expected that our methods are utilized in finger spelling learning or sign language translation for hearing-impaired persons.