Earticle

기존의 얕은 인공신경망은 과적합과 Gradient Vanishing 현상 등 내재적 문제점으로 인하여 산업시설 의 화재 위험성 평가에 한계가 있었다. 그러나 최근 들어 은닉층을 다층으로 구성하는 깊은 신경망 의 구축이 가능해지고 학습알고리즘이 고도화되면서 화재보험에서 화재위험성 평가도구로서 활용 성이 높아졌다. 본 논문에서는 구글사의 텐서플로우를 이용하여 다양한 학습조건에서 깊은 신경망 을 학습시켜 얕은 신경망의 예측성능과 비교하였다. 그 결과 깊은 신경망에서는 Drop-out 및 ReLU함 수의 활용을 통해 기존의 SNN의 문제점을 해소할 수 있었으며 TS값이 최대 0.76으로 얕은 신경망보 다 58% 높은 학습성능을 확인하였다. 그러나 화재보험에서 위험관리도구로서 활용성을 높이기 위해 서는 체계적이고 많은 데이터가 확보되어야 한다.

The shallow learning neural network (SNN) has some limitations in the assessment of fire risk of industrial facilities due to its inherent problems such as over-fitting and gradient vanishing. However, in recent years, it has become possible to build a deep learning neural network (DNN) consisting of multiple hidden layers and to make learning algorithms more sophisticated, which allows for the use of a fire risk assessment tool in the fire insurance. In this paper, prediction performances between SNN and DNN are compared under various conditions using Google's Tensorflow. As a result, most SNN problems are solved through the drop-out method and ReLU activation function in DNN, and the learning performance of DNN with a maximum TS value of 0.76 is confirmed to be 58% higher than that of SNN. Nevertheless, in order to improve the utilization of fire insurance as a risk management tool, a systematic and large amount of learning data should be secured.

기계 학습 및 인공지능은 제 4차 산업혁명의 핵심 기술이다. 하지만 프로그래밍 능력을 요구하는 기계 학습 플랫폼 의 특성 상 일반 사용자들의 접근이 힘들기 때문에 인공지능이나 기계학습의 대중화는 제한을 받고 있다. 본 연구에서는 그래픽 사용자 인터페이스(Graphic User Interface, GUI)를 도입하여 이러한 한계를 극복하고 인공지능 활용에 대한 일반인 의 접근성을 향상시키고자 하였다. 기본 기계 학습 플랫폼으로는 Tensorflow를 채택하였고 GUI는 마이크로 소프트 사의 .Net 환경을 활용하여 작성하였다. 새로운 사용자 인터페이스를 이용하면 일반 사용자도 파이썬 프로그래밍에 대한 부담 없이 직관적으로 데이터를 관리하고, 알고리즘을 적용하고, 기계 학습을 실행할 수 있다. 우리는 이 개발이 다양한 분야에서 의 인공지능 개발에 기초가 되는 자료로 활용되었으면 한다.

Machine learning and artificial intelligence are core technologies for the 4th industrial revolution. However, it is difficult for the general public to get familiar with those technologies because most people lack programming ability. Thus, we developed a Graphic User Interface(GUI) to overcome this obstacle. We adopted TensorFlow and used .Net of Microsoft for the develop. With this new GUI, users can manage data, apply algorithms, and run machine learning without coding ability. We hope that this development will be used as a basis for developing artificial intelligence in various fields.

본 연구에서는 무료 딥러닝 도구인 R과 텐서플로우에 대한 성능 비교를 수행하였다. 실험에서는 각 도구를 사 용하여 6종류의 심층 신경망을 구축하고 10년간의 한국 온도 데이터셋을 사용하여 신경망을 학습시켰다. 구축된 신경 망의 입력층 노드 갯수는 10개, 출력층은 5개로 설정 하였으며, 은닉층은 5, 10, 20개로 설정하여 실험을 진행 하였 다. 학습 데이터는 2013년 3월 1일부터 2023년 3월 29일까지 서울시 강남구에서 수집된 온도 데이터 3681건을 사용 하였다. 성능 비교를 위해, 학습된 신경망을 사용하여, 5일간의 온도를 예측하고 예측된 값과 실제값을 사용하여 평균 제곱근 오차(root mean square error, RMSE)값을 측정하였다. 실험결과, 은닉층이 1개인 경우, R의 학습 오차는 0.04731176이었으며, 텐서플로우는 0.06677193으로 측정되었으며, 은닉층이 2개인 경우에는 R이 0.04782134, 텐서플로 우는 0.05799060로 측정되었다. 전체적으로 R이 더 우수한 성능을 보였다. 우리는 기계학습을 처음 접하는 사용자들 에게 두 도구에 대한 정량적 성능 정보를 제공함으로써, 도구 선택에서 발생하는 어려움을 해소하고자 하였다.

In this study, performance comparison was performed on R and TensorFlow, which are free deep learning tools. In the experiment, six types of deep neural networks were built using each tool, and the neural networks were trained using the 10-year Korean temperature dataset. The number of nodes in the input layer of the constructed neural network was set to 10, the number of output layers was set to 5, and the hidden layer was set to 5, 10, and 20 to conduct experiments. The dataset includes 3600 temperature data collected from Gangnam-gu, Seoul from March 1, 2013 to March 29, 2023. For performance comparison, the future temperature was predicted for 5 days using the trained neural network, and the root mean square error (RMSE) value was measured using the predicted value and the actual value. Experiment results shows that when there was one hidden layer, the learning error of R was 0.04731176, and TensorFlow was measured at 0.06677193, and when there were two hidden layers, R was measured at 0.04782134 and TensorFlow was measured at 0.05799060. Overall, R was measured to have better performance. We tried to solve the difficulties in tool selection by providing quantitative performance information on the two tools to users who are new to machine learning.

본 연구에서는 텐서플로우를 이용한 관측자료 기반의 수위예측 연구를 수행하였다. 대상유역은 도림천 유역으로 선정하였으며 관측강우와 상류하천의 수위자료를 이용하여 하류인 도림교지점의 수위를 예측하였으며 다른 변수는 배제하였다. 사용된 모형은 시계열 데이터예측에 우수한 성능을 보이는 RNN(Recurrent Neural Network)과 LSTM(Long Short Term Memory networks)을 이용하였으며 수위자료는 2005년부터 2016년도 10분단위 관측강우와 수위 데이터를 학습하여 2017년도 수위데이터를 예측하도록 하였다. 본 연구를 통하여 홍수기 실시간 수위예측이 가능할것으로 판단되며 도시지역 골든타임 확보에 활용될 것으로 판단된다.

본 연구에서는 Terra MODIS 위성자료와 Tensorflow를 활용해 1 km 공간 해상도의 토양수분을 산정하는 알고리즘을 개발하고, 국내 관측 자료를 활용해 검증하고자 한다. 토양수분 모의를 위한 입력 자료는 Terra MODIS NDVI(Normalized Difference Vegetation Index)와 LST(Land Surface Temperature), GPM(Global Precipitation Measurement) 강우 자료를 구축하고, 농촌진흥청에서 제공하는 1:25,000 정밀토양도를 기반으로 모의하였다. 여기서, LST와 GPM의 자료는 기상청의 종관기상관측지점의 LST, 강우 자료와 조건부합성(Conditional Merging, CM) 기법을 적용해 결측치를 보간하였고, 모든 위성 자료의 공간해상도를 1 km로 resampling하여 활용하였다. 토양수분 산정 기술은 인공 신경망(Artificial Neural Network) 모형의 딥 러닝(Deep Learning)을 적용, 기계 학습기반의 패턴학습을 사용하였다. 패턴학습에는 Python 라이브러리인 TensorFlow를 사용하였고 학습 자료로는 농촌진흥청 농업기상정보서비스에서 101개 지점의 토양수분 자료(2014 ~ 2016년)를 활용하고, 모의 결과는 2017 ~ 2018년까지의 자료로 검증하고자 한다.

TensorFlow와 알파고의 등장으로 인공지능의 높은 성능과 다양한 활용 가능성을 보이면서, 폭 넓은 산업 분야에서 머신러닝 기술에 대한 수요가 증가하고 있다. 반면, 머신러닝 기술은 GPU 기반 고속 병렬처리 기술과 인프라 기술을 기반으로 하고 있기 때문에, 머신러닝 기반 서비스 개발 및 제공에 어려움을 겪고 있다. 본 논문에서는 이와 같은 문제를 개선하기 위해서 개발한 고성능 GPU 기반 컨테이너 클라우드 시스템을 소개한다. 해당 시스템은 GPU 기반 고속 병렬처리를 지원하고, Kubernetes 클러스터에서 컨테이너를 기반으로 TensorFlow Serving을 손쉽게 배포할 수 있는 기능을 제공한다.

TensorFlow와 알파고의 등장으로 인공지능의 높은 성능과 다양한 활용 가능성을 보이면서, 폭 넓은 산업 분야에서 머신러닝 기술에 대한 수요가 증가하고 있다. 반면, 머신러닝 기술은 GPU 기반 고속 병렬처리 기술과 인프라 기술을 기반으로 하고 있기 때문에, 머신러닝 기반 서비스 개발 및 제공에 어려움을 겪고 있다. 본 논문에서는 이와 같은 문제를 개선하기 위해서 개발한 고성능 GPU 기반 컨테이너 클라우드 시스템을 소개한다. 해당 시스템은 GPU 기반 고속 병렬처리를 지원하고, Kubernetes 클러스터에서 컨테이너를 기반으로 TensorFlow Serving을 손쉽게 배포할 수 있는 기능을 제공한다.

ARM 아키텍처를 사용하는 임베디드 시스템에서 int8, fp16, fp32 데이터를 조합하여 c/c++로 작성된 mixed precision CNN 을 실행시키기 위한 프레임워크 구성으로, 네트워크의 레이어마다 다른 정밀도를 사용하여 네트워크 경량화 및 추론 정확도 향상을 위한 최적의 설정을 탐색하는 실험 및 분석이 가능토록 하는 것을 목적으로 한다. 주요 구성은 network forwarding 중 레이어의 입력이 레이어에 설정된 정밀도와 다를 경우 실행되는 양자화/반양자화를 c/c++로 바인딩된 tensorflow 의 quantization 모듈을 사용하여 진행하고 ARM 시스템에서 c/c++의 fp16 을 사용하기 위해 fp16 를 컴파일이 가능한 ARM compiler 를 사용하는 프레임워크를 제안한다.

본 연구는 한국 프로 야구 선수 개인의 수치화된 데이터를 바탕으로 타석의 결과를 예측하고자 하는데 목적을 두고 있다. 연구의 방법은 2015시즌부터 2018시즌에 활약한 한국 프로 야구 소속의 투수와 타자의 유형을 군집화 하여 지도학습 모델을 만든다. 지도학습 모델과 현재까지 진행된 2019시즌의 결과를 비교·대조한다. 본 연구결과는 한국 프로 야구 10개 구단의 감독의 선수 선발 결정에 기여할 것으로 판단된다.

Through this research, the rating data of shops were analyzed. The model was designed for discrete multiple classification as to the corresponding data, and the following experiments were initiated to observe the learned machine. By comparing each benchmarks in the experiments, which contains different setting variables for the machine model, the hit ratio was measured which indicates how much it is matched with the expected label. By analyzing those results from each benchmarks, the model was redesigned one time during the research and the effects of each setting variables on this machine were clarified. Furthermore, the research result left the future works, which are related with how the learning could be improved and what should be designed in the further research.

This paper describes a time-series data prediction based on artificial neural networks (ANN). In this study, a batch based ANN model and a stochastic ANN model have been implemented using TensorFlow libraries. Each model are evaluated by comparing training and testing errors that are measured through experiment. To train and test each model, tax dataset was used that are collected from the government website of indiana state budget agency in USA from 2001 to 2018. The dataset includes tax incomes of individual, product sales, company, and total tax incomes. The experimental results show that batch model reveals better performance than stochastic model. Using the batch scheme, we have conducted a prediction experiment. In the experiment, total taxes are predicted during next seven months, and compared with actual collected total taxes. The results shows that predicted data are almost same with the actual data.

The selection of an appropriate neural network algorithm is an important step for accurate data prediction in machine learning. Manyalgorithms based on basic artificial neural networks have been devised to efficiently predict future data. These networks include deepneural networks (DNNs), recurrent neural networks (RNNs), long short-term memory (LSTM) networks, and gated recurrent unit (GRU) neuralnetworks. Developers face difficulties when choosing among these networks because sufficient information on their performance isunavailable. To alleviate this difficulty, we evaluated the performance of each algorithm by comparing their errors and processing times. Each neural network model was trained using a tax dataset, and the trained model was used for data prediction to compare accuraciesamong the various algorithms. Furthermore, the effects of activation functions and various optimizers on the performance of the modelswere analyzed The experimental results show that the GRU and LSTM algorithms yields the lowest prediction error with an average RMSEof 0.12 and an average R2 score of 0.78 and 0.75 respectively, and the basic DNN model achieves the lowest processing time but highestaverage RMSE of 0.163. Furthermore, the Adam optimizer yields the best performance (with DNN, GRU, and LSTM) in terms of error andthe worst performance in terms of processing time. The findings of this study are thus expected to be useful for scientists and developers.

In this paper, we present a solution to the problems caused by using only text - based information as an index element when a commercialized missing person indexing system indexes missing persons registered in the database. The existing system could not be used for the missing persons inquiry because it could not formalize the image of the missing person registered together when registering the missing person. To solve these problems, we propose a method to extract the similarity of images by using OpenCV image processing and TensorFlow deep - running image processing, and to process images of missing persons to process them into meaningful information. In order to verify the indexing method used in this paper, we constructed a Web server that operates to provide the information that is most likely to be needed to users first, using the image provided in the non - regular environment of the same subject as the search element.

The purpose of this study is to develop a model that can systematically study the whole learning process of machine learning. Since the existing model describes the learning process with minimum coding, it can learn the progress of machine learning sequentially through the new model, and can visualize each process using the tensor flow. The new model used all of the existing model algorithms and confirmed the importance of the variables that affect the target variable, survival. The used to classification training data into training and verification, and to evaluate the performance of the model with test data. As a result of the final analysis, the ensemble techniques is the all tutorial model showed high performance, and the maximum performance of the model was improved by maximum 5.2% when compared with the existing model using. In future research, it is necessary to construct an environment in which machine learning can be learned regardless of the data preprocessing method and OS that can learn a model that is better than the existing performance.

최근 전 세계적 환경오염 심각해지고 있다. 대기오염으로 인한 경제적 손실과 초 미세먼지로 인한 위협은 사회적 문제가 되고 있다. 현재 목측과 광학적 측정 장비를 통해서 측정하고 있으나, 측정값과 인간의 시정감각이 일치하지 않는 문제점이 있다. 본 논문은 측정값과 인간의 시정감각을 일치시키기 위한 판단 알고리즘을 구현하는 것을 목표로 하였다. 건물의 IoT기반 카메라에서 측정된 사진 정보를 서버에 전송받아 시정거리 측정을 하고 텐서플로우를 통해 고속 연산 처리하여 신뢰도가 높은 시정 거리 분석이 필요하였다. 기존 시정거리 판단 알고리즘에 SVM 비선형 회귀모델 알고리즘로 보완함으로 사람이 직접 판단하는 것과 유사한 알고리즘으로 자동화 처리하는 알고리즘을 구현하였다. 본 연구에서는 SVM(Support Vector Machine) 비선형 회귀모델 알고리즘으로 텐서플로우를 이용하여 고속 연산처리를 하였고, 시정 판단 알고리즘 모델의 신뢰도를 향상시킬 수 있도록 시스템 구현 모델을 제안하였다.

Environmental pollution is getting serious around the world recently. Economic losses from air pollution and threats from ultra fine dust are becoming social problems. Currently, measurements are made through wood and optical measuring equipment, but there is a problem where measurements and human sense of corrective action do not match. This paper aimed to implement an algorithm of judgment to match the measured value with the human sense of visibility. Using IoT-based cameras in buildings, measured photo information is sent to the server to make corrective distance measurements, and real-time transmitted photos and existing measured photo information are processed in high-speed operation through Tensorflow, requiring high-reliability corrective distance. An algorithm that is supplemented with a SVM nonlinear regression model algorithm for existing corrective distance determination algorithms has been implemented to automate with algorithms similar to those that are directly judged by humans. In this study, a support vector machine (SVM) nonlinear regression model algorithm is used to perform high-speed computation using Tensorflow, and a system implementation model is proposed to improve reliability of the corrective judgment algorithm model.

딥러닝 프레임워크의 대표적인 기능으로는 '자동미분'과 'GPU의 활용' 등을 들 수 있다. 본 논문은 파이썬의 라이브러리 형태로 사용 가능한 프레임워크 중에서 구글의 텐서플로와 마이크로소프트의 CNTK, 그리고 텐서플로의 원조라고 할 수 있는 티아노를 비교하였다. 본문에서는 자동미분의 개념과 GPU의 활용형태를 간단히 설명하고, 그 다음에 logistic regression을 실행하는 예를 통하여 각 프레임워크의 문법을 알아본 뒤에, 마지막으로 대표적인 딥러닝 응용인 CNN의 예제를 실행시켜보고 코딩의 편의성과 실행속도 등을 확인해 보았다. 그 결과, 편의성의 관점에서 보면 티아노가 가장 코딩 하기가 어렵고, CNTK와 텐서플로는 많은 부분이 비슷하게 추상화 되어 있어서 코딩이 비슷하지만 가중치와 편향을 직접 정의하느냐의 여부에서 차이를 보였다. 그리고 각 프레임워크의 실행속도에 대한 평가는 '큰 차이는 없다'는 것이다. 텐서플로는 티아노에 비하여 속도가 느리다는 평가가 있어왔는데, 본 연구의 실험에 의하면, 비록 CNN 모형에 국한되었지만, 텐서플로가 아주 조금이지만 빠른 것으로 나타났다. CNTK의 경우에도, 비록 실험환경이 달랐지만, 실험환경의 차이에 의한 속도의 차이의 편차범위 이내에 있는 것으로 판단이 되었다. 본 연구에서는 세 종류의 딥러닝 프레임워크만을 살펴보았는데, 위키피디아에 따르면 딥러닝 프레임워크의 종류는 12가지가 있으며, 각 프레임워크의 특징을 15가지 속성으로 구분하여 차이를 특정하고 있다. 그 많은 속성 중에서 사용자의 입장에서 볼 때 중요한 속성은 어떤 언어(파이썬, C++, Java, 등)로 사용가능한지, 어떤 딥러닝 모형에 대한 라이브러리가 잘 구현되어 있는지 등일 것이다. 그리고 사용자가 대규모의 딥러닝 모형을 구축한다면, 다중 GPU 혹은 다중 서버를 지원하는지의 여부도 중요할 것이다. 또한 딥러닝 모형을 처음 학습하는 경우에는 사용설명서가 많은지 예제 프로그램이 많은지 여부도 중요한 기준이 될 것이다.

The deep learning framework is software designed to help develop deep learning models. Some of its important functions include "automatic differentiation" and "utilization of GPU". The list of popular deep learning framework includes Caffe (BVLC) and Theano (University of Montreal). And recently, Microsoft's deep learning framework, Microsoft Cognitive Toolkit, was released as open-source license, following Google's Tensorflow a year earlier. The early deep learning frameworks have been developed mainly for research at universities. Beginning with the inception of Tensorflow, however, it seems that companies such as Microsoft and Facebook have started to join the competition of framework development. Given the trend, Google and other companies are expected to continue investing in the deep learning framework to bring forward the initiative in the artificial intelligence business. From this point of view, we think it is a good time to compare some of deep learning frameworks. So we compare three deep learning frameworks which can be used as a Python library. Those are Google's Tensorflow, Microsoft's CNTK, and Theano which is sort of a predecessor of the preceding two. The most common and important function of deep learning frameworks is the ability to perform automatic differentiation. Basically all the mathematical expressions of deep learning models can be represented as computational graphs, which consist of nodes and edges. Partial derivatives on each edge of a computational graph can then be obtained. With the partial derivatives, we can let software compute differentiation of any node with respect to any variable by utilizing chain rule of Calculus. First of all, the convenience of coding is in the order of CNTK, Tensorflow, and Theano. The criterion is simply based on the lengths of the codes and the learning curve and the ease of coding are not the main concern. According to the criteria, Theano was the most difficult to implement with, and CNTK and Tensorflow were somewhat easier. With Tensorflow, we need to define weight variables and biases explicitly. The reason that CNTK and Tensorflow are easier to implement with is that those frameworks provide us with more abstraction than Theano. We, however, need to mention that low-level coding is not always bad. It gives us flexibility of coding. With the low-level coding such as in Theano, we can implement and test any new deep learning models or any new search methods that we can think of. The assessment of the execution speed of each framework is that there is not meaningful difference. According to the experiment, execution speeds of Theano and Tensorflow are very similar, although the experiment was limited to a CNN model. In the case of CNTK, the experimental environment was not maintained as the same. The code written in CNTK has to be run in PC environment without GPU where codes execute as much as 50 times slower than with GPU. But we concluded that the difference of execution speed was within the range of variation caused by the different hardware setup. In this study, we compared three types of deep learning framework: Theano, Tensorflow, and CNTK. According to Wikipedia, there are 12 available deep learning frameworks. And 15 different attributes differentiate each framework. Some of the important attributes would include interface language (Python, C ++, Java, etc.) and the availability of libraries on various deep learning models such as CNN, RNN, DBN, and etc. And if a user implements a large scale deep learning model, it will also be important to support multiple GPU or multiple servers. Also, if you are learning the deep learning model, it would also be important if there are enough examples and references.

최근 북한은 핵실험, 미사일 발사 등 물리적 도발은 물론 고위 공직자에 대한 스마트폰 해킹, 금융권에 대한 디도스(DDoS) 공격 등 사이버 테러를 감행하며 한반도 내 위협의 수위를 높이고 있다. 취약점에 대한 해킹, 악성코드 배포 등을 통해 이루어지는 사이버 공격은 일반적으로 최초의 침입과 공격 징후가 감지된 후 데이터 분석을 통해 백신의 라이브러리 추가 및 업데이트, 보안 취약성을 보완하는 등 소극적인 대응 방법을 취하고 있다. 본 논문에서는 프로그램 스스로 취약점을 분석하고 자가 라이브러리 추가, 보안 취약점 해결 등을 수행하는 구글 텐서플로우(TensorFlow) 기반의 기계학습 능력을 갖춘 보안 프로그램에 관한 개념을 연구하고 제안하였다.

Peace on the Korean Peninsula is threatened by physical aggressions and cyber terrors such as nuclear tests, missile launchings, senior government officials' smart phone hackings and DDos attacks to banking systems. Cyber attacks such as vulnerability for the hackings, malware distributions are generally defended by passive defense through the detecting signs of first invasion and attack, data analysis, adding library and updating vaccine programs. In this paper the concept of security program based on Google TensorFlow machine learning ability to perform adding libraries and solving security vulnerabilities by itself is researched and proposed.

최근, 개인용 PC 및 다양한 모바일 디바이스에 보안 패치의 취약점을 통해 신종 및 변종 악성코드의 감염이 빠르게 확산되어 개인 정보 유출, 공인 인증서 탈취, 암호화폐 채굴 등의 다양한 피해가 급증되고 있다. 이를 위해 악성코드 시그니처 기반 악성코드 탐지 기법을 이용하고 있지만, 빠르게 생성되는 신·변종 악성코드를 탐지의 정확도가 현저히 낮다. 본 연구에서는 LSTM를 이용하여 알려진 악성코드뿐만 아니라 신·변종 악성코드들을 탐지하는 스킴을 제안한다.

Recently, the infection of new and modified malicious codes is rapidly spreading through the vulnerability of security patches on personal PCs and various mobile devices, and various damages such as personal information leakage, certificate stealing, and cryptocurrency mining are rapidly increasing. For this reason, the malware signature-based malware detection technique is used, but the accuracy of detection of newly generated malicious code is remarkably low. In this paper, we propose a scheme for detecting new and modified malicious codes as well as known malicious codes using LSTM.