Earticle

현실 세계에서는 기존에 알려지지 않은 새로운 유형의 변종 공격이 끊임없이 등장하고 있지만, 인공신경망과 지도학 습을 통해 개발된 공격 트래픽 분류모델은 학습을 실시하지 않은 새로운 유형의 공격을 제대로 탐지하지 못한다. 기존 연구들 대부분은 이러한 문제점을 간과하고 인공신경망의 구조 개선에만 집중한 결과, 다수의 새로운 공격을 정상 트래 픽으로 분류하는 현상이 빈번하게 발생하여 공격 트래픽 분류성능이 심각하게 저하되었다. 한편, 다중분류 문제에서 각 클래스에 대한 분류가 정답일 확률을 결과값으로 출력하는 소프트맥스(softmax) 함수도 학습하지 않은 새로운 유형의 공격 트래픽에 대해서는 소프트맥스 점수를 제대로 산출하지 못하여 분류성능의 신뢰도 또는 정확도를 제고하는데 한계 를 노출하고 있다 . 이에 본 논문에서는 소프트맥스 함수의 이러한 특성을 활용하여 모델이 일정 수준 이하의 확률로 판단한 트래픽을 공격으로 분류함으로써 새로운 유형의 공격에 대한 탐지성능을 향상시키는 방안을 제안하고, 실험을 통해 효율성을 입증한다.

In the real world, new types of attacks or variants are constantly emerging, but attack traffic classification models developed through artificial neural networks and supervised learning do not properly detect new types of attacks that have not been trained. Most of the previous studies overlooked this problem and focused only on improving the structure of their artificial neural networks. As a result, a number of new attacks were frequently classified as normal traffic, and attack traffic classification performance was severly degraded. On the other hand, the softmax function, which outputs the probability that each class is correctly classified in the multi-class classification as a result, also has a significant impact on the classification performance because it fails to calculate the softmax score properly for a new type of attack traffic that has not been trained. In this paper, based on this characteristic of softmax function, we propose an efficient method to improve the classification performance against new types of attacks by classifying traffic with a probability below a certain level as attacks, and demonstrate the efficiency of our approach through experiments.

본 연구는 고교야구 투수의 경기 기록 데이터를 활용하여 프로야구 지명 여부를 예측하는 머신러닝 기반 분류 모델 을 개발하는 것을 목표로 한다. 이를 위하여 최근 생성 모델링 분야에서 주목받는 Diffusion 모델의 원리를 도입하 고, 학습 데이터에 점진적으로 노이즈를 주입한 후 다층 퍼셉트론(MLP) 기반 네트워크를 통해 이를 제거하는 과정 을 학습하는 조건부 노이즈 예측 모델을 설계하였다. 본 모델은 소프트맥스(Softmax) 함수를 출력층에 적용한 다 중 클래스 분류 구조로, 고교 투수의 프로 지명 가능성을 '유력', '가능', '어려움'의 세 가지 범주로 예측한다. 모델 입력에는 평균자책점(ERA), 피안타율(BAA), 9이닝당 탈삼진 수(K/9)를 포함한 주요 투수 지표뿐만 아니라, 구 속, 이닝 소화율, 경기 출장 수 등 다양한 정량적 통계 지표가 활용된다. 나아가, Diffusion 모델의 구조적 특성을 통해 예측 과정에서의 불확실성을 정량화하고, 이를 기반으로 보다 신뢰성 있는 예측 결과를 도출할 수 있는 가능성 을 탐색하였다. 제안된 모델은 향후 프로야구 스카우팅 및 선수 평가 과정에서 객관적인 의사결정을 지원하는 도구로 활용될 수 있다.

This study aims to develop a predictive model to determine the likelihood of high school baseball pitchers being drafted into professional leagues based on their performance records. To achieve this, we propose a multi-class classification model that leverages the principle of diffusion modeling, wherein noise is gradually added to the training data during training, and a multi-layer perceptron (MLP) network is trained to denoise the input. The model incorporates a Softmax activation function at the output layer to classify pitchers into one of three categories: highly likely, possible, or unlikely to be drafted. The input features used in the model include core pitching statistics such as Earned Run Average (ERA), Batting Average Against (BAA), and Strikeouts per Nine Innings (K/9), as well as other quantitative indicators like pitching velocity, number of appearances, and innings pitched ratio. Furthermore, the model explores the potential of diffusion-based approaches to quantify and calibrate prediction uncertainty, offering a new perspective on how generative modeling techniques can enhance the reliability of classification outcomes. The proposed model can be utilized as a tool to support objective decision-making in future professional baseball scouting and player evaluation processes.

본 논문에서는 엔터프라이즈 환경에서의 딥 러닝에 대한 이미지 예측 시스템 아키텍처를 제안한다. 엔터프라이 즈 환경에 대해 인공지능 플랫폼으로 변환을 쉽게 하고, 인공지능 플랫폼이 파이선에 집중되어서 자바 중심의 엔터프라 이즈 개발이 어려운 단점을 개선하기 위해 자바 중심의 아키텍처에서도 충분한 딥 러닝 서비스의 개발과 수정이 가능하 도록 한다. 또한, 제안된 환경을 토대로 이미지 예측 실험을 통해 기존에 학습된 딥 러닝 아키텍처 환경에서의 정확도가 높은 예측 시스템을 제안한다. 실험을 통해 딥 러닝이 수행되기 위해 제공된 이미지 예에서 95.23%의 정확도를 보이며, 제안된 모델은 유사한 다른 모델에 비교해 96.54%의 정확도를 보인다. 제시된 아키텍처를 활용하여 활발한 엔터프라이 즈급 환경의 딥 러닝 서비스가 개발 및 제공될 것으로 보이며, 기존 엔터프라이즈 환경이 딥 러닝 아키텍처가 탑재된 환경으로 전환이 활발히 이루어질 것이다.

This paper proposes an image prediction system architecture for deep running in enterprise environment. Easily transform into an artificial intelligence platform for an enterprise environment, and allow sufficient deep-running services to be developed and modified even in Java-centric architectures to improve the shortcomings of Java-centric enterprise development because artificial intelligence platforms are concentrated in the pipeline. In addition, based on the proposed environment, we propose a more accurate prediction system in the deep running architecture environment that has been previously learned through image forecasting experiments. Experiments show 95.23% accuracy in the image example provided for deep running to be performed, and the proposed model shows 96.54% accuracy compared to other similar models.

알츠하이머 병 (Alzheimer's disease, AD) 에서 해마는 신경 세포 및 신경 섬유 얽힘 스레드 침착으로 인해 영향 을 받는 첫 번째 구조물 중 하나이며 결국 신경 세포의 손실을 초래합니다. 또한 최근에 많은 자기 공명 영상 연구에 서 AD 환자는 건강한 피검자에 비해 해마의 체적이 작다는 의견을 제시했다. 해마 자기 공명 영상 체적은 AD를 위한 잠재적인 바이오 마커이지만 작은 구조로 인해 수동 분할 및 낮은 시각화의 한계가 에 의해 어려움이 있다. 이 러한 문제를 해결하기 위해 대부분의 이미지 분석가는 뇌 구조의 자동 세분화를 위해 Freesurfer와 FSL에 익숙했 습니다. 본 연구에서는 다른 그룹의 AD 환자의 조기 진단을 위해 Freesurfer (v.6.0) 자동화 도구 상자를 사용하여 해마 영역을 추출하는 방법을 이용한다. 38 명의 환자가 AD에 속하며, 46 명의 환자가 MCI에 속한다 (안정-MCI, 18 개월 후에 AD로 전환되지 않음) 및 36 명의 환자가 MCIc에 속한다 (전환-MCI, 18 개월 이내에 AD로 전환), 나머지 38 명의 노인은 정상 대상 (NC)에 속하며 이러한 모든 환자들의 정보는 알츠하이머병 Neuroimaging Initiative database (ADNI)에서 다운로드 되었습니다. AD, MCIs, MCIc 및 노인 대조군 (NC) 환자를 구별하 기 위해 우리는 구입한 해마 체적을 사용했습니다. 여기서 차원적 감소를 위해 우리는 다양한 학습 기반의 ISOMAP 기법을 사용했다. 이 기법은 많은 기능들 중 중요한 특징만을 선택하고 나중에 랜덤 포레스트와 softmax 분류기를 사용하여 이진 분류 문제들을 분류했다.

In Alzheimer’s disease (AD), the hippocampus is among the first structures, which is affected, due to the neuropil and neurofibrillary tangle thread deposition, which eventually results in a neuronal loss. Moreover, recently a large number of magnetic resonance imagining studies have stated that AD patients has get smaller hippocampus volume as compared to healthy subjects. Hippocampal magnetic resonance imaging volumetric is a potential biomarker for an AD but is hindered by the limitation of manual segmentation and low visualization because of its small structure. To solve that problems, most image analyst used to Freesurfer and FSL for automatic segmentation of brain structures. In this paper, we apply to extract hippocampus region using Freesurfer (v.6.0) automated toolbox for early diagnosis of AD subjects with different groups. a total 158 baseline subjects were used for the experiment, from which 38 patients belong to AD, 46 patients belong to MCIs (stable-MCI, not converted to AD after 18th month of periods) and 36 patients belong to MCIc (converted-MCI, converted to AD within 18th month of periods), and remaining 38 patients belong to elderly normal subjects (NC), and all these subjects were downloaded from Alzheimer’s disease Neuroimaging Initiative database (ADNI). We used the gained hippocampal volumes to discriminate between AD, MCIs, MCIc, and elderly controls (NC) patients. Here, for dimensionality reduction purpose we have used manifold learning based ‘isometric feature mapping’ ISOMAP technique, which only selects the important feature from a bunch of features and later random forest and softmax classifier were used to classify the binary classification problems.

When training neural networks with softmax outputs, one-hot target encoding is commonly used due to its simplicity. This strategy does not incorporate the probability that an input sample belongs to a certain class but adopts "one" or "zero" as the desired output values of neural networks. Instead of the most prevalent one-hot encoding, this paper proposes a probabilistic target encoding to prevent the overfitting of neural networks to training samples. This effect brings about the accuracy improvement of test samples. We demonstrated the effectiveness of the proposed target encoding through simulations of multi-layer perceptrons and convolutional neural networks for various classification problems such as handwritten-digit recognition, isolated-word recognition, image classification, and object recognition tasks. The simulation results show that the proposed probabilistic target encoding is superior to one-hot encoding as it prevents the overfitting of neural networks to training samples.

최근 DNN(Deep Neural Network)이 다양한 분야에서 활용되는 요즘, DNN의 보안 요소를 위협하는 공격 방식들도 늘어나고 있다. 특히, DNN의 핵심 요소 중 하나인 활성화 함수는 입력 신호를 처리하고 출력을 생 성하는 중요한 부분이다. 이 함수에 대한 공격은 모델의 학습 및 예측에 큰 영향을 미칠 수 있으며, 오분류 또는 오작동을 유발함으로써 모델의 성능을 저하시킬 수도 있다. 본 논문에서는 이런 보안 위협에서 DNN의 활성화 함 수 중 출력단에서 사용되는 Softmax에 대한 오류 주입 공격이 가능함을 실험을 통해 확인하였다. 그리고 공격에 대응할 수 있는 대응책을 제안하여 실제 대응이 가능한지 MNIST 데이터셋을 이용하여 평가한다. 결과적으로 오 류 주입 공격에 의해 데이터의 약 90%는 정상 동작을 하지 못함을 확인하였다. 이 결과를 바탕으로 제안한 오류 주입 공격 대응책을 적용하여 실험한 결과, 모든 데이터에 대한 오분류되는 것을 방어할 수 있었다.

Nowadays, as Deep Neural Networks (DNNs) are used in various fields, the number of attack methods that threaten the security elements of DNNs is increasing. In particular, the activation function, one of the key elements of DNN, is an important part of processing input signals and generating output. Some attacks on this function can have a significant impact on the model learning and prediction, and can also degrade the model performance by causing misclassification or malfunction. In this paper, we confirmed through experiments that a fault injection attack on Softmax, one of the activation functions of DNN, is possible. Then, we propose countermeasures to deal with the attack and evaluate whether an actual counteraction is possible using the MNIST dataset. As a result, it was confirmed that approximately 90% of the data did not operate normally due to the fault injection attack. Based on these results, we experimented that the proposed countermeasure was able to prevent misclassification of all data.

A convolutional neural network(CNN) is widely used in the computer vision tasks, but its computing power requirement needs a design of a special circuit. Most of the computations in a CNN can be implemented efficiently in a digital circuit, but the SoftMax layer has operations unsuitable for circuit implementation, which are exponential and logarithmic functions. This paper proposes a new method to integrate the exponential and logarithmic tables of the conventional circuits into a single table. The proposed structure accesses a look-up table (LUT) only with a few maximum values, and the LUT has the result value directly. Our proposed method significantly reduces the space complexity of the SoftMax layer circuit implementation. But our resulting circuit is comparable to the original baseline with small degradation in precision.

일반적으로 얼굴인식 시스템은 영상에서 추출한 Feature와 DB 상의 Feature를 비교하는 구조를 가지고 있다. 하지만 원하는 Class의 Feature만 보고 DB 상에서 일치하는 Class의 위치를 특정하는 것은 불가능하기에 DB 상의 모든 Feature와 비교하는 절차가 필요하다. DB 크기가 커짐에 따라 처리시간과 메모리상의 문제가 발생하는데, 이 논문에서는 이를 해결하기 위한 Deep Hashing 모델을 제안한다. Softmax 기반의 Loss를 이용하여 학습하였고, 8-bits의 해시를 추출하였을 때 53%의 Feature 일치율을 보였으며, 이를 사용할 경우 DB 평균 대조군을 23% 이하로 줄이는 효과를 볼 수 있을 것으로 추정한다.

본 논문에서는 자원제한적인 IoT 환경에서 스케줄링 정확도 향상을 위해 Softmax를 이용한 Q-learning 기반의 패킷 스케줄링 기법을 제안한다. 기존 Q-learning의 Exploitation과 Exploration의 균형을 유지하기 위해 e-greedy 기법이 자주 사용되지만, e-greedy는 Exploration 과정에서 최악의 행동이 선택될 수도 있는 문제가 발생한다. 이러한 문제점을 해결하기 위해 본 연구에서는 Softmax를 기반으로 다중 센서 노드 환경에서 데이터 패킷에 대한 Quality of Service (QoS) requirement 정확도를 높이기 위한 연구를 진행한다. 이 때 Temperature 매개변수를 사용하는데, 이는 새로운 정책을 Explore 하기 위한 매개변수이다. 본 논문에서는 시뮬레이션을 통하여 제안된 Softmax를 이용한 Q-learning 기반의 패킷 스케줄링 기법이 기존의 e-greedy를 이용한 Q-learning 기법에 비해 스케줄링 정확도 측면에서 우수함을 보인다.

대형 웹사이트에서 아이디어를 대조군과 비교 실험하기 위한 방법으로 A/B테스트가 주목받고 있다. 일반적인 A/B테스트는 테스트할 모든 버전에 사용자들을 동일하게 할당하여 진행한다. 그러나 테스트 도중의 결과가 매우 안 좋은 버전이라 하더라도, 여전히 다른 버전과 균등하게 사용자들을 할당받는다. 이는 실험기간이 길어질수록 기회비용이 커지는 것을 의미한다. 이러한 문제를 해결하기 위해 제기된 것이 Multi-Armed Bandit 문제다. A/B테스트의 기회비용 문제와 관련되어 있는, Multi-Armed Bandit의 탐색과 활용의 딜레마를 풀기 위한 대표적인 알고리즘으로 UCB 알고리즘이 있다. 하지만 시행횟수가 제한되고 많은 버전을 테스트해야 하는 상황에서 UCB 알고리즘은 비효율적인 시행이 발생하여 만족스럽지 못한 결과를 낼 가능성이 높다. 이러한 문제를 해결하기 위해 본 논문에서는 Multi-Armed Bandit 알고리즘 중 하나인 Softmax 알고리즘에서 베이지안 확률론을 이용하여 우수한 버전을 선출한 뒤, UCB 알고리즘으로 전환하는 Softmax/UCB 알고리즘을 제시한다.

A / B testing is getting attention as a way to compare ideas on large web sites. A common A / B test is performed by equally assigning users to all versions to be tested. However, even if the results of some versions are very bad, the same number of users will be allocated during testing. To solve this problem, the Multi-Armed Bandit issue was raised. The UCB algorithm is a representative algorithm for solving the dilemma of exploration and utilization of MAB, which is related to the opportunity cost problem of A / B test. However, in a situation where the number of trials is limited and many versions have to be tested, the UCB algorithm is likely to produce unsatisfactory results due to inefficient trial. To solve this problem, in this thesis, I propose a Softmax/UCB algorithm that selects a superior version using the Bayesian statistics in the Softmax algorithm step and then switches to the UCB algorithm step.

In a CNN for image classification, a SoftMax layer is usually placed at the end. The exponentinal and logarithmic operations in the SoftMax layer are not adequate to be implemented in an accelerator circuit. The operations are usually implemented with look-up tables, and the exponential operation can be implemented in an iterative method. This paper proposes a successive approximation method to calculate a logarithm to remove a very large look-up table. By substituing the large table with two very small tables, the circuit can be reduced much. The experimental results show that the 85% area reduction can be reached with a small error degradation.

This paper concerns a design and learning method of softmax function neural networks based on K-means clustering. The partial discharge data Information is preliminarily processed through simulation using an Epoxy Mica Coupling sensor and an internal Phase Resolved Partial Discharge Analysis algorithm. The obtained information is processed according to the characteristics of the pattern using a Motor Insulation Monitoring System program. At this time, the processed data are total 4 types that void discharge, corona discharge, surface discharge and slot discharge. The partial discharge data with high dimensional input variables are secondarily processed by principal component analysis method and reduced with keeping the characteristics of pattern as low dimensional input variables. And therefore, the pattern classifier processing speed exhibits improved effects. In addition, in the process of extracting the partial discharge data through the MIMS program, the magnitude of amplitude is divided into the maximum value and the average value, and two pattern characteristics are set and compared and analyzed. In the first half of the proposed partial discharge pattern classifier, the input and hidden layers are classified by using the K-means clustering method and the output of the hidden layer is obtained. In the latter part, the cross entropy error function is used for parameter learning between the hidden layer and the output layer. The final output layer is output as a normalized probability value between 0 and 1 using the softmax function. The advantage of using the softmax function is that it allows access and application of multiple class problems and stochastic interpretation. First of all, there is an advantage that one output value affects the remaining output value and its accompanying learning is accelerated. Also, to solve the overfitting problem, L2-normalization is applied. To prove the superiority of the proposed pattern classifier, we compare and analyze the classification rate with conventional radial basis function neural networks.

인간이 가진 뛰어난 능력 중의 하나인 곡 분류 과정을 딥러닝 알고리즘을 통해 구현하는 연구는 단일데이터를 이용한 유니모달 모델, 멀티모달 모델, 뮤직비디오를 이용한 멀티모달 방식 등이 있다. 이 연구에서는 곡의 스펙트로그램을 짧은 샘플들로 분할하여 각각을 CNN으로 분석한 뒤 그 결과를 투표하는 시스템을 제안하여 더 좋은 결과를 얻었다. 딥러닝 알고리즘 중 CNN이 RNN에 비해 음악 장르 구분에 있어 우수한 성능을 보였으며 CNN과 RNN을 같이 적용했을 때 성능이 좋아짐을 알 수 있었다. 음악샘플을 나누어 각각의 CNN 결과를 투표하는 시스템이 이전 모델에 비해 좋은 결과를 나타내었고 이 모델에 Softmax 레이어를 추가한 모델이 가장 좋은 성능을 보였다. 디지털 미디어의 폭발적인 성장과 수많은 스트리밍 서비스 속에서 음악장르의 자동분류에 대한 필요는 점점 증가하고 있는 추세이다. 향후 연구에서는 미분류 곡의 비율을 낮추고 최종적으로 미분류된 곡들의 장르구분에 대한 알고리즘을 개발할 필요가 있을 것이다.

Research that implements the classification process through Deep Learning algorithm, one of the outstanding human abilities, includes a unimodal model, a multi-modal model, and a multi-modal method using music videos. In this study, the results were better by suggesting a system to analyze each song's spectrum into short samples and vote for the results. Among Deep Learning algorithms, CNN showed superior performance in the category of music genre compared to RNN, and improved performance when CNN and RNN were applied together. The system of voting for each CNN result by Deep Learning a short sample of music showed better results than the previous model and the model with Softmax layer added to the model performed best. The need for the explosive growth of digital media and the automatic classification of music genres in numerous streaming services is increasing. Future research will need to reduce the proportion of undifferentiated songs and develop algorithms for the last category classification of undivided songs.

본 연구는 포즈변화에 따른 얼굴인식을 수행하기 위해 FCM 클러스터링 RBFNNs기반 소프트맥스 패턴분류기가 제안된다. 기존의 RBFNNs 패턴분류기의 출력층에 소프트맥스 활성함수를 사용하여 패턴 분류기의 출력을 확률 값으로 표현한다. 얼굴인식을 위한 포즈는 다양한 환경에서의 인식을 위해 다중 포즈영역을 통해 포즈를 추정하고 이를 기반으로 얼굴인식을 수행한다. 다양한 포즈 변화에서 포즈를 식별하기 위해 Cambridge ICPR DB의 데이터를 사용하여 15명의 얼굴 이미지를 정면이 포함된 3개의 포즈(오른쪽, 정면, 왼쪽)로 구성된다. 또한 PCA와 (2D)2PCA을 사용하였다. 결과적으로 전처리 기반 포즈추정 단계, 그리고 전처리 기반 얼굴인식의 단계의 순차적인 두 단계를 통해 전체 얼굴인식을 수행하게 된다. 패턴분류기의 성능평가를 위하여 Cambridge ICPR 데이터와 머신러닝 데이터를 사용하여 FCM기반 RBFNNs 패턴분류기와 성능을 비교분석 하였다.

In this study, a softmax pattern classifier based on FCM clustering RBFNNs is proposed for face recognition with pose variation. The output of the pattern classifier is expressed as a probability value by using the softmax activation function in the output layer of the existing RBFNNs pattern classifier. Pose for face recognition is estimated through multiple pose area for recognition in various environments and then face recognition is carried out based on pose estimation. In order to identify the poses obtained though various pose variations, the data of Cambridge ICPR DB is used and 42 face images per person are totally constructed by 3 other poses(right, front, and left) per person including the front face. (2D)2PCA as well as PCA are used. As a result, the whole face recognition is performed through two sequential steps of the preprocessing based pose estimation step and the preprocessing based face recognition step. For the performance evaluation of the pattern classifier, the results of the FCM - based RBFNNs pattern classifier using Cambridge ICPR data and machine learning data.