Earticle

We present an unsupervised anomaly detection framework for aluminum molten metal processes that trains exclusively on normal operational data. The extreme temperatures and dynamic luminance variations characteristic of molten metal environments make it practically infeasible to collect representative samples of anomalies—such as foreign material contamination, thermal irregularities, or flow inconsistencies—and manual annotation remains prohibitively labor-intensive. Our approach employs a Convolutional Autoencoder to capture the visual and thermal signatures of normal process states. Anomalies are detected by computing reconstruction errors and comparing them against thresholds derived from the upper percentiles of the normal error distribution. Experimental validation across multiple production lines demonstrates that our method achieves high detection accuracy even with limited abnormal samples, offering a practical solution for automated quality control and real-time process monitoring in industrial casting operations.

기존 CNN 기반 의료 영상 진단 모델은 높은 분류 성능에도 불구하고, 판단 근거에 대한 설명 가능성이 부족하며 데이터 편향이나 노이즈에 의존하는 숏컷 학습(shortcut learning) 문제가 존재한다. 이러한 한계는 의료 AI의 신뢰성과 임상적 활용 가능성을 저해하는 주요 요인이다. 본 논문에서는 평발 진단을 위한 CNN 기반 모델의 설명 가능성(XAI)과 분류 성능을 동시에 향상시키기 위해 오토인코더(Autoencoder, AE) 기반 전처리 기법을 제안한다. 먼저, 변분 오토인코더(Variational Autoencoder, VAE)를 이용해 입력 영상을 복원하고, 원본과의 차이로부터 다양한 오류 맵을 생성한다. 이후 이를 다중 채널로 구성하여 CNN에 입력함으로써 평발 여부를 분류한다. 또한 Grad-CAM을 활용하여 모델의 판단 근거를 시각화하고, VAE 전처리 적용 여부에 따른 성능과 XAI 시각화의 변화를 분석한다. 실험 결과, 제안 방법은 XAI 시각화의 명확도를 향상시켰을 뿐만 아니라, 정확도 0.9915와 Macro F1-Score 0.9856을 달성하여 baseline 대비 각각 약 18%p와 0.537 이상 향상됨을 확인하였다. 본 연구는 평발 진단 AI의 신뢰성과 설명 가능성을 동시에 향상시키는 데 기여할 수 있다.

Despite the high classification performance of CNN-based medical image diagnosis models, they often lack explainability and are prone to shortcut learning caused by data bias or noise. These limitations hinder the reliability and clinical applicability of medical AI systems. In this paper, we propose an autoencoder (AE)-based preprocessing method to improve both explainability (XAI) and classification performance for flatfoot diagnosis. A Variational Autoencoder (VAE) is used to reconstruct input images, and multiple error maps are generated from reconstruction discrepancies. These maps are combined into multi-channel inputs and fed into a CNN for classification. In addition, Grad-CAM is applied to visualize decision regions, and the impact of VAE preprocessing on both performance and XAI clarity is analyzed. Experimental results show that the proposed method improves both XAI clarity and classification performance, achieving an accuracy of 0.9915 and a Macro F1-Score of 0.9856. This corresponds to improvements of approximately 18 percentage points in accuracy and over 0.53 in F1-Score compared to the baseline model. This study contributes to enhancing both the reliability and explainability of AI systems for flatfoot diagnosis.

본 논문에서는 LSTM 오토인코더를 이용하여 라디에이터의 고장진단을 수행하였다. 먼저 라디에이터의 내구연한 랜덤 가진 시험에서 진동 신호를 취득하였으며, Raw data에 10초 단위로 Window를 씌워 시간영역 통계적 특징 을 추출하여 변수로 설정하고 Sliding 기법으로 데이터를 증강하였다. 데이터는 4개의 Stage로 구분되며, Stage 1(정상)만을 훈련 데이터로 사용하고 Stage 2, 4(정상, 비정상) 데이터를 이용하여 모델 최적화 및 평가를 수행하 였다. LSTM 오토인코더 모델의 은닉층과 은닉층 노드의 수, Dropout 비율 및 L2 정규화 파라미터를 최적화하고 평가 결과, ROC 곡선에서 AUC 가 0.9942로 우수한 성능을 확인하였다. 그리고 레이블이 없는 Stage 3의 상세 고장시점을 LSTM 오토인코더로 진단할 수 있었다. 또한 임계점을 조정하여 LSTM 오토인코더의 재구성오차가 임 계점을 초과할 때 고장을 진단할 시, 고장 발생 시점보다 조기에 라디에이터 고장을 예측 진단할 수 있었다.

In this paper, a fault diagnosis of the radiator was performed using the LSTM autoencoder. At first, the vibration signal of radiator were acquired in the random vibration durability test. And the time domain statistical features were extracted from data with 10 seconds window augmented by the sliding technique. The data is divided into 4 stages, and stage 1 (normal) is used as a training data. In addition, the LSTM autoencoder model is optimized and evaluated using stage 2, 4 (normal, abnormal) data. The number of hidden layers and nodes, dropout rate and L2 regularization parameters of the LSTM autoencoder model have been optimized. As a result, the area under the ROC curve was 0.9942 confirming excellent performance. Then the detailed failure point of unlabeled stage 3 was diagnosed using LSTM autoencoder. In addition, fault diagnosis was performed when the reconstruction error of the LSTM autoencoder exceeds the adjusted threshold. As a result, the radiator failure could be predicted earlier than before a failure occurs.

비디오에서 이상 탐지(Anomaly detection)란 영상 프레임에서 보이는 비정상(Abnormal)적인 행위 또는 상황을 인식하는 것을 의미하며, 사고를 예방하거나 대응하는 기술로 발전이 가능하다. 본 논문에서는 연속되는 프레임의 시공간적인 특징을 동시에 학습하는 3D CNN과 자동으로 특징을 압축하고 복원하는 오토인코더(Autoencoder)를 활용하여 비디오에서 이상 상황을 탐지하는 시스템을 제안한다. 또한 저해상도(Low Resolution) 이미지를 고해상 도 이미지(High Resolution) 이미지로 변환시키는 영상 초해상화(Image Super Resolution, ISR) 기법을 적용 하여 모델의 성능이 데이터 전처리의 과정에 따라 어떻게 변화하는지를 살펴보았다. 본 논문은 UCSD 데이터셋을 사용하여 시각적 이상 탐지 성능 비교 실험을 수행하였으며 실험 결과는 고해상도 이미지를 이용한 3D CNN 기반 오토인코더의 감지 능력이 다른 기법들에 비해 우수함을 보여준다.

Anomaly detection in video is recognizing an abnormal behavior or situation in frames, and it can be developed as a technology to prevent or respond to accidents. In this paper, we propose a system for detecting anomalies in video using a 3D CNN that learns spatio-temporal features of normal frames and an autoencoder that automatically compresses and restores features. Also, by applying the Image Super Resolution(ISR) technique, which converts a low-resolution image into a high-resolution image, we examined how the performance of the model changes according to the data preprocessing process. The performance of the proposed model was measured using the UCSD dataset and the experimental results show that the 3D CNN-based autoencoder using high-resolution images is superior to other techniques.

금융, 보안, 의료 분야에서는 데이터 분석을 통한 신속한 의사결정이 중요해지면서 방대한 양의 데이 터를 실시간으로 처리하고 아웃라이어를 탐지할 수 있는 새로운 분석 기법의 필요성이 대두되고 있다. 이러한 상황에서 기존의 규칙 기반 탐지 기법은 변화하는 범죄 패턴에 신속하게 대응하지 못하고 높은 오탐(false positive)율로 효율성 면에서 한계를 느끼고 있다. 이에 본 연구에서는 연속형 시계열 데이터 를 활용하여 베이지안 온라인 변화점 감지(Bayesian Online Change Point Detection; BOCPD) 모델이 아웃라이어 예측에 효과적인지를 실험을 통해 살펴보고자 한다. 실험은 크게 원본 시계열 데이터에 BOCPD를 직접 적용하여 아웃라이어를 예측하는 모델과 시계열 데이터의 차원을 축소 시킨 후 BOCPD 를 적용하여 아웃라이어를 예측하는 모델로 나누어 실험한 후 각각의 성능을 비교 분석하였다. 그 결과 원본 시계열 데이터에 BOCPD를 적용한 모델은 탐지율이 과도하게 높아 과적합(overfitting) 문제가 발생 했으나 차원 축소 후 BOCPD를 적용한 모델은 데이터의 주요 특징을 보존하면서도 우수한 변화 감지 성능을 보여주었다. 이를 통해 차원 축소가 BOCPD의 일반화 성능을 높이고 과적합 문제를 방지할 수 있음을 확인하였다. 또한 실시간 분석이나 대규모 데이터에 대한 아웃라이어 탐지가 요구되는 상황에서 는 Autoencoder BOCPD 모델과 Wavelet Transform BOCPD 모델이 우수한 선택이 될 수 있으며 특히 Autoencoder와 BOCPD의 결합 방식은 다양한 응용 분야에서 차원 축소와 아웃라이어 탐지의 효율성을 높이는 중요한 접근 방식으로 평가할 수 있다.

In the financial, security, and healthcare sectors, the importance of analyzing data to make quick decisions is driving the need for new analytics techniques that can process massive amounts of data in real time and detect outliers. In this situation, existing rule-based detection techniques are unable to respond quickly to changing crime patterns and are limited in efficiency due to high false positive rates. In this study, we investigate the effectiveness of Bayesian Online Change Point Detection (BOCPD) model for outlier prediction using continuous time series data through experiments. The experiments were divided into two types: a model that applies BOCPD directly to the original time series data to predict outliers, and a model that applies BOCPD after reducing the dimensionality of the time series data to predict outliers, and then analyzed the performance of each. The results showed that the model that applied BOCPD to the original time series data had an excessively high detection rate, resulting in an overfitting problem, but the model that applied BOCPD after dimensionality reduction showed excellent change detection performance while preserving the main features of the data. This confirms that dimensionality reduction can improve the generalization performance of BOCPD and avoid the overfitting problem. In addition, in situations requiring real-time analysis or outlier detection for large-scale data, the Autoencoder BOCPD model and the Wavelet Transform BOCPD model can be good choices, and the combination of Autoencoder and BOCPD can be evaluated as an important approach to improve the efficiency of dimensionality reduction and outlier detection in various applications.

클러스터링은 데이터의 정답값(실제값)이 없는 데이터를 기반으로 데이터의 특징벡터의 거리 기반 등으로 군집 화를 하는 비지도학습 방법이다. 이 방법은 이미지, 텍스트, 음성 등 다양한 데이터에 대해서 라벨링이 없이 적용 할 수 있다는 장점이 있다. 기존 클러스터링을 하기 위해 차원축소 기법을 적용하거나 특정 특징만을 추출하여 군 집화하는 방법이 적용되었다. 하지만 딥러닝 기반 모델이 발전하면서 입력 데이터를 잠재 벡터로 표현하는 오토인 코더, 생성 적대적 네트워크 등을 통해서 딥 클러스터링의 기술이 연구가 되고 있다. 본 연구에서, 딥러닝 기반의 딥 클러스터링 기법을 제안하였다. 이 방법에서 오토인코더를 이용하여 입력 데이터를 잠재 벡터로 변환하고 이 잠재 벡터를 클러스터 구조에 맞게 벡터 공간을 구성 및 k-평균 클러스터링을 하였다. 실험 환경으로 pytorch 머 신러닝 라이브러리를 이용하여 데이터셋으로 MNIST와 Fashion-MNIST을 적용하였다. 모델로는 컨볼루션 신경 망 기반인 오토인코더 모델을 사용하였다. 실험결과로 k가 10일 때, MNIST에 대해서 89.42% 정확도를 가졌으며 Fashion-MNIST에 대해서 56.64% 정확도를 가진다.

Clustering is an unsupervised learning method that involves grouping data based on features such as distance metrics, using data without known labels or ground truth values. This method has the advantage of being applicable to various types of data, including images, text, and audio, without the need for labeling. Traditional clustering techniques involve applying dimensionality reduction methods or extracting specific features to perform clustering. However, with the advancement of deep learning models, research on deep clustering techniques using techniques such as autoencoders and generative adversarial networks, which represent input data as latent vectors, has emerged. In this study, we propose a deep clustering technique based on deep learning. In this approach, we use an autoencoder to transform the input data into latent vectors, and then construct a vector space according to the cluster structure and perform k-means clustering. We conducted experiments using the MNIST and Fashion-MNIST datasets in the PyTorch machine learning library as the experimental environment. The model used is a convolutional neural network-based autoencoder model. The experimental results show an accuracy of 89.42% for MNIST and 56.64% for Fashion-MNIST when k is set to 10.

본 논문에서는 인코더-디코더 모델(encoder-decoder model)에서 잠재 벡터(latent vector)의 분류 성능을 비교 분석한다. 오토인코더와 같은 일반적인 인코더-디코더 모델은 인코더 입력을 잠재 벡터로 변환하고 이를 디코더에 입력하여 인코더 입력과 유사한 출력을 생성하도록 학습한다. 이와 같은 인코더-디코더 모델의 잠재 벡터는 인코더 입력의 특징을 추상화하여 잘 보존한다고 고려할 수 있다. 나아가 잠재 벡터가 특징 공간에서 클러스터들 사이에서 구분이 가능한 거리를 보장한다면 이를 비지도 학습에 적용하는 것이 가능하다. 본 논문에서는 인코더-디코더 모델 에서의 잠재 벡터를 비지도 학습 및 점진적 학습에 적용하기 위한 기초 연구로서 잠재 벡터의 분류 성능을 분석한 다. 이를 위해 스택트 오토인코더(stacked autoencoder)와 2가지 종류의 CNN(Convolutional Neural Network) 기반 오토인코더를 바탕으로 각각 구해지는 잠재 벡터를 KNN(K-Nearest Neighbor)과 랜덤 포레스 트(random forest)를 포함하는 4가지 종류의 분류기에 적용한다. 실험 결과 완전 연결 계층(fully connected or dense layer)를 가지는 CNN 기반의 오토인코더를 사용한 결과 평균 정확률은 약 97%이고 스택트 오토인코더의 결과는 약 95%로 2% 정도 우수한 분류 성능을 보이는 것을 확인할 수 있다. 본 논문에서의 연구를 바탕으로 완전 연결 계층을 가지는 CNN 기반의 오토 인코더를 이용하여 구해지는 잠재 벡터를 비지도 학습에 적용하는 것으로 확 장하는 것이 가능하다.

This paper compares and analyzes the classification performance of latent vectors in the encoder-decoder model. A typical encoder-decoder model, such as an autoencoder, transforms the encoder input into a latent vector and feeds it into the decoder. In this process, the encoderdecoder model learns to produce an decoder output similar to the encoder input. We can consider that the latent vector of the encoder-decoder model is well preserved by abstracting the characteristics of the encoder input. Further, it is possible to apply to unsupervised learning, if the latent vector guarantees a sufficient distance between clusters in the feature space. In this paper, the classification performance of latent vectors is analyzed as a basic study for applying latent vectors in encoder-decoder models to unsupervised and continual learning. The latent vectors obtained by the stacked autoencoder and 2 types of CNN-based autoencoder are applied to 4 kinds of classifiers including KNN and random forest. Experimental results show that the latent vector using the CNN-based autoencoder with a dense layer(about 97%) shows superior classification performance by up to 2% compared to the result of the stacked autoencoder(about 95%). Based on the results in this paper, it is possible to extend the latent vector obtained by using a CNN-based auto-encoder with dense layer to unsupervised learning.

멀웨어 패밀리 분류는 특성이 유사하거나 동일한 멀웨어 샘플을 그룹화하는 것이다. 이러한 멀웨어 패밀리 분류는 대 표적인 악성 패턴을 이해하여 그러한 패턴에 감염된 앱을 효율적으로 치료하거나, 양성 앱들이 감염되지 않게 보호하 게 해 준다. 본 논문에서는, 오토인코더 기반의 딥러닝을 적용하여 안드로이드 멀웨어 패밀리를 분류하는 새로운 방 법을 제안한다. 제안한 기법은 안드로이드 악성 앱들의 퍼미션을 특징정보로 사용한다. 잘 알려진 DREBIN 데이터 셋의 상위 20개 멀웨어 패밀리들을 대상으로 실험하여, 제안한 딥러닝 기법의 성능을 평가한 결과, 기존 연구보다 더 좋은 성능을 보임을 확인하였다. 또한, 상위 30개의 멀웨어 패밀리들을 대상으로 제안 기법의 성능도 평가한다.

Malware family classification is the grouping of malware samples with similar or identical characteristics into a same family. This plays an important role in understanding typical malicious patterns to fix the apps infected with those patterns, or protecting benign apps against being infected. In this paper, we propose a new method to classify Android malware families by applying deep learning based on autoencoder. The proposed method uses the permissions of Android malicious apps as a feature set. As a result of evaluating the performance of the proposed method by performing experiments with the top 20 malware families in the well-known DREBIN dataset, the method have showed better performance than the previous study. In addition, we also evaluate the performance of the method for the top 30 malware families in the DREBIN dataset.

With advanced internet of things (IoT) and cloud/edge computing, industrial control systems (ICSs) are evolving. However, there are critical concerns and challenges about the cybersecurity of the IoT-enabled ICSs against cyber-attacks. To reduce the risk of cyber-attacks, an intrusion detection system (IDS) is required. In general, IDS utilizes signature-based or behavior-based methods to detect potential harmful anomalies. In this paper, we propose a hybrid intrusion detection approach deploying a statistical filtering method and a composite autoencoder to effectively detect anomalous behaviors caused by cyber-attacks. The proposed method is validated by experimental data acquired from a real water treatment system as a case study of cyberattack on ICSs.

협업 필터링은 사용자의 기록을 바탕으로 선호도를 예측하여 추천하는 방법이다. 최근 협업 필터링 중 머신러닝 알 고리즘을 이용하는 연구가 활발히 이루어지고 있으며 그중에서 오토인코더 모델들의 추천 성능이 뛰어났다. 오토인 코더 모델들은 추천 성능 향상을 위해 별도의 데이터 셋 전처리 과정을 거친다. 하지만 현재 모델들이 사용하는 기 존의 전처리에서는 차원 축소 및 복원으로 인한 정보손실 문제와 데이터 셋들의 불균일한 분포 문제를 해결하지 못 한다. 따라서 본 연구에서는 사용자 기반의 오토인코더 모델에 적합한 전처리 시스템을 제안한다. 본 연구는 필터 모듈과 분배 모듈로 이루어져 있으며 기존의 전처리의 문제들을 순차적으로 개선한다. 필터 모듈에서는 정보손실 문 제를 개선하고 분배 모듈에서는 데이터 셋들의 불균일한 분포 문제를 개선하였다. 그리고 각각의 모듈들을 기존의 전처리 방법과 비교하는 실험을 하여 개선된 결과를 확인하였다. 또한 제안한 방법을 적용한 데이터 셋으로 사용자 기반 오토인코더 모델을 학습시켰을 때 추천 성능이 올라가는 것을 실험을 통해 확인하였다.

Collaborative filtering(CF) is a method of recommending possible preferences of a user based on existing records. Recently, CF research using machine learning algorithms has been actively conducted, among which Autoencoder models have outstanding recommendation performances. Autoencoder models go through preprocessing to improve recommendation performance. However, traditional preprocessing used by current models cannot solve information loss due to dimensional reduction and restoration as well as uneven distribution of datasets. Therefore, in this work, we propose a preprocessing system suitable for user-based Autoencoder models. This work consists of filter modules and distribution modules, which sequentially reduce the problems of traditional preprocessing. We minimized the information loss problems in filter modules and the uneven distribution of datasets in distribution modules. We then conducted experiments comparing each module to conventional preprocessing to confirm the improved results. We also proved that recommendation performance increase when we train a user-based Autoencoder model with datasets that applied the suggested method through an experiment.

In this study, we discuss the basic technology of machine learning of the deep neural network for natural language processing(NLP). We explain the distributed vector representation of words. Distributed vector representation is proved to be able to carry semantic meanings and are useful in various NLP tasks. The recurrent neural network(RNN) is employed to get the vector representation of sentences. We discuss the RNN encoder-decoder model and some modifications of the RNN structure to improve the accuracy of the machine translations. To test and verify the accuracy of Google translator, we performed the translation among Korean, English, and Japanese, and examined the meaning change between the original and the translated sentence. In neural network translation, we showed some inaccuracies of the translation such as wrong relation between subject and object, or some omission or repetition of the original meaning. In order to increase the performance and accuracy of machine translation, it is necessary to acquire more data for training.

Hyperspectral unmixing (HU) is crucial for extracting material information from hyperspectral images (HSI) obtained through remote sensing. Although linear unmixing methods are widely used due to their simplicity, they only address linear mixing effects. Nonlinear mixing models, while more complex, often focus solely on the nonlinear aspects affecting individual pixels. However, in practice, light reflected from materials within a pixel experiences linear and nonlinear interactions, necessitating a hybrid mixing model (HMM) that leverages spatial and spectral information. This work proposes a novel deep learning-based autoencoder (AE) with dual-stream decoders to enhance spectral unmixing. Our approach employs multitask learning (MTL) to process spatial and spectral information concurrently. Specifically, one decoder stream performs linear unmixing from HSI patches, while the other stream utilizes fully connected layers to capture and model the nonlinear interactions within the data. By integrating linear and nonlinear information, our method improves the accuracy of unmixing the mixed spectrum. We validate the effectiveness of our architecture on three real-world HSI datasets and compare its performance against various baseline methods. Experimental results consistently demonstrate that our approach outperforms existing methods, as evidenced by superior spectral angle distance (SAD) and mean squared error (MSE) metrics.

A novel channel estimation method based on deep learning algorithm is proposed for large-scale IoT networks. We consider asymmetric backscatter communication system to maintain low-power at sensor nodes. In order to obtain channel data, we design denoising autoencoder which consists of encoder with Feedforward Neural Network (FNN) and decoder with Convolutional Neural Network (CNN). Finally, the channel estimation error is minimized, while the pilots are optimized. Especially, we adopt beamforming technique that relies only on cascaded channel data to reduce complexity in multi-sensor system. It is shown that the accuracy is slightly degraded while the complexity is greatly reduced.

A weather forecaster predicts the weather by analyzing current weather map images generated by a satellite. In this analyzing process, the accuracy of the prediction depends highly on the forecaster’s experience which is needed to recollect similar weather maps from the past. In an attempt to help forecasters to obtain empirical data and analyze the current weather status, this paper proposes a convolutional autoencoder model to find weather maps from the past that are similar to a current weather map by extracting the latent features of each image. To measure the similarity between each pair of images, metrics including mean squared error and structural similarity were used and case studies for searching similar satellite images were conducted and visualized. The paper also demonstrates that searching similar weather maps can be useful guidance to all forecasters when analyzing and predicting the weather.

With the rapid development of the Internet and the rapid popularity of the network. Increasing network traffic also leads to frequent abnormal attacks, which seriously affects user information security. Then intrusion detection is studied as an active defense technology. In order to increase the ability of network abnormal traffic detection, a network abnormal traffic detection algorithm based on variational autoencoder is proposed in this paper. In addition to normal data, the algorithm subdivides the intrusion attack types into 4 major categories, which contain 38 specific attacks, each specific attack category as an intrusion label, which will be used as the input of the decoder together with the hidden vector to obtain the classification results more accurately and efficiently and to recover the data features in the incomplete data set. Finally, the trained Deep Belief Nets (DBN) is used for further feature extraction and classification of the data. It is verified that the proposed variational autoencoder-based supervised classification scheme is simple and effective, which is able to identify new attacks well and outperforms other classification schemes in terms of data classification.

This study explores the use of a Deep Autoencoder model to predict depression among plant and machine operators, utilizing data from the Korean National Health and Nutrition Examination Survey (KNHANES, n=3,852). The Deep Autoencoder model outperformed the Logistic Regression, Naive Bayes, XGBoost, and LightGBM models, achieving an accuracy of 86.5%. Key factors influencing depression included work stress, exposure to hazardous substances, and ergonomic conditions. The findings highlight the potential of the Deep Autoencoder model as a robust tool for early identification and intervention in workplace mental health.