Earticle

The rise of cryptocurrencies has also led to an increase in fraudulent activities, posing challenges in fraud detection on decentralized platforms like Ethereum. This issue is particularly pronounced in decentralized environments like Ethereum, where new transaction patterns continue to emerge. In this dynamic and changing environment, it is important to address the problem of concept drift, which refers to the continuous evolution of data patterns. To address the dynamic nature of these fraud patterns, we propose an automated hyperparameter optimization (HPO) approach using Proximal Policy Optimization (PPO). Unlike traditional HPO methods, PPO efficiently navigates the complex hyperparameter space, adapting to evolving fraud schemes with minimal human intervention. Our method enhances the adaptability and robustness of fraud detection models, effectively improving detection accuracy. Experimental results demonstrate that PPO outperforms existing HPO techniques, offering a more flexible and powerful tool for maintaining the performance of fraud detection systems in the rapidly changing cryptocurrency landscape.

Tuning hyperparameters effectively is crucial for improving the performance of machine learning models. However, hyperparameter optimization (HPO) often demands significant computational budget, which is typically limited. Therefore, efficiently using this constrained budget is critical in HPO. Multi-fidelity HPO has emerged as a potential solution to this issue. This paper presents a comprehensive review of multi-fidelity HPO in machine learning, discusses recent algorithms for HPO, and proposes directions for future research.

Design of bridge piers and abutments is significantly impacted by hydrodynamic processes that cause scouring of the foundation. Although, many empirical formulae are available in the literature to estimate the depth of scouring, but they suffer from several limitations. A major limitation of empirical formulae is that they are largely applicable to the hydraulic conditions for which they have been derived. In this research, a deep neural network (DNN) has been developed and applied to predict the depth of scour around bridge piers and abutments. The practicality of the proposed model has been demonstrated using the experimental data sets consisting of 211 data points. The novelty of the DNN model applied herein lies in the use of Adam Optimizer for optimizing the parameters of the DNN model. The performance of the DNN model was evaluated for each parameter set using statistical indicators such as the coefficient of determination, root mean square error, and mean absolute error. A regression equation based upon the available data set has also been proposed. Based upon the values of the statistical parameters, the DNN model has been found to be significantly better than the regression model. The model proposed herein performs better than the regression model. A distinct practical advantage of the model proposed herein is that it eliminates the need of hit and trial procedure to determine the optimal parameter set for the model.

본 연구는 도로 결함(포트홀 및 균열) 탐지를 위한 YOLO 기반 딥러닝 모델 최적화 및 실용성 검증을 목표로 수행되었다. NVIDIA A100 GPU 환경에서 진행된 첫 번째 실험에서는 RDD2022 공개 데이터셋을 활용하여 YOLOv5n/v8n/v10n 모델들의 성능 중 YOLOv8n 모델이 mAP@0.5에서 0.3657로 가장 우수한 성능을 보였다. 두 번째 실험부터는 자체 구축한 실제 도로 이미지를 바탕으로 YOLOv8의 Detection 및 Segmentation 모델을 비교 평가하였으며, YOLOv8l(Detection) 모델이 mAP@0.5에서 0.772로 실무에 적합한 정확도를 달성하였다. 마지막으로 YOLOv8l 모델의 하이퍼파라미터 최적화/데이터 증강 기법/데이터셋 확장을 비교한 결과 데이터셋을 기존 8,737장에서 14,776장으로 확장한 경우 mAP@0.5에서 0.825까지 향상되었다. 이는 학습 데이터가 실제 도로에 얼마나 유사하고 데이터의 양이 모델 성능의 결정적인 영향을 미친다는 것을 입증한 결과로, 향후 도로 결함 탐지 시스템의 실용성 및 즉각 대응 가능성을 확보하는 데 이바지할 것으로 기대된다.

This study aimed to optimize and validate the practicality of a YOLO-based deep learning model for detecting road defects (potholes and cracks). In the first experiment conducted in an NVIDIA A100 GPU environment using the RDD2022 public dataset, the YOLOv8n model demonstrated the best performance among the YOLOv5n/v8n/v10n models, achieving an mAP@0.5 of 0.3657. From the second experiment onwards, the Detection and Segmentation models of YOLOv8 were comparatively evaluated using self-built real-world road images. The YOLOv8l (Detection) model achieved an mAP@0.5 of 0.772, demonstrating accuracy suitable for practical applications. Finally, a comparison of hyperparameter optimization, data augmentation techniques, and dataset expansion for the YOLOv8l model showed that expanding the dataset from 8,737 to 14,776 images improved the mAP@0.5 to 0.825. This demonstrates that the volume of data and the similarity of training data to real-world environments critically influence model performance. These findings are expected to contribute to securing the practicality and immediate responsiveness of future road defect detection systems.

Recently, research using artificial neural networks has further expanded the field of neural network optimization and automatic structuring from improving inference accuracy. The performance of the machine learning algorithm depends on how the hyperparameters are configured. Open-source hyperparameter optimization software can be an important step forward in improving the performance of machine learning algorithms. In this paper, we review open-source hyperparameter optimization softwares.

본 논문은 F1TENTH 와 같은 자율주행 경주 대회를 위한 고전적인 자율주행 알고리즘의 파라미터 최적화에 관한 연구를 다룬다. 고전적인 자율주행 알고리즘은 하이퍼파라미터의 영향을 크게 받고 더 나아가서 하이퍼파라미터의 설정에 따라서 성능의 차이가 크다. 이 하이퍼파라미터를 빠르게 찾기 위하여 Piece and Conquer Fireworks 방법을 제안한다. 결과적으로Random search에 비해서 일반 Fireworks알고리즘은 약8.3배, Piece and Conquer Fireworks알고리즘은 약 28.5배 빠른 성능을 보여준다.

인공신경망을 이용한 모델 개발에서 데이터의 품질은 모델 성능에 큰 영향을 주고, 양질의 충분한 데이터가 인공신경망 훈련을 위해 필요하다. 하지만, 공학 분야에서는 적은 양의 데이터로 모델을 개발해야 하는 경우가 자주 발생한다. 본 논문은 토양에 살포된 축산 분뇨로부터 암모니아 방출량에 대한 적은 수의 데이터(83 개)를 사용하여 인공신경망 모델의 예측 성능을 향상할 수 있는 방안을 제시하였다. Michaelis-Menten 식으로 표현되는 암모니아 방출량 문제는 11개 입력변수에 대하여 2개 출력변수로 구성되었다. 출력변수는 최대 질소 발생량(N_max, kg/ha)과 N_max의 절반에 도달하는 시간(K_m, h) 이다. 범주형 입력변수에 대해 다차원 등간격 기법인 one-hot encoding 을 이용하여 데이터 전처리를 수행하였고, 훈련데이터 66개에 대하여 generative adversarial network (GAN)을 이용하여 13개 데이터를 추가로 보강하였다. 또한, 인공신경망의 초매개변수인 은닉층 수, 각 은닉층 내 뉴런 수, 활성화 함수의 최적 조합을 찾기 위하여 Gaussian process (GP)를 사용하였다. 기존의 인공신경망 구조(Lim et al., 2007) 는 17개 평가데이터에 대하여 mean absolute error (MAE)는 K_m에서 0.0668, N_max에서 0.1860이었다. 본 연구에서 제시된 인공신경망 모델은 K_m에서 0.0414, N_max에서 0.0818로 MAE 가 기존 모델 대비 각각 38%, 56% 감소하였다. 본 연구에서 제시된 방법은 적은 양의 데이터를 갖는 문제에서 인공신경망 성능을 향상하기 위하여 활용할 수 있을 것이다.

A sufficient amount of data with quality is needed for training artificial neural networks (ANNs). However, developing ANN models with a small amount of data often appears in engineering fields. This paper presented an ANN model to improve prediction performance of the ammonia emission amount with 83 data. The ammonia emission rate included eleven inputs and two outputs (maximum ammonia loss, N_max and time to reach half of N_max, K_m). Categorical input variables were transformed into multi-dimensional equal-distance variables, and 13 data were added into 66 training data using a generative adversarial network. Hyperparameters (number of layers, number of neurons, and activation function) of ANN were optimized using Gaussian process. Using 17 test data, the previous ANN model (Lim et al., 2007) showed the mean absolute error (MAE) of K_m and N_max to 0.0668 and 0.1860, respectively. The present ANN outperformed the previous model, reducing MAE by 38% and 56%.

In this study, we proposed a method for hyperparameter optimization in the building and training of a deep learning model designed to process point cloud data collected by a millimeter-wave radar system. The primary aim of this study is to facilitate the deployment of a baseline model in resource-constrained IoT devices. We evaluated a RadHAR baseline deep learning model trained on a public dataset composed of point clouds representing five distinct human activities. Additionally, we introduced a coarse-to-fine hyperparameter optimization procedure, showing substantial potential to enhance model efficiency without compromising predictive performance. Experimental results show the feasibility of significantly reducing model size without adversely impacting performance. Specifically, the optimized model demonstrated a 3.3% improvement in classification accuracy despite a 16.8% reduction in number of parameters compared th the baseline model. In conclusion, this research offers valuable insights for the development of deep learning models for resource-constrained IoT devices, underscoring the potential of hyperparameter optimization and model size reduction strategies. This work contributes to enhancing the practicality and usability of deep learning models in real-world environments, where high levels of accuracy and efficiency in data processing and classification tasks are required.

합성곱 신경망 모형에서 높은 정확도를 얻기 위해서는 최적의 하이퍼파라미터를 설정하는 작업이 필요하다. 하지만 높은 성능을 낼 수 있는 하이퍼파라미터 값이 정확히 알려진 바가 없으며, 자료마다 최적의 하이퍼파라미터 값이 달라질 수 있기 때문에 매번 실험을 통해서 찾아야만 한다. 또한, 하이퍼파라미터 값들의 범위가 넓고 조합 수가 많기 때문에 시간과 계산량을 줄이기 위해서는 최적값을 찾기 위한 실험 계획을 먼저 한 후에 탐색을 하는 것이 필요하다. 그러나 아직까지 합성곱 신경망 모형에서 하이퍼파라미터 최적화를 위하여 실험계획법을 이용한 연구 결과가 보고되지 않았다. 본 논문에서는 이미지 분류 문제에서 통계방법 중 하나인 실험계획법의 요인배치법을 이용하여 실험 계획을 하고 합성곱 신경망 분석을 한 후에, 높은 성능을 갖는 값을 중심으로 그리드 탐색을 하여 최적의 하이퍼파라미터를 찾는 방법을 제안한다. 실험 계획을 통하여 각 하이퍼파라미터들의 탐색 범위를 줄인 후에 그리드 탐색을 함으로써 효율적으로 연산량을 줄이고 정확도를 높힐 수 있음을 보였다. 또한 실험 결과에서 모형 성능에 가장 큰 영향을 주는 하이퍼파라미터가 학습률이라는 것을 확인할 수 있었다.

In order to obtain high accuracy with an convolutional neural network(CNN), it is necessary to set the optimal hyperparameters. However, the exact value of the hyperparameter that can make high performance is not known, and the optimal hyperparameter value is different based on the type of the dataset, therefore, it is necessary to find it through various experiments. In addition, since the range of hyperparameter values is wide and the number of combinations is large, it is necessary to find the optimal values of the hyperparameters after the experimental design in order to save time and computational costs. In this paper, we suggest an algorithm that use the design of experiments and grid search algorithm to determine the optimal hyperparameters for a classification problem. This algorithm determines the optima values of the hyperparameters that yields high performance using the factorial design of experiments. It is shown that the amount of computational time can be efficiently reduced and the accuracy can be improved by performing a grid search after reducing the search range of each hyperparameter through the experimental design. Moreover, Based on the experimental results, it was shown that the learning rate is the only hyperparameter that has the greatest effect on the performance of the model.

대부분의 머신러닝 및 딥러닝 모델의 경우 하이퍼 파라미터 선택은 모델의 성능에 큰 영향을 미친다. 따라서 전문가들은 작업을 수행하기 위해 모델을 구축할 때 하이퍼 파라미터 튜닝을 수행하는 데 상당한 시간을 소비해야 한다. Hyperparameter Optimization(HPO)을 해결하기 위한 알고리즘은 많지만 대부분의 방법은 검색을 수행하기 위해 각 epoch에서 실제 실험 결과를 필요로 한다. 따라서 HPO 검색을 위한 시간과 계산 지원을 줄이기 위해 본 논문에서는 Multi-agent Proximal Policy Optimization(MAPPO) 강화 학습 알고리즘을 제안한다. 2개의 이미지 분류 데이터 세트에 대한 실험 결과는 우리의 모델이 속도와 정확성에서 다른 기존 방법보다 우수하다는 것을 보여준다.

Alzheimer's disease is one of the challenges to tackle in the coming aging era and is attempting to diagnose and predict through various biomarkers. While the application of various deep learning-based technologies as powerful imaging technologies has recently expanded across the medical industry, empirical design is not easy because there are various deep earning neural networks architecture and categorical hyperparameters that rely on problems and data to solve. In this paper, we show the possibility of optimizing a deep learning neural network structure and hyperparameters for Alzheimer's disease classification in amyloid brain images in a representative deep earning neural networks architecture using genetic algorithms. It was observed that the optimal deep learning neural network structure and hyperparameter were chosen as the values of the experiment were converging.

군인의 동작 및 운동 상태를 인식하는 기술은 웨어러블 테크놀로지와 인공지능의 결합으로 최근 대두되어 병력 관리의 패러다임을 바꿀 기술로 주목받고 있다. 이때 훈련 상황에서의 평가 및 솔루션 제공, 전투 상황에서의 효율적 모니터링 기능을 의도한대로 제공하기 위해서는 상태 판별의 정확도가 매우 높은 수준으로 유지되어야만 한다. 하지만 입력 데이터가 시계열 또는 시퀀스로 주어지는 경우, 기존의 피드포워드 신경망으로는 분류 성능을 극대화하는데 한계가 발생한다. 전장에서의 군사 동작 인식을 위해 다뤄지는 인간의 행동양식 데이터(3축 가속도 및 3축 각속도)는 시의존적 특성의 분석이 요구되기 때문에, 본 논문은 순환 신경망인 LSTM(Long-short Term Memory) 네트워크를 활용하여 취득 데이터의 이동 양상 및 순서 의존성을 파악하고 여덟 가지의 대표적 군사 동작(Sitting, Standing, Walking, Running, Ascending, Descending, Low Crawl, High Crawl)을 분류하는 고성능 인공지능 모델을 제안한다. 이때, 학습 조건 및 모델 변수는 그 정확도에 결정적인 영향을 끼치지만 인간의 수동적 조정이 필요해 비용 비효율적이고 최적의 값을 보장하지 못한다. 본 논문은 기계 스스로 일반화 성능이 극대화된 조건들을 취득할 수 있도록 베이지안 최적화를 활용해 하이퍼파라미터를 최적화한다. 그 결과, 최종 아키텍쳐는 학습 가능한 파라미터의 개수가 유사한 기존의 인공 신경망과 비교해서 오차율이 62.56% 감소할 수 있었으며, 최종적으로 98.39%의 정확도로 군사 동작 인식 기능을 구현할 수 있었다.

The technology that recognizes a soldier's motion and movement status has recently attracted large attention as a combination of wearable technology and artificial intelligence, which is expected to upend the paradigm of troop management. The accuracy of state determination should be maintained at a high-end level to make sure of the expected vital functions both in a training situation; an evaluation and solution provision for each individual's motion, and in a combat situation; overall enhancement in managing troops. However, when input data is given as a timer series or sequence, existing feedforward networks would show overt limitations in maximizing classification performance. Since human behavior data (3-axis accelerations and 3-axis angular velocities) handled for military motion recognition requires the process of analyzing its time-dependent characteristics, this study proposes a high-performance data-driven classifier which utilizes the long-short term memory to identify the order dependence of acquired data, learning to classify eight representative military operations (Sitting, Standing, Walking, Running, Ascending, Descending, Low Crawl, and High Crawl). Since the accuracy is highly dependent on a network's learning conditions and variables, manual adjustment may neither be cost-effective nor guarantee optimal results during learning. Therefore, in this study, we optimized hyperparameters using Bayesian optimization for maximized generalization performance. As a result, the final architecture could reduce the error rate by 62.56% compared to the existing network with a similar number of learnable parameters, with the final accuracy of 98.39% for various military operations.