Earticle

This study proposes a mobile-based lightweight deep learning model (Lite-MCC) capable of reconstructing three-dimensional (3D) spatial structures from a single RGB image. Conventional 3D reconstruction models require multi-view inputs or point cloud data and depend on large-scale computational resources, which limits their real-time applicability in practical environments. To address this limitation, the proposed Lite-MCC model simplifies the existing Multiview Compressive Coding (MCC) architecture, enabling accurate 3D reconstruction using only a single image. The model adopts a parallel structure consisting of a Vision Transformer (ViT-Tiny) and a Geometry Encoder to extract visual and spatial features simultaneously, while a Transformer Decoder generates the corresponding 3D point cloud. Furthermore, depth map–based input transformation and ONNX-based optimization are employed to achieve efficient real-time inference on edge devices. Experimental results on the CO3D dataset demonstrate that Lite-MCC reduces computational cost by 87% and memory usage by 65%, while maintaining a Chamfer Distance of 0.045, comparable to the original MCC model. These results indicate that the proposed method provides a promising direction for lightweight AI models enabling low-cost, real-time 3D recording and visualization.

Breast cancer remains the foremost cause of cancer-related mortality worldwide. The histopathological diagnosis is impeded by the intricate nature of image interpretation and the presence of inter-observer variability among pathologists. Deep learning (DL) for cancer image understanding has revolutionized accurate breast cancer diagnosis, marking a significant advancement in medical image analysis. Researchers proposed DL-based intelligent models to overcome the challenges of manual observations. However, the existing models suffer from a considerable computational burden, demanding substantial time investments that restrict efficient and scalable breast cancer diagnosis solutions. Our study introduces an automated breast cancer diagnosis system employing a lightweight Convolutional Neural Network (CNN) model, adept at extracting intricate features from histopathological images. Our system has attained superior accuracy through extensive experimentation on a comprehensive breast cancer dataset while employing fewer parameters compared to state-of-theart (SOTA) techniques.

This paper investigates deep learning-based SNR estimation for OFDM systems. A lightweight ResNet-inspired model is applied to estimate SNR under AWGN, Rayleigh, and Rician channels. Specifically, our model consists of two residual blocks to ensure a lightweight design. The dataset includes wide SNR ranges with realistic impairments such as fading and frequency offsets. Performance is evaluated using mean square error (MSE) and mean absolute error (MAE). Results show stable estimation across all channels with low error values in the low SNR regions.

Fire is an extremely catastrophic disaster that leads to the destruction of forests, human assets, reduced soil fertility, land resources, and the cause of global warming. In the current decade, fire detection and its management are the major concern of several researchers to prevent social, ecological, and economic damages. To overcome such kind of losses, early fire detection, and the automatic response is very significant. Moreover, achieving high accuracy with reducing inference time and model size is also challenging for the Unmanned Aerial Vehicle (UAVs). Therefore, in this work, we enabled the VGG16 architecture for UAV in terms of reducing its learning parameters from 138 million to 11.4 million for early fire detection. The proposed system is inexpensive in terms of computation and size. The performance of our proposed work is evaluated over the custom dataset. We performed comprehensive experiments using various deep learning architectures such as VGG16, ResNet50, and the proposed CNN model. The experimental results based on the proposed model achieved an accuracy of 98% on 50 epochs.

본 연구는 온라인 리뷰의 유용성을 예측하기 위해 텍스트 의미와 구조 정보를 통합한 BERT-CNN 기반 딥러닝 모델을 제안한다. 자원 효율성이 높은 사전학습 언어모델인 DistilBERT, ALBERT, TibyBERT를 활용하여 문맥 임베딩을 생성하고, 이를 CNN 구조와 결합해 문장 내 지역적 의미 패턴을 효과적으로 포착하였다. 또한 텍스트에서 추출한 복잡성, 가독성, 감정/감성 등의 설계 기반 특성과 사용자 및 비즈니스 메타데이터를 통합하여 임베딩만으로는 포착하기 어려운 도메인 특성을 보완하였다. 제안한 CNN 기반 하이브리드 모델은 사전학습 언어모델 단독 구조보다 전반적으로 높은 예측 성능을 보였다. 특히 TinyBERT-CNN 모델은 가장 높은 성과를 나타내어 경량 모델의 효율성과 실용성을 입증하였다. DistilBERT 및 ALBERT 기반 모델 역시 언어적 특성과 메타데이터의 결합을 통해 단일 모델 대비 정확도와 정밀도가 향상되었으며, 이는 수치화된 언어 특성과 메타데이터가 문맥 임베딩 기반 모델을 보완할 수 있음을 보여준다.

본 논문에서는 기존 객체 검출 방법 대비 매개변수를 감소시킨 경량화 네트워크를 제안하였다. 현재 사용되는 검출 모델의 경우 정확도 향상을 위해 네트워크 복잡도를 크게 늘렸다. 따라서, 제안하는 네트워크는 EfficientNet을 특징 추출 네트워크로 사용하였으며, 후속 레이어는 저수준 세부 특징과 고수준의 의미론적 특징을 활용하기 위해 피라 미드 구조로 형성하였다. 피라미드 구조 사이에 attention process를 적용하여 예측에 불필요한 노이즈를 억제하였다. 네트워크의 모든 연산 과정은 depth-wise 및 point-wise 컨볼루션으로 대체하여 연산량을 최소화하였다. 제안하는 네트워크는 PASCAL VOC 데이터셋으로 학습 및 평가하였다. 실험을 통해 융합된 특징은 정제 과정을 거쳐 다양한 객체에 대해 견고한 특성을 보였다. CNN 기반 검출 모델과 비교하였을 때 적은 연산량으로 검출 정확도가 향상되었다. 향후 연구로 객체의 크기에 맞게 앵커의 비율을 조절할 필요성이 사료된다.

In this paper, a lightweight network with fewer parameters compared to the existing object detection method is proposed. In the case of the currently used detection model, the network complexity has been greatly increased to improve accuracy. Therefore, the proposed network uses EfficientNet as a feature extraction network, and the subsequent layers are formed in a pyramid structure to utilize low-level detailed features and high-level semantic features. An attention process was applied between pyramid structures to suppress unnecessary noise for prediction. All computational processes of the network are replaced by depth-wise and point-wise convolutions to minimize the amount of computation. The proposed network was trained and evaluated using the PASCAL VOC dataset. The features fused through the experiment showed robust properties for various objects through a refinement process. Compared with the CNN-based detection model, detection accuracy is improved with a small amount of computation. It is considered necessary to adjust the anchor ratio according to the size of the object as a future study.

Deep neural networks (DNNs) have been widely used in various applications, however, the computational complexity and memory requirements of DNNs are becoming increasingly challenging, especially in resource-constrained devices such as mobile phones and embedded systems. In this paper, we propose a lightweight DNN model using channel pruning to address the computational complexity and memory requirements of DNNs in resource-constrained devices. Our approach combines channel pruning with transfer learning to maintain accuracy. Evaluation on the CIFAR-10 dataset shows improved performance with 78% test accuracy, 89% train accuracy, and 73% validation accuracy compared to the unpruned model. The pruned model is suitable for applications with limited computational resources.

최근 사물인터넷(IoT) 기술의 고도화로 스마트 홈, 스마트 팩토리, 원격 의료 등 다양한 도메인에서 데이터 수집이 비약적 으로 증가하고 있다. 그러나 이러한 확산과 동시에 DDoS, 데이터 변조, 봇넷 등 사이버 공격 기법이 지능화 및 다변화되면서 보안 위협 또한 심화되고 있다. IoT 환경에서는 이기종 프로토콜과 고차원적인 특징(Feature) 분포를 지니고 있어, 기존의 단 일 탐지 모델로는 연산 복잡성 해소와 실시간 침해 대응에 한계가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 다차원 특징 중요도(Feature Importance) 기반의 조건부 다중 전문가 모델(Conditional Multi-Expert Model)을 제안한다. 제안된 모델 은 입력 데이터의 특징별 중요도를 정량적으로 분석하고 최적의 추론 경로를 동적으로 설정함으로써 탐지 성능을 높이고 연 산자원을 최적화한다. 실험 결과, 제안 모델은 0.9995의 정확도, 0.9948의 F1-Score를 달성하여 기존 단일 모델(Random Forest) 대비 우수한 탐지 성능을 입증하였으며, 특히 재현율(Recall) 0.94%p 향상, 추론시간 약 2.6배 향상시킴으로써 자원 제 약이 심한 IoT 환경에서 실시간 대응이 가능한 수준의 탐지성능과 보안 신뢰성을 확인하였다.

With the recent advancement of Internet of Things (IoT) technology, data collection is increasing exponentially across various domains, including smart homes, smart factories, and telemedicine. However, alongside this expansion, security threats are intensifying as cyber-attack techniques such as DDoS, data manipulation, and botnets become more sophisticated and diversified. Given that IoT environments encompass heterogeneous protocols and high-dimensional feature distributions, conventional single detection models face limitations in reducing computational complexity and achieving real-time incident response. To address these challenges, this paper proposes a Conditional Multi-Expert Model based on high-dimensional feature importance. The proposed model quantitatively analyzes the importance of each feature in the input data and dynamically establishes the optimal inference path, thereby enhancing detection performance and optimizing computational resources. Experimental results demonstrate that the proposed model achieves an accuracy of 0.9995 and an F1-score of 0.9948, proving superior detection performance compared to the conventional single model (Random Forest). In particular, by improving the recall by 0.94%p and accelerating the inference time by approximately 2.6 times, this study confirms a level of detection capability and security reliability capable of real-time response in resource-constrained IoT environments.

최근 컴퓨터 비전 모델의 성능이 급속도로 향상되고 있다. 하지만 모델의 파라미터 수가 증가하여 모바일 환경에서는 자원의 제약으로 모델 크기와 연산 시간을 최적화하는 경량화 연구가 필요하다. 경 량화를 위한 효과적인 방법 중 하나인 지식 증류는 잘못된 확률적 지식까지 증류하는 문제를 가진다. 본 논문은 클래스별 적응형 온도 지식 증류를 통해 잘못된 확률적 지식을 증류하는 문제를 해결하고, 더 정제된 지식을 학생 모델에 전달하는 방법을 제안한다. 실험 결과, 제안한 방법이 기존 지식 증류 기법들보다 우수한 성능을 보임을 알 수 있다.

딥러닝을 이용한 객체 검출의 경우 정확도와 실시간성을 모두 요구한다. 그러나, 한정된 자원 환경에서는 수 많은 양의 데이터를 처리하는 딥러닝 모델을 사용하기 어렵다. 이러한 문제 해결을 위해 본 논문에서는 소형 임베디드 장치를 위한 객체 검출을 모델을 제안하였다. 일반적인 검출 모델과 달리 사전 학습된 특징 추출기를 제거한 구조를 사용하여 모델 크기를 최소화하였다. 모델의 구조는 경량화된 컨볼루션 블록을 반복해서 쌓는 구조 로 설계하였다. 또한, 검출 오버헤드를 줄이기 위해 영역 제안 횟수를 크게 줄였다. 제안하는 모델은 공개 데이터 셋인 PASCAL VOC를 사용하여 학습 및 평가하였다. 모델의 정량적 평가를 위해 검출 분야에서 사용하는 average precision으로 검출 성능을 측정하였다. 그리고 실제 임베디드 장치와 유사한 라즈베리 파이에서 검출 속도를 측정하였다. 실험을 통해 기존 검출 방법 대비 향상된 정확도와 빠른 추론 속도를 달성하였다.

In the case of object detection using deep learning, both accuracy and real-time are required. However, it is difficult to use a deep learning model that processes a large amount of data in a limited resource environment. To solve this problem, this paper proposes an object detection model for small embedded devices. Unlike the general detection model, the model size was minimized by using a structure in which the pre-trained feature extractor was removed. The structure of the model was designed by repeatedly stacking lightweight convolution blocks. In addition, the number of region proposals is greatly reduced to reduce detection overhead. The proposed model was trained and evaluated using the public dataset PASCAL VOC. For quantitative evaluation of the model, detection performance was measured with average precision used in the detection field. And the detection speed was measured in a Raspberry Pi similar to an actual embedded device. Through the experiment, we achieved improved accuracy and faster reasoning speed compared to the existing detection method.

사물인터넷의 자원 제약적 특성을 충족하기 위해서는 경량화된 침입탐지 모델이 필요하다. 동시에, 날로 심각해지는 적대 적 공격에 대응하기 위해서는 이러한 경량 모델이 단순히 효율적일 뿐만 아니라, 적대적 강건성과 데이터 프라이버시까지 강 화되어야 한다. 이에 본 연구는 경량화된 기계학습 기반 침입탐지 모델을 대상으로 적대적 강건성 및 데이터 프라이버시를 동 시에 보장할 수 있는 접근방법을 제안한다. 제안하는 접근방법은 우선 침입탐지 모델이 적대적 전이학습을 실시할 적대적 예 제를 생성한다. 전이학습 과정에서는 차등 프라이버시 최적화 기법을 적용하여 적대적 강건성을 강화하면서 학습 데이터에 대 한 프라이버시를 확보한다. 그리고 하이퍼파라미터 미세 조정을 통해 계산 효율성도 최적화하여 자원 제약이 큰 국방 사물인 터넷 환경에서의 적용 가능성을 높인다. 실험은 국방 사물인터넷 환경에서 활용하는 MQTT 프로토콜을 기반으로 생성된 MQTTset 데이터세트를 학습한 LightGBM 기반 침입탐지 모델을 대상으로 진행되었으며, 적대적 강건성은 Zero Order Optimization (ZOO) 공격을 통해 블랙박스 환경에서 평가하였다. 실험 결과, 이진분류에서는 기존 모델 대비 적대적 데이터에 대한 분류 정확도가 9.2%p 향상되었으며, 정상 데이터에서도 안정적인 성능을 유지하였다. 다중분류에서는 추론 시간이 미세 하게 증가했으나, 가장 안정적인 성능을 보였다.

To meet the resource-constrained nature of the Internet of Things (IoT), lightweight intrusion detection models are required. At the same time, to counter increasingly sophisticated adversarial attacks, these models must also be reinforced with enhanced adversarial robustness and stronger data privacy protection. Therefore, we propose an approach that simultaneously guarantees adversarial robustness and data privacy for a lightweight machine learning-based intrusion detection model. Our approach first generates adversarial examples to perform adversarial transfer learning. During the transfer learning, a differential privacy optimization technique is applied to enhance adversarial robustness while ensuring data privacy for the training data. In addition, we optimize computational efficiency through hyperparameter tuning, thereby increasing the applicability of the model to resource-constrained M-IoT environments. Experiments were conducted on a LightGBM-based intrusion detection model trained on the MQTTset dataset, a data set generated based on the MQTT protocol used in M-IoT environments. Adversarial robustness was evaluated in a black-box environment using Zero-Order Optimization (ZOO) attacks. Experimental results show that in binary classification, classification accuracy for adversarial data improved by 9.2 percentage points compared to the existing model, and stable performance was maintained even on normal data. In multiclass classification, inference time increased slightly, but our approach demonstrated the most stable performance.

In a Wireless Mesh Network (WMN), we cannot assume the existence of a trusted certificate authority that is used in regular Public-Key Infrastructure (PKI). Hence a cooperative approach in which a cluster of some nodes can issue certificates to other nodes in a self-organizing manner is considered to be more suitable to the Ad-hoc nature of WMNs. In this paper, we propose a new trust establishment scheme providing an efficient and lightweight public key authentication without the presence of any trusted third party neither in bootstrapping network phase nor during network life time. Combined threshold mechanism and lightweight Certificate Authority idea, A lightweight and tolerate CA (LTCA) model has been put forwarded. LTCA is not only reformed to realize lightweight structure, but also equipped with intrusion tolerant ability which has been realized by dividing CA’s private key into n shares and distributing them into n servers. Simulation results show that the threshold mechanism does not significantly increase the computational cost of communication, but the security of LTCA’s private key is improved extremely.

The integration of Wireless Body Area Networks (WBANs) with cloud computing will enable users (including physicians and nurses) to globally access the electronic healthcare data at competitive costs. However, some new issues on data access control are associated with the integration of WBANs and cloud computing. In order to address these issues, we propose a lightweight trust-based access control model, where the users can acquire their access control privileges for the electronic healthcare data according to the user role and trust value in the trust certificates. Simulation results show that our method can better alleviate the communication overhead and energy consumption problem.

딥 러닝의 발전으로 다양한 AI 기반의 응용이 많아지고, 그 모델의 규모도 매우 커지고 있다. 그러나 임베디드 기기와 같이 자원이 제한적인 환경에서는 모델의 적용이 어렵거나 전력 부족 등의 문제가 존재한다. 이를 해결하기 위해 서 클라우드 기술 또는 오프로딩 기술을 활용하거나, 모델의 매개변수 개수를 줄이거나 계산을 최적화하는 등의 경량화 방법이 제안되었다. 본 논문에서는 다양한 프레임워크들의 상호 교환 포맷으로 사용되고 있는 ONNX(개방형 신경망 교환 포맷) 포맷에 딥러닝 경량화 방법 중 학습된 모델의 양자화를 적용한다. 경량화 전 모델과의 신경망 구조와 추론 성능을 비교하고, 양자화를 위한 다양한 모듈 방식를 분석한다. 실험을 통해 ONNX의 양자화 결과, 정확도는 차이가 거의 없으며 기존 모델보다 매개변수 크기가 압축되었으며 추론 시간 또한 전보다 최적화되었음을 알 수 있었다.

Due to the development of deep learning and AI, the scale of the model has grown, and it has been integrated into other fields to blend into our lives. However, in environments with limited resources such as embedded devices, it is exist difficult to apply the model and problems such as power shortages. To solve this, lightweight methods such as clouding or offloading technologies, reducing the number of parameters in the model, or optimising calculations are proposed. In this paper, quantization of learned models is applied to ONNX models used in various framework interchange formats, neural network structure and inference performance are compared with existing models, and various module methods for quantization are analyzed. Experiments show that the size of weight parameter is compressed and the inference time is more optimized than before compared to the original model.

최근 인공지능(AI)은 다양한 산업 분야에서 핵심 기술로 자리잡고 있으며, 특히 컴퓨터 비전, 자연어 처리, 의료 진단, 스마트 시티와 같은 영역에서 활용이 확대되고 있고, 이러한 발전은 클라우드 중심의 처리 구조에서 Edge 및 On-Device 환경으로의 전환을 촉진하고 있다. On-Device AI는 네트워크 지연 감소, 개인정보 보호 강화, 통신비용 절감 등 다양한 장점을 제공하지만, 스마트폰·웨어러블·IoT 센서와 같은 embedded device는 연산 능력과 저장용량의 제한 및 소비 전력의 제약으로 인해 대규모 AI 딥러닝 모델을 직접 운용하기 어렵다. 따라서 이러한 자원 제약 환경에서도 성능 저하를 최소화하면서 모델 크기와 연산량을 줄일 수 있는 경량화 기술이 필수적이다. 본 연구에서는 경량화 기술 중 하나인 pruning 기법을 확장하여, 각 layer에서 pruning 대상 node 비율이 80% 이상일 경우해당 layer를 삭제하는 조건부 Layer 삭제 pruning 기법을 제안하고, 모의실험을 통해 그 성능을 평가하였다. CIFAR-100 데이터 세트 기반 모의실험 결과, 본 논문에서 제안한 기법이 모델 크기와 연산량을 줄이면서도 정확성을 유지함으로써 임베디드 장치의 제한된 환경에서 AI 딥러닝 모델을 적용하는데 효과적임이 입증되었다.

Artificial intelligence (AI) has become a core technology across various fields, including computer vision, natural language processing, medical diagnosis, and smart cities. This shift has accelerated the transition from cloud-centric processing to edge and on-device environments, where advantages such as reduced latency, enhanced privacy, and lower communication costs are critical. However, resource-constrained embedded devices like smartphones, wearables, and IoT sensors face difficulties in running large-scale deep learning models due to limited computation, storage capacity, and power consumption. To address this challenge, we propose a conditional layer deletion pruning method that removes an entire layer when more than 80% of its nodes are pruned in this paper. Experiments on the CIFAR-100 dataset show that our approach reduces model size and computational demand while maintaining competitive accuracy, demonstrating its effectiveness for deploying AI deep learning models in constrained environments.

실시간 처리 및 프라이버시 강화를 위해 인공지능 모델을 엣지에서 동작시킬 수 있는 온디바이스 AI 기술이 각광받고 있다. 지능형 사물인터넷 기술이 다양한 산업에 적용되면서 온디바이스 AI 기술을 활용한 서비스가 크게 증가 하고 있다. 그러나 일반적인 딥러닝 모델은 추론 및 학습을 위해 많은 연산 자원을 요구하고 있다. 따라서 엣지에 적용되 는 경량 기기에서 딥러닝 모델을 동작시키기 위해 양자화나 가지치기와 같은 다양한 경량화 기법들이 적용되어야 한다. 본 논문에서는 다양한 경량화 기법 중 가지치기 기술을 중심으로 엣지 컴퓨팅 기기에서 딥러닝 모델을 경량화하여 적용 할 수 있는 방안을 분석한다. 특히, 동적 및 정적 가지치기 기법을 적용하여 경량화된 비전 모델의 추론 속도, 정확도 그리고 메모리 사용량을 시험한다. 논문에서 분석된 내용은 실시간 특성이 중요한 지능형 영상 관제 시스템이나 자율 이동체의 영상 보안 시스템에 적용될 수 있다. 또한 사물인터넷 기술이 적용되는 다양한 서비스와 산업에 더욱 효과적으 로 활용될 수 있을 것으로 기대된다.

On-device AI technology, which can operate AI models at the edge devices to support real-time processing and privacy enhancement, is attracting attention. As intelligent IoT is applied to various industries, services utilizing the on-device AI technology are increasing significantly. However, general deep learning models require a lot of computational resources for inference and learning. Therefore, various lightweighting methods such as quantization and pruning have been suggested to operate deep learning models in embedded edge devices. Among the lightweighting methods, we analyze how to lightweight and apply deep learning models to edge computing devices, focusing on pruning technology in this paper. In particular, we utilize dynamic and static pruning techniques to evaluate the inference speed, accuracy, and memory usage of a lightweight AI vision model. The content analyzed in this paper can be used for intelligent video control systems or video security systems in autonomous vehicles, where real-time processing are highly required. In addition, it is expected that the content can be used more effectively in various IoT services and industries.