메모리 제약 MCU 환경에서의 연속학습을 위한 적응적 레이어 선택 및 양자화 기법 연구
A Study on Adaptive Layer Selection and Quantization Techniques for Continual Learning in Memory-Constrained MCU Environments
In microcontroller unit (MCU) environments, continual learning faces the dual challenges of catastrophic forgetting when learning new tasks and limited memory. This study proposes a memory-efficient continual learning method by combining an adaptive layer selection technique with low-bit quantization. Experimental results show that the proposed adaptive method reduced the forgetting rate by 15.3 percentage points compared to the fixed method within a 384KB budget. SIEF-QPG quantization improved loss variance by 17.1% compared to conventional INT8. Furthermore, the dynamic selection mode achieved an average accuracy 3.8 percentage points higher than the static mode while improving convergence speed by 9.2%. This research demonstrates the feasibility of continuous model adaptation on resource-constrained edge devices.
한국어
마이크로컨트롤러(Microcontroller Unit, MCU) 환경에서 연속학습(Continual Learning)은 새로운 태스크 학습 시 기존 지식의 망각(Catastrophic Forgetting) 문제와 제한된 메모리라는 이중 도전에 직면한다. 본 연구에서는 적응적 레이어 선택 기법과 저비트 양자화를 결합하여 메모리 효율적인 연속학습 방법을 제안한다. 실험 결과, 제안한 적응적 방법은 384KB 예산에서 고정 방법 대비 망각률을 15.3%p 감소시켰으며, SIEF-QPG 양자화는 기존 INT8 대비 손실 분산을 17.1% 개선하였다. 또한 동적 선택 모드는 정적 모드 대비 평균 3.8%p 높은 정확도를 달성하면서 수렴속도를 9.2% 향상시켰다. 본 연구는 자원 제약 엣지 디바이스에서의 지속적 모델 적응 가능성을 제시한다.
목차
요약 Abstract 1. 서론 2. 관련 연구 2.1 연속학습과 망각 완화 기법 2.2 MCU 기반 온디바이스 학습 2.3 양자화 기반 학습 3. 제안 방법 3.1 문제 정의 3.2 적응적 레이어 선택 3.3 SIEF-QPG 양자화 3.4 동적 vs 정적 선택 모드 4. 실험 및 결과 4.1 실험 환경 4.2 연속학습 성능 비교 4.3 양자화 방법 비교 4.4 비트폭 및 희소성 영향 4.5 동적 vs 정적 선택 모드 비교 4.6 EF Decay 민감도 분석 5. 결론 5.1 연구 요약 5.2 실용적 가이드라인 5.3 향후 연구 REFERENCES