Earticle

초록

영어

This paper presents the design and development of a multimodal intelligent camera integrating thermal and RGB sensors. The proposed system synchronizes temperature and visual data within a unified hardware frame and performs real-time hazard detection using a lightweight TensorFlow Lite-based edge AI model. To enable low-power operation, 8-bit quantization and lightweight neural network architectures are applied. Furthermore, the fusion of thermal and RGB modalities enhances detection reliability under challenging environmental conditions such as low illumination or smoke. Experimental results demonstrate that the proposed thermal–RGB sensor fusion approach improves detection performance and environmental robustness compared to single-modality systems.

한국어

본 논문에서는 적외선 열화상 센서와 RGB 센서를 통합한 멀티모달 지능형 카메라의 설계 및 개발을 제안하였다. 제안 시스템은 두 센서를 단일 프레임 구조로 통합하여 온도 정보와 영상 데이터를 시간 동기화 방식으로 수집하며, TensorFlow Lite 기반의 경량 Edge AI 모델을 적용하여 실시간 위험 감지를 수행하였다. 8-bit 양자화와 경량 네트워크 구조를 적용하여 저전력 환경에서도 안정적인 추론이 가능하도록 설계하였다. 또한, 열화상과 RGB 데이터의 융합 처리를 통해 조명 변화나 연기 등 환경적 제약 조건에서도 감지 신뢰성을 향상시켰다. 실험결과, 제안된 열화상–RGB 센서 융합 방식은 단일 센서 기반 시스템 대비 향상된 위험 감지 성능과 환경 적응성을 보였다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 RGB 기반 위험 감지 연구
2.2 열화상 기반 위험 감지 연구
2.3 열화상–RGB 융합 기반 멀티모달 연구
2.4 Edge AI 기반 실시간 지능형 카메라 연구
2.5 기존 연구와의 차별성
3. 시스템 구성 및 하드웨어 설계
3.1 전체 시스템 구성
3.2 센서 모듈 설계
3.3 하드웨어 통합 구조
3.4 Edge AI 처리 플랫폼
4. 멀티모달 센서 융합
4.1 시간 동기화 기법
4.2 특징 수준 융합 전략
4.3 경량 모델 설계
5. 시스템 개발 및 검증
5.1 시스템 개발
5.2 시스템 검증
6. 결론
REFERENCES

키워드

멀티모달 센서 적외선 열화상 RGB 카메라 엣지 인공지능 화재 감지 지능형 카메라 Multimodal sensor Thermal imaging RGB camera Edge AI Fire detection Intelligent camera.

저자

• 김봉현 [ Bong-Hyun Kim | 서원대학교 컴퓨터공학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물