Due to the increasing size and complexity of modern buildings, it is becoming difficult to quickly and accurately assess fire risks using only a single sensor or single image information. While RGB cameras and thermal cameras are useful for providing distinct visual information, their independent use presents limitations in clearly distinguishing actual fires or malfunctions caused by environmental factors. IoT(Internet of Things) sensors also exhibit localized limitations due to spatial blind spots. This study proposes a multimodal data fusion approach that integrates RGB, thermal imaging, and IoT sensor data to overcome the limitations of existing static detection systems and lay the groundwork for real-time fire response. A fire risk prediction prototype utilizing the Cross-Attention Fusion technique was designed, and an MQTT(Message Queuing Telemetry Transport) Android prototype was implemented in a Python-based simulation environment to verify the entire processing workflow—spanning data generation, attention calculation, fusion, and result transmission—as well as the system's operational feasibility.
한국어
현대 건축물의 대형화·복잡화로 인해 단일 센서나 단일 영상 정보만으로는 화재 위험을 신속하고 정확하게 판단하기 어려워지고 있다. RGB 카메라와 열화상 카메라는 각기 다른 시각적 정보를 제공하여 유용하지만, 단독 활용 시 환경적 요인에 따른 오작동이나 실제 화재를 명확히 구분하는 데 한계가 있다. IoT 센서 역시 공간적 사각지대가 존재하는 국소적 한계가 있다. 본 연구에서는 기존 정적 감지 시스템의 한계를 극복하고 실시간 화재 대응의 기초를 마련하고자, RGB, 열화상 및 IoT 센서 데이터를 통합하는 멀티모달 데이터 융합 접근법을 제안한다. Cross-Attention Fusion 기법을 적용한 화재위험 예측 프로토타입을 설계하고, Python 기반 시뮬레이션 환경에서 MQTT-Android 프로토타입을 구축하여 데이터 생성, Attention 계산, Fusion, 결과 전달에 이르는 전체 처리 과정과 동작 가능성을 검증하였다.
목차
Abstract 요약 1. Introduction 2. Related Works 2.1 Image-based fire detection 2.2 Thermal-based fire detection 2.3 IoT Sensor-based Fire Detection 3. Fire Risk Prediction Prototype 4. Experimental Results and Analysis 5. Conclusions REFERENCES