긴급재난문자 재난 유형 자동 분류를 위한 TF-IDF 기반 모델과 Gemma4 프롬프트 모델 비교 연구
Comparing TF-IDF-Based Models and Gemma4 Prompting for Disaster Type Classification in Emergency Alert Messages
This study compares disaster type classification methods for Korean emergency alert messages, which are concise and terminology-heavy, making them difficult for foreign residents and disaster-vulnerable users to interpret quickly. Using emergency alert message data from the Ministry of the Interior and Safety in Korea, ten disaster types were defined and three models were evaluated; TF-IDF + Linear SVM achieved the numerically highest performance, with an accuracy of 0.9097 and a Macro F1-score of 0.9027, whereas the Gemma 4 E2B prompt-based model achieved an accuracy of 0.8472 and a Macro F1-score of 0.8303 without fine-tuning.
한국어
본 연구는 국내 긴급재난문자를 대상으로 재난 유형 자동 분류 방법의 성능을 비교하였다. 긴급재난문자는 위험 상황과 대응 요령을 신속하게 전달하지만, 짧고 압축적인 표현으로 인해 외국인 거주자와 재난 정보 취약계층이 의미 파악에 어려움을 겪을 수 있다. 본 연구에서는 행정안전부 긴급재난문자 데이터를 활용하여 10개 재난 유형을 분류 대상으로 설정하고, TF-IDF 기반 Logistic Regression, TF-IDF 기반 Linear SVM, Gemma 4 E2B prompt-based classification 모델을 적용하였다. 실험 결과, TF-IDF + Linear SVM 모델이 Accuracy 0.9097, Macro F1-score 0.9027로 수치상 가장 높은 성능을 보였으며, Gemma 4 E2B prompt-based classification 모델은 별도의 미세조정 없이 Accuracy 0.8472, Macro F1-score 0.8303을 기록하여 초기 분류 보조 도구로 활용될 수 있음을 확인하였다.
목차
요약 Abstract Ⅰ. 서론 Ⅱ. 관련 연구 2.1 재난문자와 재난안전 정보 전달 2.2 재난 텍스트 분류 연구 2.3 대규모 언어모델 기반 텍스트 분류 Ⅲ. 연구 방법 3.1 연구 절차 3.2 실험 데이터셋 구축 3.3 비교 모델 3.4 Gemma4 Prompt 설계 3.5 평가 지표 Ⅳ. 실험 및 결과 4.1 전체 성능 비교 4.2 Gemma4 Prompt 결과 분석 4.3 논의 Ⅴ. 결론 REFERENCES
Ever since next generation convergence technology became one of the most important industries in the nation, computing professionals have encountered a growing number of challenges. Along with scholars and colleagues in related fields, they have gathered in avariety of forums and meetings over the last few decades to share their knowledge, experiences and the outcome of their research. These exchanges have led to the founding of the International Next-generation Convergence technology (INCA) on December 1, 2015. INCA was registered as an incorporated association under the Ministry of Information and Communications. The main purpose of the organization is to improve our society by achieving the highest capability possible in next generation convergence technology.
간행물
간행물명
차세대융합기술학회논문지 [The Journal of Next-generation Convergence Technology Association]