Earticle

전 세계 항공 기업과 국가 기관들은 수십 년간 안전 보고서를 작성하고 이를 분석하여 항공 사고 예방을 위해 지속 적으로 노력해왔다. 그러나 보고서의 규모가 방대해지고 내용이 복잡해짐에 따라 수동 분석만으로는 한계가 있다. 또한, 보안상의 이유로 웹에서 서비스하는 대형 언어 모델의 사용이 어려운 경우가 많다. 이러한 문제를 해결하기 위해 본 논문에서는 항공 안전사고 보고서에서 사고 원인을 추출하기 위해 항공 도메인에 특화된 자연어 처리 모델 인 AirGemma를 제안한다. AirGemma는 Gemma2-2B 모델을 기반으로 항공 도메인 데이터를 활용한 DAPT (Domain Adaptive Pre-Training) 기법을 적용해 항공 도메인 이해도를 향상시켰다. 이후 PEFT(Parameter Efficient Fine-Tuning) 기법을 활용한 미세조정을 통해 사고 원인 추출 성능을 높였다. 실험 결과, AirGemma 가 사전학습과 미세조정을 적용하지 않은 모델 대비 F1-score, ROUGE, BLEU 지표에서 우수한 성능을 기록했 다. 또한 GPT-4를 평가자로 사용한 쌍대비교 결과, AirGemma는 GPT-3.5 Turbo보다 높은 승률을 기록했고 단 일 답변 평가 결과 LLaMA3-70B와 GPT-3.5 Turbo에 비해 사고 원인 분석에 있어 더 높은 사실성 점수를 보였 다. 이러한 결과는 항공 도메인에 특화된 모델이 사고 원인 식별에 효과적임을 입증한다. AirGemma는 항공 산업 데이터의 보안 및 제한 조건을 고려하여 로컬 환경에서 안전하게 동작할 수 있도록 설계되었으며, 항공 안전사고 분 석 및 예방을 위한 새로운 접근 방안을 제시한다.

Analysis of safety accident reports is crucial for global aviation companies and national agencies to prevent aviation accidents. However, with increasing volume and complexity of these reports, manual analysis has its limitations. Moreover, due to security concerns, using large-scale language models served through the web is often not inapplicable. To address these challenges, this paper proposes a domain-specific natural language processing model called AirGemma, which is specifically designed to extract accident causes from aviation safety reports. AirGemma is built upon the Gemma2-2B model and enhances its domain understanding through Domain Adaptive Pre-Training(DAPT) using aviation-specific data. The performance of the proposed model is further improved by applying Parameter Efficient Fine-Tuning(PEFT). Experimental results show that AirGemma outperforms models without pre-training and fine-tuning in terms of F1-score, ROUGE, and BLEU metrics. Additionally, comparative evaluations using GPT-4 as a judge reveal that AirGemma achieves a higher win rate than GPT-3.5 Turbo, and in single-answer assessments, it demonstrated greater accuracy in accident cause analysis conpared to both LLaMA3-70B and GPT-3.5 Turbo. These findings demonstrate that AirGemma is effective in identifying accident causes within the aviation domain. Designed to operate securely in a local environment, AirGemma offers a new approach to aviation safety accident analysis and prevention.

교통안전 분야는 명확한 판단 근거와 실제 사례를 기반으로 정책이 수립되고 시행되는 특 성이 있다. 그렇기에 범용 대규모 언어모델(large language model, LLM)을 활용하는 데는 한계 가 존재한다. 따라서, 본 연구는 교통안전 분야에 특화된 LLM의 구축 가능성과 활용성을 실증 적으로 검토하고, 이를 위한 체계적인 개발 프로세스를 제시하고자 한다. 이에 따라 본 연구에 서는 교통사고 유형과 관련 정보를 기반으로 교통안전대응책을 제시할 수 있도록 파인튜닝 (fine-tuning)과 검색 증강 생성(retrieval-augmented generation) 기법을 적용한 소규모 언어모델 (small language model, SLM)을 개발하고, 실제 개선사업 사례를 통해 모델의 응답을 정성적으 로 평가하였다. 이 과정에서 학습 데이터의 구조화, 다차원적 맥락 정보의 반영, 그리고 정교한 평가체계의 필요성이 핵심 고려사항으로 도출되었으며, 본 연구는 교통안전 분야의 특성과 실무 환경을 반영한 SLM 구축의 방향성과 기반을 마련했다는 점에서 학술적·실무적 의의가 있다.

The field of traffic safety requires policies to be established and implemented based on clear evidence and real-world cases, which limits the applicability of general-purpose large language models (LLMs). This study investigates the feasibility and applicability of domain-specific LLMs for traffic safety and proposes a systematic development process. To this end, a small language model (SLM) was developed using fine-tuning and retrieval-augmented generation (RAG) techniques to generate countermeasures based on traffic accident types and related information. The model’s responses were qualitatively evaluated through actual improvement project cases. Key considerations derived from this process include the structuring of training data, incorporation of multidimensional contextual information, and establishment of a rigorous evaluation framework. This study provides both academic and practical implications by presenting the direction and foundation for developing traffic safety domain-specific SLMs.