As AI-assisted cyber attacks become faster and more complex, the ability to select an effective course of action (COA) after detection has become increasingly important to defensive outcomes. This study proposes a cyber-defense decision-support framework in which a Frontier Red AI and a role-separated Local Blue AI Team engage in multi-round wargaming, linking detection results to the generation, evaluation, and ranking of multiple COAs. Before execution, the Red AI submits a fixed ground-truth package containing the target asset, attack path, ATT&CK techniques, expected indicators of compromise, and success conditions. An independent Referee AI then validates the Blue AI outputs against this package and evidence measured in a Cyber Battle Range. Each COA is evaluated using Mission Score (MS), Service Continuity (SC), and Residual Risk (RR), which are combined into a COA Ranking Score (CRS) for prioritization. The LoRA-trained Multi-LLM configuration achieved a detection rate of 91.8±1.0%, ATT&CK mapping accuracy of 88.9±1.3%, an MS of 89.8±1.4, and an FPR of 5.9±0.8%. Across five independent trials of a five-round adaptive engagement, Attack Success Rate (ASR), an outcome metric not included in CRS, decreased from 43.2% to 21.8%, while Critical Asset Protection Rate (CAPR) increased from 78.6% to 93.1%. These results indicate that the proposed framework can connect AI-vs-AI cyber wargaming outcomes to quantitative COA comparison and operational decision support.
한국어
AI를 활용한 사이버 공격이 빠르게 고도화되면서, 공격 탐지 이후 어떤 대응방책(Course of Action, COA)을 얼마나 신속하고 효과적으로 선택하느냐가 방어 성과를 좌우하게 되었다. 본 연구는 인터넷 접점의 Frontier Red AI와 내부 Local Blue AI Team 간 모의교전을 통해 탐지 결과를 복수 COA의 생성·평가·순위화로 연결하는 사이버 방어 의사결정 지원 프레임워크를 제안한다. Red AI는 공격 전에 목표 자산, 공격경로, ATT&CK 기술, 예상 침해지표와 성공조건을 포함한 정답지를 제출하고, 독립 Referee AI는 이를 Cyber Battle Range의 실측 증거와 대조하여 탐지·대응 결과를 검증한다. 각 COA는 임무점수(Mission Score, MS), 서비스 연속성(Service Continuity, SC), 잔여위험(Residual Risk, RR)으로 평가하고, 세 지표를 결합한 COA Ranking Score(CRS)로 우선순위를 제시한다. 실험 결과, LoRA로 학습한 Multi-LLM 구조는 탐지율 91.8±1.0%, ATT&CK 매핑 정확도 88.9±1.3%, MS 89.8±1.4, FPR 5.9±0.8%를 기록하였다. 또한 5회전의 적응형 연속 교전을 독립적으로 5회 수행한 결과, CRS에 포함되지 않는 실측지표인 공격 성공률(ASR)은 43.2%에서 21.8%로 감소하고 핵심자산 보호율(CAPR)은 78.6%에서 93.1%로 증가하였다. 이러한 결과는 제안 프레임워크가 AI 기반 모의교전 결과를 정량적인 COA 비교와 운용자 승인 절차로 연결하여 사이버 방어 의사결정을 지원할 수 있음을 보여준다.
목차
요약 ABSTRACT 1. 서론 2. 관련 연구 2.1 AI 기반 사이버 모의환경 2.2 LLM 기반 사이버 위협 분석·대응 자동화 2.3 기존 연구와 본 연구의 차이 3. 제안하는 프레임워크 3.1 전체 구성 3.2 적응형 다회전 모의교전 3.3 Local Blue AI Team 구성 및 모델 선정 3.4 독립 Referee AI 검증 3.5 COA 생성·평가 및 순위화 4. 실험 설계 4.1 실험 환경 4.2 실험 데이터셋 4.3 실험설계 및 평가지표 4.4 적응형 다회전 모의교전 실험 5. 실험 결과 및 분석 5.1 구조 및 학습조건별 성능 5.2 정확도와 처리 지연의 상충관계 5.3 COA 생성 및 CRS 기반 선택 결과 5.4 적응형 다회전 모의교전 결과 6. 결론 참고문헌