Criterion Validity of Zero Trust Maturity Self-Assessment : Measuring Defence Efficacy in a Single Financial Institution
제로트러스트 성숙도 자가평가의 기준타당도 : 단일 금융기관 대상 방어 실효성 실측
Following the relaxation of mandatory physical network isolation, South Korean financial institutions increasingly use zero trust maturity self assessments for regulatory compliance verification and security investment decisions. However, this practice assumes that higher maturity scores represent stronger defensive capabilities. This study empirically evaluates this assumption using a Docker-isolated testbed, where six preventive capabilities were implemented as actual security mechanisms across five maturity levels. Repeated MITRE ATT&CK-based attacks ensured that defence outcomes reflected real kernel and cryptographic states. Results from 30 capability–maturity combinations showed that self-assessment scores increased linearly, whereas measured defence performance followed capability-dependent step functions with different activation thresholds. Comparison with one operating financial institution’s raw self-assessment revealed non-zero bias across all seven lines: four over-credited defences not confirmed by measurement, with data encryption reaching +0.80, while three under-credited effective defences. Given the single-institution, single-tool case, these bias values are not population estimates; rather, the findings indicate that capability-specific calibration requires validation at scale.
한국어
물리적 망분리 의무가 완화된 이후, 국내 금융기관은 규제 준수 검증과 보안 투자 의사결정에 제로트러스트 성숙도 자가평가를 점차 폭넓게 활용하고 있다. 그러나 이러한 활용은 성숙도 점수가 높을수록 실제 방어 역량도 강하다는 것을 전제한다. 본 연구는 여섯 개 예방적 보안 역량을 다섯 단계의 성숙도 수준에서 실제 보안 메커니즘으로 구현한 Docker 기반 격리 테스트베드를 이용하여 이 전제를 실증적으로 평가하였다. MITRE ATT&CK 기반 공격을 반복 수행함으로써 방어 결과가 실제커널 상태와 암호학적 상태를 반영하도록 하였다. 역량과 성숙도를 조합한 30개 셀을 측정한 결과, 자가평가 점수는 선형으로 증가한 반면 실측 방어 성능은 활성화 임계 수준이 서로 다른 역량별 계단 함수 형태를 보였다. 운영 중인 금융기관 한 곳의 자가평가 원자료와 대조한 결과, 일곱 개 측정선 전부에서 0이 아닌 편향이 확인되었다. 네 개 측정선에서는 측정으로 확인되지 않은 방어가 과대 산정되었고(데이터 암호화 +0.80으로 최대), 세 개 측정선에서는 실제로 효과가 있는 방어가 과소 산정되었다. 단일 기관·단일 도구 사례라는 점에서 이러한 편향 값은 모집단 추정치가 아니며, 본 연구의 결과는 역량별 보정이 보다 넓은 규모의 검증을 거쳐야 함을 시사한다.
목차
ABSTRACT 요약 1. Introduction 2. Related Work 2.1 Zero Trust Maturity Models 2.2 Quantification Models and Measurement Validity 2.3 Adversary-Emulation-Based Verification 3. Research Method 3.1 Verification Process Design 3.2 System and Measurement Environment 3.3 Definition of Verification Variables and the Efficacy Function 3.4 Measurement Specification by Stage 3.5 Construction of the Verification Data 4. Experimental Results 4.1 Defence Efficacy and Step Structure by Capability 4.2 Detailed Results for Data Encryption and Authentication 4.3 Credit Bias 5. Conclusion References