AI 사기 탐지 시스템(FDS)의 동적 평가를 위한 페르소나 기반 적대적 사기 거래 생성 프레임워크
Persona-Based Adversarial Fraud Transaction Generation Framework for Dynamic Evaluation of AI-Based Fraud Detection Systems
Financial fraud detection systems (FDSs) are repeatedly retrained with newly observed attack data to adapt to evolving adversarial attacks. However, this process can lead to catastrophic forgetting, in which the system adapts to new attack types while losing its ability to defend against previously observed attacks. This phenomenon can result in a simultaneous increase in false positives and false negatives, ultimately degrading long-term detection performance. Existing financial fraud detection benchmarks largely rely on static datasets and single-point evaluations, making them inadequate for effectively assessing catastrophic forgetting and vulnerabilities to specific attack types in iterative attack– retraining environments. To address these limitations, this study proposes a dynamic FDS evaluation benchmark that integrates attacker-persona-based adversarial transaction data generation with an iterative attack–retraining process. We define fraudster attack scenarios as personas based on six attack archetypes, including threshold-evasion split payments and repeated use of the same card. Realistic adversarial transaction data are then generated by combining large language models (LLMs) with real-world financial transaction distributions. By retaining attack-type information throughout the retraining process, the proposed benchmark enables quantitative evaluation of both defensive capabilities against specific attack types and catastrophic forgetting, thereby addressing aspects that existing benchmarks fail to capture. Experimental results show that models trained on the proposed persona-based synthetic dataset exhibited lower classification performance than those trained on original real-world fraudulent transactions. Nevertheless, the availability of attack-type labels enabled more fine-grained interpretability of vulnerabilities across attack types through analyses such as vulnerability diagnosis by attack type (RDAP), generalization to unseen attack types (LOTO), and type-selective forgetting analysis. Furthermore, when predicting attack types using only the feature space, the performance was comparable to that of the baseline. Attack-type signals were identified for only four of the six attack types in the problem space generated by the LLM.
한국어
금융거래 사기 탐지 시스템(FDS)은 진화하는 적대적 공격에 대응하기 위해 새로운 공격 데이터를 반영하며 반복적으로 재학습된다. 그러나 이러한 과정은 새 공격 유형에 적응하는 동시에 기존 공격 방어 능력을 잃는 치명적 망각(Catastrophic Forgetting)을 유발할 수 있으며, 이는 오탐과 미탐의 교차 증가와 장기적 탐지 성능 저하로 이어진다. 기존 금융 사기 탐지 벤치마크는 대부분 정적 데이터셋과 단일 시점 평가에 머물러, 반복적 공격-재학습 환경에서의 망각과 공격유형별 취약점을 효과적으로 평가하지 못한다. 본 연구는 이러한 한계를 해결하기 위해 공격자 페르소나 기반 적대적 거래 데이터셋 생성과 반복적 공격-재학습 과정을 결합한 동적 FDS 평가벤치마크를 제안한다. 임곗값 회피 분할결제, 동일 카드 반복 사용 등 6가지 공격 원형(Attack Archetype)을 기반으로 사기 행위자의 공격 시나리오를 페르소나로 정의하고, 이를 LLM과 실제 금융거래 분포를 결합해 현실적인 공격 거래 데이터로 생성하며, 공격 유형 정보를 유지한 채 재학습을 수행하여 기존 벤치마크가 다루지 못한 공격 유형별 취약점에 대한 방어 능력과 치명적 망각을 정량 평가할 수 있다. 실험 결과, 제안하는 페르소나 기반 생성 데이터셋을 학습에 사용한 경우의 분류 성능은 원본 실제 사기 거래로 학습한 경우보다 낮았으나, 공격 유형 라벨을 통해 유형별 취약점 진단(RDAP), 미학습 유형 일반화(LOTO), 유형-선택적 망각 분석등 공격유형에 대한 보다 구체적인 해석가능성을 보였다. 또한 피처 공간만을 이용한 유형 예측의 경우 기준선과 유사한 성능을 보였으며, 유형 신호는 LLM이 생성한 문제 공간에서 6개 공격 유형 중 4개에 한해 확인되었다.
목차
【 요약 】 Ⅰ. 서론 Ⅱ. 관련연구 Ⅲ. 제안 시스템 Ⅳ. 실험 및 평가 Ⅴ. 결론 참고문헌 【Abstract】