Earticle

초록

영어

Recently, the financial sector has increasingly adopted Small Language Models (SLMs) for their security and cost efficiency. However, the dialogue history that accumulates over long consultations causes a memory bottleneck. In financial consultation, key information such as monetary amounts, interest rates, and approval outcomes directly affects decision-making. As a result, conventional context compression methods based on statistical frequency or semantic similarity risk losing such critical information. To address this, we propose CS-KARE (Customer Service-Knowledge Aware REtention), which combines a key score based on a domain Knowledge Dictionary with semantic similarity to preserve essential information. To validate the method, we build a dataset of card limit-increase and card-loan scenarios from AI Hub financial synthetic data, and conduct experiments on a 4-bit quantized Qwen3-8B model. CS-KARE compresses 93.85% of the original tokens while achieving 100% accuracy and a 94.83% key-information retention rate. It also reduces VRAM usage by about 27% compared with the baseline and greatly shortens response latency. We expect that CS-KARE will contribute to SLM-based financial consultation in resource-constrained environments.

한국어

최근 금융권에서는 보안성과 비용 효율성을 이유로 SLM(Small Language Model)의 활용이 확대되고 있으나, 장시간 상담 과정에서 누적되는 대화 이력으로 인해 메모리 병목(Bottleneck) 문제가 발생한다. 특히 금융 상담은 금액, 금리, 승인 여부와 같은 핵심 정보가 의사결정에 직접적인 영향을 미치므로, 기존의 통계적 빈도 또는 의미적 유사도 기반 문맥 압축 기법은 중요한 정보를 손실시킬 위험이 있다. 이에 본 연구에서는 금융 상담 도메인의 업무 규칙을 반영한 지식 사전(Knowledge Dictionary) 기반의 핵심 점수와 의미적 유사도를 결합하여 핵심 정보를 보존하는 CS-KARE(Customer Service-Knowledge Aware REtention)를 제안한다. 제안 기법의 성능 검증을 위해 AI Hub 금융 합성 데이터를 활용하여 카드 한도 상향 및 카드론 신청 시나리오 기반 데이터셋을 구축하였으며, 4-bit 양자화된 Qwen3-8B 모델 환경에서 실험을 수행하였다. 실험 결과, CS-KARE는 원본 토큰의 93.85%를 압축하면서도 100%의 정확도와 94.83%의 핵심 정보 보존율을 달성하였다. 또한 Baseline 대비 VRAM 사용량을 약 27% 절감하고 평균 응답 지연 시간을 크게 단축하여 자원 효율성을 향상시켰다. 본 연구에서 제안한 CS-KARE는 제한된 자원 환경에서의 SLM 기반 금융 상담 서비스 구현에 기여할 것으로 기대된다.

저자

• 손서영 [ Seoyoung Sohn ]
• 김채원 [ Chaewon Kim ]
• 박민서 [ Minseo Park ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  The Journal of the Convergence on Culture Technology (JCCT) [문화기술의 융합]

• 간기

  격월간

• pISSN

  2384-0358

• eISSN

  2384-0366

• 수록기간

  2015~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 600 DDC 700