Earticle

초록

영어

This study proposes D-KARE (Domain-Knowledge Aware REtention), a method for efficiently managing long contexts in Small Language Model (SLM) environments with limited computing resources. Existing long context management techniques typically rely on statistical importance, which often leads to the loss of low-frequency but domain-critical information. Furthermore, their high implementation complexity and computational costs present significant limitations for deployment in low-resource environments. To address these issues, D-KARE selectively preserves key information by combining a domain knowledge dictionary with semantic similarity. Additionally, Retrieval-Augmented Generation (RAG) is integrated to enhance the quality of responses that context retention alone may not fully support. Experimental results using a skincare consultation dataset demonstrate that the proposed model achieves an accuracy of 80%, which is four times higher than the baseline, while reducing VRAM usage by approximately 18.5%.

한국어

본 연구는 제한된 컴퓨팅 자원을 가진 SLM(Small Language Model) 환경에서 장기 문맥을 효율적으로 관리하기 위한 D-KARE(Domain-Knowledge Aware REtention) 기법을 제안한다. 기존의 장기 문맥 관리 기법들은 통계적 중요도에 의존하여 빈도는 낮지만 도메인 특성상 필수적인 정보를 소실하거나, 복잡한 구현 및 연산 비용으로 인해 저사양 환경 적용에 한계가 존재한다. 본 연구에서 제안하는 D-KARE는 도메인 지식 사전(Knowledge Dictionary)과 의미적 유사도를 결합하여 핵심 정보를 선별적으로 보존함으로써 이러한 문제를 해결한다. 또한, RAG(Retrieval-Augmented Generation)를 활용하여 답변의 질을 보완한다. 스킨케어 상담 데이터셋을 활용하여 검증한 결과, 제안 모델은 Baseline(20%) 대비 4배 높은 정확도(80%)를 달성하였으며, VRAM 사용량을 약 18.5% 절감하여 온디바이스 환경에서의 유효성을 증명하였다.

저자

• 손서영 [ Seoyoung Sohn ]
• 김채원 [ Chaewon Kim ]
• 박민서 [ Minseo Park ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  The Journal of the Convergence on Culture Technology (JCCT) [문화기술의 융합]

• 간기

  격월간

• pISSN

  2384-0358

• eISSN

  2384-0366

• 수록기간

  2015~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 600 DDC 700