Earticle

초록

한국어

본 연구는 대형 언어 모델(LLM)의 필터링 메커니즘이 표현(paraphrase)의 변화에 얼마나 민감한지를 실험적으로 분석한 결과를 다룬다. 동일한 의미를 가진 다섯 개의 프롬프트(원문 및 네 가지 패러프레이즈)를 Falcon-7B-Instruct 모델에 입력하 여 응답을 비교한 결과, 직접적인 위험 요청(Original Prompt) 뿐만 아니라, 의도만 유지한 우회적 표현들(Paraphrase 2~4)에 서도 모델이 상세한 위험 정보(화학물질 조합, 조립, 배포 등)를 출력함을 확인하였다. 반면 일부 특정 표현 조합(Paraphrase 1)의 경우에는 모델이 윤리적 거부 응답을 생성, 필터링이 작동함을 보였다. 이 실험은 현재의 LLM 안전 시스템이 프롬프트 의 의미가 아닌 “표면 표현”에 의존하고 있음을 보여주며, semantics-invariant filtering (의미 불변 필터링)이 구현되지 않은 상태에서 LLM은 패러프레이즈 공격에 취약함을 시사하는 것을 분석하였다.

영어

This study experimentally analyzes the sensitivity of the filtering mechanism of a large language model (LLM) to changes in paraphrase. Five prompts (original text and four paraphrases) with identical meaning were fed to the Falcon-7B-Instruct model, and the responses were compared. The model output detailed hazard information (chemical combination, assembly, distribution, etc.) not only for direct hazard requests (Original Prompt) but also for circumlocutions that retained the intent (Paraphrases 2-4). Conversely, for a specific combination of phrases (Paraphrase 1), the model generated an ethical rejection response, demonstrating the effectiveness of the filtering mechanism. This experiment demonstrates that current LLM safety systems rely on the "surface representation" of the prompt, not its meaning. Furthermore, the analysis suggests that LLMs are vulnerable to paraphrase attacks in the absence of semantics-invariant filtering.

목차

요약
ABSTRACT
1. 서론
2. 관련연구
2.1 LLM 정렬과 안전성
2.2 Prompt Injection과 탈옥 공격 연구
2.3 LLM 필터링 메커니즘과 한계
2.4 Paraphrase 기반 우회 공격
3. 제안방법론
3.1 공격 프롬프트 세트 구성
3.2 모델 입력 및 응답 수집
3.3 탈옥 성공 판단 기준
4. 실험 환경 및 실험 결과
4.1 실험에 사용된 프롬프트 데이터셋
4.2 사용된 언어 모델
4.3 탈옥 공격 실험을 위한 하이퍼파라미터
4.4 실험결과
5. 토론
5.1 공격 모델의 가정과 적용 가능성
5.2 공격 수행 시 고려할 점
5.3 시사점
6. 결론
참고문헌

저자

• 맹주본 [ Joo Bon Maeng | 육군사관학교 AI·데이터과학과 강사 ] 주저자
• 권현 [ Hyun Kwon | 육군사관학교 AI·데이터과학과 부교수 ] 공동저자
• 이무현 [ Moohyun Lee | 육군사관학교 전자공학과 강사 ] 교신저자

참고문헌