Earticle

초록

한국어

쿼리와 패시지 간의 연관성을 평가하는 것은 정보 검색에서 중요한 과제이다. 이 분야에서 GPT-4와 같은 거대 언 어 모델(LLM)의 성능은 사용되는 프롬프트의 품질에 크게 의존한다. 프롬프트 설계 방식은 주로 수동으로 이루어 지며, 그 효과는 일정하지 않다. 본 논문에서는 쿼리와 패시지간의 연관성 판단을 위한 프롬프트를 자동으로 생성하 는 자동 프롬 프트 생성 프레임워크(APGF)를 제안한다. APGF는 훈련 데이터셋을 활용하고, 점수 기반의 목적 함 수를 사용하여 훈련 과정에서 프롬프트를 자동으로 개선한다. APGF의 효과는 인간 평가자의 평과결과와 APGF가 평가한 결과가 얼마나 유 사한가를 그 기준으로 하여 평가된다. APGF가 생성한 프롬프트는 수동으로 작성된 프롬 프트보다 인간 평가자 판단과 더 높은 일치도를 보이는 연관성 평가를 제공함을 확인할 수 있었다. 이 접근법은 프롬 프트 최적화를 위한 자동화 솔루션을 제공하며, 정보 검색 시스템의 효과성과 효율성을 향상시키는 진전을 나타낸다.

영어

Evaluating the relevance between a query and a passage is a critical task in Information Retrieval. The efficacy of Large Language Models (LLMs) like GPT-4 in this domain is largely dependent on the quality of the prompts employed. Current methods of prompt crafting are often manual and vary in effectiveness. In this paper, we introduce the Automated Prompt Generation Framework (APGF), designed to automatically generate optimized prompts for GPT-4, with a specific focus on query-passage relevance tasks. APGF leverages a training dataset and employs a score-based objective function to automate the process of prompt selection during training. We evaluate APGF’s effectiveness through a direct comparison with a human- judged relevance set. The results indicate that APGF-generated prompts yield relevance assessments that more closely align with human judgments than do prompts crafted by a human judge. Our approach offers an automated solution for prompt optimization and presents an advancement in the effectiveness and efficiency of Information Retrieval systems.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 LLM을 활용한 정보 검색
2.2 프롬프트 엔지니어링
3. 제안 방법
3.1 문제정의
3.2 프롬프트 성능평가 지표
3.3 APGF
3.4 프롬프트의 반복적 수정
3.5 수렴 조건
4. 실험 환경 및 평가 방법
4.1 데이터셋과 하이퍼파라미터
4.2 APGF가 생성한 프롬프트의 평가
5. 실험결과
5.1 초기 프롬프트의 품질
5.2 최종 프롬프트 분석
5.3 APGF로 생성된 프롬프트의 유용성 평가
6. 논의
6.1 신뢰할 수 있는 평가를 위한 적응형 프롬프트선택
6.2 LLM을 이용한 직접적인 랭킹모델
6.3 제한 사항
7. 결론
Acknowledgement
참고문헌

저자

• 최재걸 [ Jaekeol Choi | 한국외국어대학교 AI데이터융합학부 ]

참고문헌