Earticle

초록

영어

This study examines whether generative AI can use reading passages as evidence for answer selection in low-resource African languages. Using the Belebele benchmark, parallel reading-comprehension items in English, Amharic, Swahili, and Yoruba were collected, and 16 items were selected through item-equivalence review. The qwen3:8b model was tested on the same items under two conditions: one in which only the question and answer options were provided, and another in which the passage, question, and answer options were provided in the same language. The overall accuracy was 45.3% without passages and 64.1% with passages. By language, accuracy increased in English, Amharic, and Swahili, while Yoruba showed no change. These results suggest that, even when the same information is provided, generative AI may process and reflect it differently across low-resource languages.

한국어

본 연구의 목적은 저자원 아프리카 언어에서 생성형 AI가 독해 지문을 정답 선택의 근거로 활용할 수 있는지 검토하는 데 있다. 이를 위해 Belebele의 영어, 암하라어, 스와힐리어, 요루바어 병렬 독해 문항을 수집하고 문항 등가성 검토를 거쳐 16개 문항을 선정하였다. qwen3:8b 모델을 활용하여 동일한 문항에 대해 각 언어별로 질문·선택지만 제시한 조건과 질문·선택지에 지문을 포함해서 제시한 조건에서의 응답 결과를 분석하였다. 분석 결과, 전체 정답률은 질문·선택지만 제시한 조건에서 45.3%, 지문·질문·선택지를 함께 제시한 조건에서 64.1%로 나타나 지문을 제시했을 때의 정답율이 높아짐을 확인했다. 반면 언어별로는 영어, 암하라어, 스와힐리어의 정답율은 높아졌으나 언어마다 차이를 보였고 요루바어는 변화가 없었다. 이러한 결과는 저자원 언어에서 동일한 정보가 제공되더라도 생성형 AI가 이를 처리하고 응답에 반영하는 방식이 다를 수 있음을 시사한다.

목차

요약
Abstract
1. 서론
2. 관련연구
2.1 저자원 언어와 다국어 언어모델
2.2 아프리카 언어 자원과 평가 연구
2.3 문맥 기반 독해 평가와 근거 활용
3. 연구 내용 및 방법
3.1 연구 설계
3.2 데이터 수집 및 전처리
3.3 실험 조건
4. 연구 결과
4.1 문항 선정 결과
4.2 언어별 비교 분석
4.3 응답 변화 유형 분석
5. 결론 및 향후 연구
REFERENCES

키워드

저자

• 강지훈 [ Ji-Hoon Kang | 부산외국어대학교 Global Studies 학부 조교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  디지털정책학회지

• 간기

  월간

• eISSN

  2951-245X

• 수록기간

  2022~2026

• 등재여부

  KCI 등재후보

• 십진분류

  KDC 569 DDC 620