현재 위치
Home
소크라테스식 질문 생성을 위한 온디바이스 LLM 파인튜닝 및 성능 평가
Fine-Tuning On-Device LLMs for Socratic Question Generation and Performance Evaluation
-
- 발행기관
- 제주대학교 지능소프트웨어 교육연구소 바로가기
-
- 간행물
- 지능정보융합과 미래교육 KCI 등재후보 바로가기
-
- 통권
- 제4권 제9호 (2025.06)바로가기
-
- 페이지
- pp.1-8
-
- 저자
-
- 언어
- 한국어(KOR)
-
- URL
- https://www.earticle.net/Article/A467751
※ 기관로그인 시 무료 이용이 가능합니다.
4,000원
원문정보
초록
- 영어
- This study investigates the educational applicability of on-device lightweight large language models (LLMs) through fine-tuning with a Korean-translated version of the SocratiQ dataset, which is built upon the Socratic method of questioning. Two compact models, Gemma 1B and LLaMA 1B, were fine-tuned using the LoRA approach, and their performances were evaluated. Both models achieved a BERTScore F1 of approximately 0.75, indicating high semantic similarity with reference questions. Gemma 1B demonstrated slightly higher linguistic consistency and clarity, while LLaMA 1B showed superior inference efficiency, with an average response time of under one second. Sample analysis also revealed that both models were capable of generating diverse types of Socratic questions in contextually appropriate ways. The results suggest that fine-tuned lightweight LLMs can serve as viable educational tools for AI-assisted questioning, even in resource-constrained or privacy-sensitive environments. This work offers foundational evidence for integrating on-device AI in self-directed learning and classroom support systems.
- 한국어
- 본 연구는 생성형 인공지능의 교육적 활용 가능성을 모색하기 위해, 소크라테스식 문답법 기반의 질의응답 데이터셋(SocratiQ)의 한 국어 번역본을 활용하여 경량 온디바이스 대형언어모델(LLM) 두 종류(Gemma 1B, LLaMA 1B)에 대해 LoRA 방식의 파인튜닝을 수 행하고 그 성능을 비교하였다. 실험 결과, 두 모델 모두 BERTScore 기준 약 0.75 수준의 의미 유사도를 달성하였으며, Gemma 1B는 질문 표현의 정교성과 일관성 측면에서 우수한 성과를 보였다. 반면 LLaMA 1B는 평균 1초 미만의 추론 시간을 기록하여 실시간 응답 에 더 적합한 효율성을 나타냈다. 또한 일부 사례 분석을 통해 두 모델이 문맥에 따른 다양한 소크라테스식 질문 유형을 생성할 수 있음 을 확인하였다. 본 연구는 온디바이스 환경에서도 교육용 LLM이 실질적 질문 생성 도구로 활용될 수 있음을 실증적으로 제시하며, 향 후 경량 AI 기반의 자기주도 학습 지원 시스템 설계에 유의미한 기초 자료를 제공한다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 이론적 배경
1. 소크라테스식 문답법의 교육적 가치
2. 소크라테스식 질문 생성(SoQG)을 위한 데이터셋과 모델 연구
3. LLM 기반 소크라테스 튜터의 교육적 효과
4. 온디바이스 LLM과 교육 응용 가능성
Ⅲ. 연구 설계
1. 연구 설계 개요
2. 데이터셋 구축
3. 실험 모델 및 LoRA 기반 파인튜닝 설정
4. 학습 구성
5. 평가 방법
Ⅳ. 연구 결과
1. 모델 학습 결과
2. 정량 평가: BERTScore
3. 효율성 평가: 추론 시간
Ⅴ. 결론
참고문헌
키워드
소크라테스식 질문 온디바이스 LLM 경량 언어모델 생성형 인공지능 질문 생성 대형 언어 모델 파인튜닝 Socratic Questioning On-device LLM Lightweight Language Models Generative AI Question Generation LLM Fine-tuning저자
간행물 정보
발행기관
-
- 발행기관명
- 제주대학교 지능소프트웨어 교육연구소 [Intelligent Software Education Research Institute]
- 설립연도
- 2022
- 분야
- 사회과학>교육학
- 소개
- 우리 연구소는 컴퓨터 과학 교육이 강조되는 세계적 흐름속에서 소프트웨어융합 인재 양성을 위한 교육 기반 구축을 위해 '지능소프트웨어교육센터'를 설립하여 운영하여 왔고, 이후 한국연구재단의 인문사회연구소지원사업에 선정되면서 2022년 3월, 우리나라 인공지능 교육의 거점 연구소로서 '지능소프트웨어교육연구소'로 새롭게 기관 명칭을 변경하고 전문 연구 기관으로서의 위상을 공고히 하였습니다. 우리 연구소는 설립된 이후부터 지금까지 인공지능을 중심으로 하는 지능정보시대를 열어갈 인공지능 컴퓨팅 융합 인재 양성을 위한 교육 기반 구축에 기여하고 있으며, 주요 연구 분야로는 지능정보사회에서 갖춰야할 디지털 소양으로써의 컴퓨팅 사고력 함양을 위한 소프트웨어와 인공지능 교육 연구, 유아부터 중장년층까지 평생교육차원의 인공지능 교육 연구, 지능정보격차 해소를 위한 정보배려계층 대상 인공지능 교육 연구, 윤리적으로 고려된 인공지능 교육으로 설계된 A!thics 교육 등의 인공지능 교육과 인공지능 기술과 응용 연구 등에 힘을 쏟고 있습니다. 또한 인문사회연구소 지원사업의 과제로 수준별 인공지능 컴퓨팅 교육을 위한 핵심 전략인 4P(Play, Problem solving, Product making, Project)전략에 기반하여 교육과정 개발과 컴퓨팅 사고력 함양을 위한 CT-EL(Computational Thinking-Experienced Learning) 기반 교수학습 방법 연구, 교재개발 등을 진행하고 있습니다. 앞으로 지능소프트웨어교육연구소는 제주 지역의 유관기관과 협력하여 제주의 미래를 이끌어갈 지능소프트웨어융합을 위한 지역 인재 양성 모델을 만드는데 앞장 서고, 더 나아가 우리나라의 인공지능 교육을 이끌어가는 우리나라 대표 연구 기관으로 자리매김할 수 있도록 최선을 다하겠습니다. 감사합니다.
간행물
-
- 간행물명
- 지능정보융합과 미래교육 [Intelligent Information Convergence and Future Education]
- 간기
- 수시
- eISSN
- 2951-4762
- 수록기간
- 2022~2026
- 등재여부
- KCI 등재후보
- 십진분류
- KDC 370 DDC 370
이 권호 내 다른 논문 / 지능정보융합과 미래교육 제4권 제9호
피인용수 : 0건 (자료제공 : 네이버학술정보)
함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.
출처 : 네이버학술정보
0개의 논문이 장바구니에 담겼습니다.