생성형 인공지능의 수학적 성능 및 추론 과정 분석 : 대학수학능력시험을 중심으로
Analysis of mathematical performance and reasoning process of generative AI : focusing on the college scholastic ability test
This study analyzes the mathematical performance and reasoning processes of the generative AI model o1-preview to explore its potential application in mathematics education. In particular, this research uniquely delves into the reasoning processes of generative AI, identifying specific stages and characteristics that emerge during problem-solving. Using math problems from the Korean College Scholastic Ability Test (2022-2024), the study examined the model's response accuracy and the characteristics of its reasoning steps. The findings reveal that o1-preview demonstrated high accuracy in 2-point and 3-point questions and successfully solved some challenging 4-point questions. During the reasoning process, the model predominantly derived correct answers through the ‘analysis’ and ‘planning/execution’ stages, with particularly high accuracy observed when the ‘exploration’ and ‘verification’ stages were included. This study suggests that o1-preview could serve as a valuable computational tool in mathematics education, highlighting its potential for practical application. However, the study also identified limitations in the model's performance, particularly when ‘exploration’ and ‘verification’ stages were insufficiently executed. To address these issues, the importance of teacher guidance and well-designed prompts for utilizing generative AI in problem-solving is emphasized. This research evaluates the practical applicability of generative AI in real educational settings and aims to explore effective usage strategies for diverse educational environments in the future.
한국어
본 연구는 수학교육에서 생성형 인공지능(o1-preview)의 활용 가능성을 탐색하기 위하여, 수학적 성능 및 추론 과정을 분석하였다. 특히, 생성형 인공지능의 추론 과정을 심층적으로 분석한 독창적인 연구로, 문제 해결에서 나타나는 구체적인 단계와 특성을 도출하였다. 2022~2024학 년도 대학수학능력시험 수학 문제를 대상으로 o1-preview의 답변 정확성과 추론 단계의 특징을 검토한 결과, 2점 및 3점 문항에서 높은 정확도를 보였고, 일부 4점 고난도 문항도 성공적으로 해결하였다. 추론 과정에서는 ‘분석’과 ‘계획/실행’ 단계를 통해 대부분 정답을 도출했으며, ‘탐색’과 ‘검증’ 단계가 포함될 경우 특히 높은 정확도를 보였다. 이는 o1-preview는 수학교육에서 활용 가능한 유용한 공학 도구임을 시사하며, 실질적인 적용 가능성을 보여준다. 그러나 문제 풀이 과정에서 ‘탐색’과 ‘검증’ 단계가 충분히 수행되지 않을 경우 수학적 오답을 생성한다는 한계를 확인하였으 며, 이를 해결하기 위해 교사의 지도와 생성형 인공지능 활용 프롬프트 설계가 중요함을 강조하였다. 본 연구는 실제 교육 현장에서의 생성형 인공지 능 활용 가능성을 구체적으로 평가하며, 추후 다양한 교육 환경에서의 효과적인 사용 방안을 모색하고자 하였다.
목차
국문요약 Abstract Ⅰ. 서론 Ⅱ. 이론적 배경 1. 수학문제 해결의 단계와 설명적 단계 모델 2. 생성형 인공지능의 수학적 성능 평가 Ⅲ. 연구 방법 1. 연구 대상 2. 연구 절차 및 방법 Ⅳ. 연구 결과 1. o1-preview의 2023, 2024, 2025학년도 대학수학능력시험의 답변 정확성 2. o1-preview의 추론 과정 분석 Ⅴ. 결론 참고문헌
키워드
생성형 인공지능수학적 성능 분석추론과정맞춤형 학습지원generative AImathematical performance analysisreasoning processeducational utilization
저자
권오남 [ Kwon, Oh Nam | 서울대학교 교수 ]
신병철 [ Shin, Byoung Chul | 수원외국어고등학교 교사 ]
오세준 [ Oh, Se Jun | 홍익대학교 조교수 ]
Corresponding to (교신저자)