This study aims to enhance the interpretability and reliability of prediction results by applying an Explainable Artificial Intelligence (XAI) technique to a deep learning model that classifies learners’ comprehension using EEG (electroencephalography) and eye-tracking data. A CNN-LSTM model was trained using multimodal time-series biosignals, and the Saliency Map method was employed to visualize the key time intervals and signal features that contributed to the model’s predictions. The analysis revealed that, in cases where comprehension was achieved, stable activity in the alpha and low-beta bands along with consistent gaze fixation were dominant features. In contrast, predictions of non-comprehension were strongly associated with abrupt increases in gamma band activity and unstable eye movements. Such visual explanations go beyond binary classification by offering interpretable insights into learners’ cognitive states and providing a foundation for designing personalized feedback. This study demonstrates the potential of integrating explainability into biosignal-based learning analytics models, paving the way for real-time adaptive learning systems.
한국어
본 연구는 EEG(뇌파) 및 시선 추적 데이터를 활용하여 학습자의 이해 여부를 분류하는 딥러닝 모델에 설명 가능한 인공지능(Explainable AI, XAI) 기법을 적용함으로써, 예측 결과에 대한 해석 가능성과 신뢰성을 확보하고 자 하였다. 시계열 생체신호를 입력으로 하는 CNN-LSTM 모델을 기반으로 학습을 수행하고, Saliency Map 기법 을 통해 예측 결과에 영향을 미친 주요 시간 구간과 생체 지표를 시각화하였다. 분석 결과, 이해한 경우에는 알파 및 저베타 대역의 안정적 뇌파 활동과 시선 고정이 주요 특징으로 나타났고, 이해하지 못한 경우에는 감마파의 급등과 시선의 불안정성이 두드러졌다. 이와 같은 시각적 해석은 단순한 분류 결과를 넘어 학습자의 인지 상태를 설명하고, 개인 맞춤형 피드백 설계에 활용할 수 있는 기반을 제공한다. 본 연구는 생체신호 기반 학습 분석 모델에 설명 가능성을 통합함으로써, 향후 실시간 적응형 학습 시스템으로의 확장 가능성을 제시한다.
목차
요약 Abstract 1. 서론 2. 관련 연구 2.1 설명 가능 인공지능(XAI)의 개요 2.2 시계열 데이터 분석에서의 XAI 적용 사례 3. 연구 방법 3.1 전체 시스템 개요 3.2 딥러닝 모델 구조 3.3 XAI 기법 적용 4. 실험 결과 4.1 실험 환경 및 데이터 셋 4.2 주요 Feature에 대한 시각적 해석 4.3 클래스별 기여도 분석 결과 4.4 예측 정확도 관점에서의 Saliency 분포 비교 4.5 사례 기반 설명 예시 5. 결론 REFERENCES
키워드
설명 가능한 인공지능(XAI)뇌파(EEG)시선 추적(EyeTracking)학습 이해도 분석시계열 딥러닝 모델XAIEEGEye-TrackingLearning ComprehensionTime-series Deep Learning
저자
홍서빈 [ Seo-Bin Hong | 서원대학교 정보통신공학과 석사과정 ]
김봉현 [ Bong-Hyun Kim | 서원대학교 컴퓨터공학과 교수 ]
Corresponding Author