상호작용 및 피드백 강화를 위한 생성형 AI 기반 멀티모달 교수· 학습 지원 시스템
Generative AI-Based Multimodal Teaching and Learning Support System for Enhancing Interaction and Feedback
This paper develops a web-based teaching and learning support system integrating generative AI and STT technology to address limited interaction, question avoidance, and delayed feedback in university lectures. The system operates across three phases. During class, it analyzes real-time speech to generate question lists and collects anonymous responses to identify learning needs. Post-class, it provides instructors with keywords for reflection and students with multimodal summaries (transcripts and screen captures) for review. Outside class, it offers hint-based Q&A and immediate AI feedback on assignments. Validation confirmed that the system effectively extracts meaningful educational data with acceptable response latency for classroom use. The proposed system contributes to enhancing learning effectiveness by promoting interaction and providing timely, context-aware review environments.
한국어
본 논문은 대학 강의의 상호작용 부재, 질문 기피, 피드백 지연 문제를 해결하고자 생성형 AI와 실시간 음성 인식(STT) 기술을 결합한 웹 기반 교수·학습 지원 시스템을 설계하고 개발한다. 제안 시스템은 전체 학습 과정을 세 단계로 구분하여 지원한다. 수업 중에는 학습자의 잠재적 의문점을 도출 하기 위해 교수자의 발화를 실시간으로 분석하여 질문 목록을 생성하고 익명 응답을 수집한다. 수업 직후에는 실제 수업 내용을 기반으로 핵심 키워드를 제공하여 교수자의 강의 성찰을 돕고, 학습자에 게는 강의 텍스트와 화면 캡처가 결합된 멀티모달 요약본을 제공하여 효율적인 복습을 돕는다. 수업 외적으로는 강의 자료 기반의 사고 유도형 Q&A와 과제에 대한 즉각적인 AI 예비 피드백을 제공한다. 구현한 시스템은 유의미한 교육 데이터가 효과적으로 추출됨을 확인하였으며, 주요 기능별 응답 지연 시간은 실제 수업 환경에서 수용 가능한 수준임을 확인하였다. 제안 시스템은 수업의 상호작용을 촉 진하고 적시 피드백과 맥락 기반의 복습 환경을 제공하여 학습 효과를 높이는데 기여한다.
목차
요약 Abstract 1. 서론 1.1. 연구의 배경 및 필요성 1.2. 관련 인공지능 기술 분석 및 동향 2. 본론 2.1. 시스템 개요 2.2. 멀티모달 데이터 수집 및 정합성 검증 2.3. 수업 중: 실시간 상호작용 및 학습 니즈 분석 2.4. 수업 후: 맥락 기반 요약 및 복습 지원 2.5. 수업 외: 자기주도 학습 및 피드백 3. 연구 결과 및 분석 3.1. 시스템 구현 및 안정성 검토 3.2. 성능 평가 및 지연 시간 분석 3.3. 제안 시스템의 교육적 유효성 분석 4. 결론 및 향후 과제 REFERENCES
키워드
생성형 AI멀티모달교수·학습 지원 시스템수업 상호작용즉각적 피드백Generative AIMultimodalTeaching and Learning Support SystemClassroom InteractionImmediate Feedback
한국EA학회는 전사적 관점의 아키텍처 개념 및 원칙을 국내 민간기업 및 정부기관에 적용 확산시키고, EA 및 관련 분야의 연구, 전문인력의 양성 및 정책적 건의 등을 통해 기업 및 정부기관의 경쟁력 및 생산성을 향상시키고, 우리나라 지식 기반 산업 등의 고도화를 도모하는 것을 목적으로 합니다.