Earticle

초록

영어

With the rapid advancement of Generative AI technology, there is an urgent need to establish systematic evaluation criteria for video works generated by AI or completed with the assistance of AI. This study aims to comprehensively analyze the factors influencing the evaluation of AI-based video works and to present a model of evaluation influencing factors based on expert consensus. To this end, a draft of 21 evaluation elements across three major categories was derived through an analysis of domestic and international prior literature. A three-round Delphi survey was conducted with 15 experts in the fields of AI video production, education, and technology, and the final 20 evaluation elements across three major categories were determined using Content Validity Ratio (CVR), consensus, and Cronbach’s α (CVR ≥ 0.60, consensus ≥ 0.80, α = 0.92). First, technical quality, including visual continuity and multimodal integration. Second, creative and artistic elements, including rapid engineering capabilities and curation creativity. Third, human-AI collaboration, including creator initiative and adaptive creativity. Fourth, ethics and copyright, including transparency in AI utilization. Fifth, process-oriented elements, including rapid design logs and reflection journals. In particular, 11 elements—including visual continuity, prompt engineering capabilities, curational creativity, creator agency, transparency in AI utilization, and prompt design logs—recorded the highest validity of CVR 1.00. This study contributes to the re-establishment of video evaluation standards in the AI era by systematizing human-AI collaboration capabilities, ethics and copyright, and process-oriented factors— which were not addressed in traditional video evaluation systems—as official evaluation domains. Furthermore, it provides a practical foundation for the development of evaluation tools for university video education and the establishment of judging criteria for film festivals and competitions.

한국어

생성형 인공지능(Generative AI) 기술의 급속한 발전에 따라 AI가 생성하거나 AI의 조력으로 완성된 영상작품에 대한 체계적인 평가 기준의 마련이 시급히 요청되고 있다. 본 연구는 AI 기반 영상작품의 평가에 영향을 미치는 요인들을 종합적으로 분석하고, 전문가 합의에 기반한 평가 영향 요소 모델을 제시하는 것을 목적으로 한다. 이를 위해 국내외 선행 문헌 분석을 통해 3개 대범주 21개 평가 요소 초안을 도출하고, AI 영상 제작·교육·기술 분야 전문가 15명을 대상으로 3라운드 델파이(Delphi) 조사를 하였으며, 내용타당도 비율(CVR), 합의도, Cronbach's α를 통해 최종 3개 대범주 20개 평가 요소를 확정하였다. (CVR ≥ 0.60, 합의도 ≥ 0.80, α = 0.92). 첫째, 시각적 연속성 및 멀티모달 통합을 포함한 기술적 품질. 둘째, 신속한 엔지니어링 능력 및 큐레이션 창의성을 포함한 창의적·예술적 요소. 셋째, 창작자 주도성 및 적응적 창의성을 포함한 인간-AI 협업. 넷째, AI 활용 투명성을 포함한 윤리 및 저작권. 다섯째, 신속한 설계 로그 및 성찰 일지를 포함한 과정 중심적 요소가 그 내용이다. 특히 시각적 연속성, 프롬프트 엔지니어링 역량, 큐레이션적 창의성, 창작자 주체성, AI 활용 투명성, 프롬프트 설계 로그 등 11개 요소가 CVR 1.00의 최고 타당도를 기록하였다. 그러나 본 연구에는 몇 가지 한계점이 있다. 첫째, 15명의 전문가 패널은 Lawshe의 CVR 기준을 충족하지만, 상대적으로 규모가 작고 청중 및 학습자 관점이 배제되어 연구 결과의 일반화 가능성이 제한될 수 있다. 둘째, 평가 요소가 델파이 방법만을 통해 도출되었기 때문에 실제 수업 적용이나 현장 테스트를 통한 실증적 검증은 아직 수행되지 않았다. 셋째, 생성형 AI도구의 빠른 발전을 고려할 때, 제안된 요소들은 최신성을 유지하기 위해 주기적인 수정이 필요할 수 있다. 본 연구는 전통적 영상 평가 체계에서 다루어지지 않았던 인간-AI 협업 역량, 윤리·저작권, 과정 중심 요인을 공식 평가 영역으로 체계화함으로써 AI 시대 영상 평가 기준 재정립에 이바지하며, 대학 영상교육의 평가도구 개발 및 영화제·공모전 등의 심사 기준 수립에 실무적 토대를 제공한다.

목차

국문초록
Ⅰ. 서론
1.1. 연구의 필요성
1.2. 연구 목적
1.3. 연구 방법
Ⅱ. 이론적 배경
2.1. AI 기반 영상 제작 기술의 현황과 특성
2.2. 기존 영상 콘텐츠 평가 연구의 흐름
2.3. 생성형 AI의 예술성 논란과 창의성 담론
Ⅲ. 연구설계
3.1. 연구설계 개요
3.2. 전문가 패널 선정
3.3. 델파이 조사 절차
3.4. 타당도 및 신뢰도 검증 방법
Ⅳ. AI 기반 영상작품 평가 영향 요소 분석
4.1. 기술적 품질 요소
4.2. 창의적·예술적 요소
4.3. 인간-AI 협업 역량 요소
4.4. 윤리적·저작권 요소
4.5. 과정 중심 평가 요소
Ⅴ. 최종 평가 영향 요소 모델 및 CVR 검증 결과
5.1. 최종 확정 평가 요소 및 CVR 값
5.2. 전통적 영상 평가와의 차별성
Ⅵ. 결론 및 제언
6.1. 연구 요약 및 주요 시사점
6.2. 향후 연구 과제
참고문헌
ABSTRACT

키워드

저자

• 정진아 [ Jin-Ah, Jeong | 성균관대학교 대학원 공연예술학 박사 (Sungkyunkwan Univ.) ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  연기예술연구 [Journal of acting studies]

• 간기

  계간

• pISSN

  2093-4289

• eISSN

  2586-5927

• 수록기간

  2009~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 680 DDC 791