Earticle

초록

한국어

지난 10년 동안 엔터테인먼트 산업의 발전으로 인해 영화 데이터의 생산이 기하급수적으로 성장하여 색인 생성, 주 요장면 추천 및 장르 식별 등 다양한 연구 분야가 나타나게 되었다. 따라서 영화 콘텐츠를 분석하고 이해하는 것은 아주 중요한 분야로 자리 잡게 되었다. 본 논문에서는 시각적 요소와 텍스트 양식을 활용한 영화 문법과 맥락 분석 이라는 두 가지 측면에서 영화를 분석하는 지능형 프레임워크를 제안한다. 제안된 프레임워크는 확대/축소/배경/ 텍스트와 같이 영화에서 등장하는 장면을 감지하는 전처리 과정을 거친 후 상황별 분석을 위해 딥러닝 모델을 활용 한 객체와 텍스트 감지를 진행했다. 마지막으로 영화에서 나오는 대사를 추출하고 이를 영화 타임 스탬프를 기반으 로 각 씬에 대한 분석 결과와 영화에 등장하는 인물들의 대사를 저장함으로써 인덱싱 및 요약 등 다양한 용도로 활 용될 수 있게끔 만들었으며, 제안된 프레임워크는 주관적인 평가를 사용하여 평가를 진행하였다.

영어

Over the past decade, advancements in the entertainment industry have caused exponential growth in video data production especially movies, leading to tiresome indexing, recommendation making, and genre identification. To overcome these challenges, analyzing and understanding the movie contents is the primary step. Therefore, in this paper we proposed an intelligent framework to analyze movies from two different aspects i.e., film grammar and contextual analysis using vision and textual modality. The proposed framework first preprocessed the movie for scene segmentation. Next, the cinematographic transitions are detected such as zoom, background and text related scenes. For contextual analysis, we used customized deep models for object and text detection. Finally, the detailed description of each scene over the movie timestamp is recorded which can be use for various application such as indexing and summarization etc. The proposed framework is evaluated using movie scripts and subjective evaluation.

목차

요약
Abstract
1. Introduction
2. Related Work
3. Proposed Methodology
3.1 Scene detection
3.2 Feature extraction
3.3 Script analysis
4. Experimental Details
4.1 Dataset and evaluation strategy
4.2 Subjective evaluation
5. Conclusion
Acknowledgment
참고문헌

저자

• 김민제 [ Min Je Kim | 세종대학교 ]
• 이자즈 울 하크 [ Ijaz Ul Haq | 세종대학교 ]
• 이수민 [ Su Min Lee | 세종대학교 ]
• 박상민 [ Sang Min Park | 세종대학교 ]
• 백성욱 [ Sung Wook Baik | 세종대학교 ]
• 이미영 [ Mi Young Lee | 세종대학교 ] Corresponding author

참고문헌