Earticle

다중 뷰 비디오로부터 두드러진 정보 추출은 인터뷰, 인트라 뷰간 상관관계와 계산 비용 때문에 매우 어려운 영역입 니다. 매우 높은 계산 복잡성을 지닌 멀티 뷰 비디오에서 키프레임을 추출하기 위해 개발된 몇 가지 기술이 있습니 다. 이 논문에서, 우리는 내부에 존재하는 엔트로피와 복잡한 정보를 사용하여 멀티 뷰 비디오의 키프레임 추출 접 근 방식을 제시합니다. 첫 번째 단계에서는 프레임 사이의 SSIM값을 기반으로 각 보기에서 전체 비디오의 대표 샷 을 추출합니다. 두 번째 단계에서는 서로 다른 보기의 모든 샷 프레임에 대한 엔트로피와 복잡성 점수가 계산됩니 다. 마지막으로 엔트로피와 복잡성 점수가 가장 높은 프레임은 키 프레임으로 간주됩니다. 제안된 시스템은 사용 가 능한 Office벤치마크 데이터 세에서 주관적으로 평가되며, 정확성과 시간 복잡성의 측면에서 결과는 편리합니다.

Salient information extraction from multi-view videos is a very challenging area because of interview, intra-view correlations, and computational complexity. There are several techniques developed for keyframes extraction from multi-view videos with very high computational complexities. In this paper, we present a keyframes extraction approach from multi-view videos using entropy and complexity information present inside frame. In first step, we extract representative shots of the whole video from each view based on structural similarity index measurement (SSIM) difference value between frames. In second step, entropy and complexity scores for all frames of shots in different views are computed. Finally, the frames with highest entropy and complexity scores are considered as keyframes. The proposed system is subjectively evaluated on available office benchmark dataset and the results are convenient in terms of accuracy and time complexity.

최근에 컴퓨터 비젼 연구자들은 비디오 클립에서 인간의 행동 인식에 초점을 맞추었고, 감시 및 스포츠와 같은 다양한 영역의 응용 프로그램에 사용했습니다. 이 논문에서는 키 프레임의 딥특징을 사용하여 영화 클립에서 인간의 행동을 인식했습니다. 첫째, k-mean 클러스터링은 액션 비디오로부터 대표적인 프레임(키프레임)을 획득하는데 사용됩니다. 클러스터링은 액션 비디오로부터 중복된 프레임을 제거함으로써 알고리즘의 복잡성을 줄여줍니다. 둘째, 12편의 영화를 위해 Alexnet이라 불리는 컨볼루션 신경네트워크(CNN)모델을 미세 조정했습니다. 마지막으로 우리는 대표적인 액션 프레임을 CNN분류기에 제공했습니다. 이렇게 제안된 알고리즘은 Holywood2 데이터 세트에대해 실험적으로 테스트 되었으며, 획득된 결과는 최첨단 기술로 만들어진 특징 추출 기반의 동작 인식방법과 비교하여 정확성 측면에서 더 우수하였습니다.

Recently, researchers of computer vision have focused on human action recognition in video clips and have used it for applications in various domains such as surveillance and sports. In this paper, we have recognized human action in movies clips using deep features of keyframes. Firstly, k-mean clustering is used to achieve representative frames (keyframes) from action videos. Clustering removes redundant frames from action videos, thereby reducing the computational complexity of the algorithm. Secondly, we fine-tuned convolutional neural network (CNN) model called Alexnet for 12 movies actions. Finally, we feed those representative frames of action video clips to the fine-tuned CNN classifier. The proposed algorithm is experimentally tested on Holywood2 dataset and the obtained results are better in terms of accuracy compared to state-of-the-art hand crafted features extraction based action recognition methods.

In recent years, emotion recognition has been an interesting and challenging topic. Compared to facial expressions and speech modality, gesture-based emotion recognition has not received much attention with only a few efforts using traditional hand-crafted methods. These approaches require major computational costs and do not offer many opportunities for improvement as most of the science community is conducting their research based on the deep learning technique. In this paper, we propose an end-to-end deep learning approach for classifying emotions based on bodily gestures. In particular, the informative keyframes are first extracted from raw videos as input for the 3D-CNN deep network. The 3D-CNN exploits the short-term spatiotemporal information of gesture features from selected keyframes, and the convolutional LSTM networks learn the long-term feature from the features results of 3D-CNN. The experimental results on the FABO dataset exceed most of the traditional methods results and achieve state-of-the-art results for the deep learning-based technique for gesture-based emotion recognition.

기술이 발전함에 따라 복합적인 모달리티 정보를 포함하는 멀티미디어 데이터의 수집이 용이해지면서, 사람의 성격 특성을 이해하고 이를 개인화된 에이전트에 적용하고자 하는 연구가 활발히 진행되고 있다. 본 논문에서는 비디오 스트림 구조를 활용하여 사용자 특성을 예측하기 위한 동적 키프레임 추출 방법을 제안한다. 비디오 데이터를 효과적으로 활용하기 위해서는 무작위로 선택한 프레임에서 특징을 추출하던 기존의 방법을 개선하여 영상 내 시간에 따른 정보와 변화량을 기반으로 중요한 프레임을 선택하는 방법이 필요하다. 본 논문에서는 제 3자가 평가한 Big-five 지표 값이 레이블링된 대표적인 데이터셋인 First Impressions V2 데이터셋을 사용하여 외면에서 발현되는 특징들을 기반으로 영상에서 등장하는 인물들의 성격 특성을 예측했다. 결론에서는 선택된 키프레임에서 멀티 모달리티 정보를 조합하여 성격 특성을 예측한 결과와 베이스라인 모델과의 성능을 비교한다.