Earticle

초록

영어

Driven by VR’s rapid adoption and the need for natural interaction, this study tackles FER when head-mounted displays (HMDs) occlude key facial regions. We propose a multi-region fusion architecture that processes upper-face, lower-face, and full-face streams in parallel, enhanced by a temporal attention mechanism to emphasize crucial frames. On the DFEW dataset with synthetic occlusion, we benchmarked CNN-LSTM, C3D, Transformer, and our model. Ours achieves 81.2% accuracy at 12.3 FPS under occlusion—a 19.9-point gain over the best baseline—demonstrating robust, real-time FER and maintaining competitive inference speed. This confirms that combining spatial region processing with temporal dynamics yields effective emotion detection in immersive VR, offering practical solutions to enhance emotional communication and user experience across social VR, gaming, and remote collaboration.

한국어

VR의 빠른 보급과 사용자간 자연스러운 상호작용 필요에 따라, 본 연구는 HMD가 얼굴 주요 부위를 가리 는 환경에서 표정 인식(FER) 문제를 다룬다. 상·하·전체 얼굴 스트림을 병렬 처리하는 멀티-리전 퓨전 아키텍처와 시공간적 중요 프레임을 강조하는 시간 인지 어텐션 메커니즘을 제안했다. 합성 가림이 적용된 DFEW 데이터셋에 서 CNN-LSTM, C3D, Transformer 모델과 비교 평가한 결과, 제안 모델은 가림 환경에서 12.3 FPS에 81.2% 정확도를 달성해 최상위 기준 모델 대비 19.9%p 향상을 보이며 견고한 실시간 FER을 입증했다. 이 접근법은 공간 별 처리와 시퀀스 동적 결합이 몰입형 VR에서 효과적인 감정 인식을 가능하게 함을 확인하며, 소셜 VR, 게임, 원격 협업 등 다양한 애플리케이션에서 감정 소통과 사용자 경험을 개선할 실용적 솔루션을 제공한다.

목차

Abstract
요약
1. Introduction
2. Related Works
3. The Proposed Method
3.1 Multi-Region Fusion Architecture
3.2 Temporal Modeling with LSTM
3.3 Multi-Region Fusion Strategy
3.4 Loss Function
4. Experiments and Results
4.1 Experimental Setup and Validation Methods
4.2 Experimental Results Analysis
5. Discussion and Conclusion
REFERENCES

키워드

저자

• Jun Yin [ 윤준 | PhD. Student, Information Communication, Semuyung University ]
• Myeon-Gyun Cho [ 조면균 | Professor, Division of Smart Information Technology, Semyung University ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  디지털정책학회지

• 간기

  월간

• eISSN

  2951-245X

• 수록기간

  2022~2026

• 등재여부

  KCI 등재후보

• 십진분류

  KDC 569 DDC 620