Earticle

초록

영어

This study proposes a multimodal framework for recognizing the non-verbal emotions of users whose faces are occluded by head-mounted displays (HMDs) and stably mapping them onto avatar expressions in social virtual reality (VR). To overcome the physical limitations of upper-face occlusion caused by HMDs, the proposed framework fuses multi-region facial features with eye-behavior information, detects decisive emotional moments through a temporal attention mechanism, and adaptively adjusts blendshape coefficients according to recognition confidence. The avatar mapping module was evaluated using a reproducible simulation comprising 120 sequences with 90 frames per sequence (10,800 frames and 129,600 coefficient samples in total). The proposed method achieved a Mean Absolute Error (MAE) of 0.0283, a Root Mean Squared Error (RMSE) of 0.0379, a Concordance Correlation Coefficient (CCC) of 0.9893, and a temporal tracking lag of 36.5 ms. Compared with direct mapping, MAE and RMSE decreased by 40.57% and 50.84%, respectively, while temporal tracking lag was reduced by 51.03% compared with fixed moving-average smoothing. These results demonstrate technical feasibility by substantially improving the trade-off between expression reconstruction accuracy and temporal responsiveness.

한국어

본 연구는 소셜 가상현실(VR) 환경에서 헤드마운트 디스플레이(HMD)로 가려진 사용자의 비언어적 감정을 인식하고, 이를 아바타 표정에 실시간으로 안정하게 반영하기 위한 멀티모달 프레임워크를 제안한다. HMD 착용으로 인한 상안부의 가림한계를 극복하기 위해, 멀티리전(Upper, Lower, Global) 얼굴 특징과 안구행동(시선, 동공, 깜빡임 등) 정보를 융합하며, 시간적주의(Temporal Attention) 메커니즘을 통해 감정이 고조되는 결정적 순간(Decisive Moments)을 포착한다. 이후 정밀하게 산출된 인식 신뢰도에 기반하여 아바타의 블렌드셰이프(Blendshape) 계수를 적응적으로 조절한다. 제안하는 아바타 매핑 모듈은 120개 시퀀스(총 10,800프레임, 129,600개 계수 샘플)로 구성된 재현 가능한 시뮬레이션을 통해 기술적 실현 가능성을 평가하였다. 실험 결과, 제안 방법은 MAE 0.0283, RMSE 0.0379, CCC 0.9893 및 시간적 추종지연 36.5 ms를 기록하였다. 이는 직접 매핑 대비 MAE와 RMSE를 각각 40.57%, 50.84% 감소시켰으며, 고정 이동평균 방식 대비 시간적 추종지연 을 51.03% 단축시킨 결과이다. 본 연구는 표정 복원 정확도와 시간적 반응성 간의 균형을 확보함으로써 실감형 소셜 VR 상호작용을 위한 기술적 타당성을 입증하였다.

목차

요약
Abstract
1. 서론
2. 기존 연구
2.1 HMD 가림 대응 얼굴 표정 인식 기술
2.2 시선 추적 및 안구행동 기반 감정 분석 기술
2.3 멀티모달 융합 및 시간적 주의 기술
2.4 아바타 표정 및 블렌드셰이프 매핑 기술
2.5 기존기술의 한계점 분석 및 해결방안
3. 제안하는 기술
3.1 제안시스템의 전체구조
3.2 멀티리전 얼굴 분석 및 안구행동 보정
3.3 신뢰도 기반의 멀티모달 융합
3.4 시간적 주의기반 결정적 순간검출
3.5 신뢰도 적응형 아바타 매핑
3.6 제안 알고리즘의 동작 과정
4. 실험 결과
4.1 실험 환경 및 데이터 구성
4.2 성능 평가 지표
4.3 아바타 매핑 성능 비교
4.4 기존 방법 대비 성능향상 분석
5. 결론 및 토의
REFERENCES

키워드

저자

• 조면균 [ Myeon-gyun Cho | 세명대학교 스마트IT학부 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  디지털정책학회지

• 간기

  월간

• eISSN

  2951-245X

• 수록기간

  2022~2026

• 등재여부

  KCI 등재후보

• 십진분류

  KDC 569 DDC 620