Earticle

초록

영어

This study presents a real-time facial motion capture method that reconstructs mesh-driving 3D facial landmarks from monocular RGB input without depth sensors. The proposed approach detects 2D facial landmarks and estimates the missing depth component through landmark-based geometric relationships and a canonical facial prior, enabling lightweight 3D face animation without an additional learned depth-estimation model. The method is evaluated on AFLW2000-3D for reconstruction accuracy and on 300VW-Mask video-derived sequences for dense 468-landmark temporal behavior. On AFLW2000-3D, the proposed method reduces normalized mean error from 0.0136 for a traditional geometric baseline to 0.0044 while using approximately 42 MB of runtime memory. On 300VW-Mask, it reconstructs 1499 of 1500 selected frames with a 0.067% failure rate and real-time end-to-end performance. The results indicate that monocular RGB input combined with lightweight geometric inference can provide an efficient reconstruction layer for avatar animation, augmented reality, and human-computer interaction applications.

한국어

본 연구는 깊이 센서 없이 단안(monocular) RGB 입력만으로 메시(mesh) 구동용 3D 안면랜드마크를 재구성하는 실시간 안면 모션 캡처 방법을 제시한다. 제안하는 방식은 2D 안면랜드마크를 검출한 뒤, 랜드마크 간의 기하학적 관계와 표준 안면 사전 지식(canonical facial prior)을 통해 누락된 깊이(depth) 요소를 추정한다. 이 방법은 재구성 정확도를 확인하기 위해 AFLW2000-3D 데이터셋에서 평가되었으며, 조밀한 468개 랜드마크의 시간적 움직임(temporal behavior)을 확인하기 위해 300VW-Mask 비디오 기반 시퀀스에서 평가되었다. 그 결과, AFLW2000-3D 데이터셋에서 제안된 방법은 약 42MB의 런타임 메모리만을 사용하면서도 정규화된 평균 오차(NME)를 기존 기하학적 베이스라인의 0.0136에서 0.0044로 감소시켰다. 300VW-Mask 데이터셋에서는 선택된 1,500개의 프레임 중 1,499개를 성공적으로 재구성하여 0.067%의 매우 낮은 실패율과 실시간 종단간(end-to-end) 성능을 달성했다.

목차

ABSTRACT
요약
1. Introduction
2. Related Work and Background
3. Depth-Free 3D Landmark Reconstruction
3.1 Mathematical Framework
3.2 Landmark Normalization
3.3 Depth Estimation
3.4 Coordinate Transformation
4. Methodology/Proposed Framework
5. Result
5.1 Performance Analysis
5.2 Dense 468-Landmark Temporal Sequence Evidence on 300VW-Mask
6. Discussion
7. Conclusion
참고문헌

키워드

저자

• Soroor Malekmohammadi faradounbeh [ Department of Computer Science, DigiPen Institute of Technology Singapore, Singapore ]
• 임충재 [ Choongjae Im | 계명대학교 게임모바일공학과 ]
• 김성기 [ SeongKi Kim | 조선대학교 컴퓨터공학과 ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  컴퓨터게임및콘텐츠논문지(구 한국컴퓨터게임학회논문지) [Journal of Computer Games and Contents]

• 간기

  월간

• pISSN

  3091-7409

• eISSN

  3092-3638

• 수록기간

  2002~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 691 DDC 793