Earticle

초록

영어

In this paper, we have developed the Auto Lip-Sync Maya plug-in for extracting Korean phonemes from voice data and text information based on Korean and produce high quality 3D lip-sync animation using divided phonemes. In the developed system, phoneme separation was classified into 8 vowels and 13 consonants used in Korean, referring to 49 phonemes provided by Microsoft Speech API engine SAPI. In addition, the pronunciation of vowels and consonants has variety Mouth Shapes, but the same Viseme can be applied to some identical ones. Based on this, we have developed Auto Lip-sync Maya Plug-in based on Python to enable lip-sync animation to be implemented automatically at once.

한국어

본 논문에서는 한국어를 기반으로 음성 데이터와 텍스트 정보에서 한국어 음소를 추출하고 분할된 음소들을 사용하 여 정확하고 자연스러운 3D 립싱크 애니메이션을 제작하기 위한 오토 립싱크 Maya 플러그인을 개발하였다. 여기서 개발된 시스템에서는 음소 분할은 Microsoft Speech API 엔진 SAPI에서 제공하는 49개의 음소를 참조하여 한글에 사용되는 음소들 을 모음 8개, 자음 13개로 분류하였다. 또한 모음과 자음의 발음들은 다양한 입모양을 가지지만 일부 동일한 입모양에 대하여 같은 Viseme을 적용할 수 있도록 구현하였다. 이를 바탕으로 파이썬(Python) 기반의 오토 립싱크 Maya 플러그인을 개발하 여 립싱크 애니메이션이 한 번에 자동으로 구현할 수 있게 하였다.

목차

요약
 Abstract
 Ⅰ. 서론
 Ⅱ. 관련 연구
  1. 오픈소스 립싱크 소프트웨어
  2. 한글 및 영어 기반의 음소 분할
 Ⅲ. 한국어 음소분할을 적용한 3D립싱크 애니메이션 시스템 개발
  1. 디지털 사운드 분석기 개발
  2. Viseme Manager 개발
  3. 파이썬(Python) 기반의 오토 립싱크 Maya플러그인 개발
 Ⅳ. 결론
 References

키워드

저자

• 이상우 [ Sang-Woo Lee | 정회원, 한국산업기술대학교, 컴퓨터공학과, 경기과학기술대학교, 미디어디자인학과 ]
• 신성욱 [ Sung-Wook Shin | 정회원, 한국산업기술대학교, 컴퓨터공학과 ]
• 정성택 [ Sung-Taek Chung | 정회원, 한국산업기술대학교, 컴퓨터공학과 ]

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국인터넷방송통신학회 논문지 [The Journal of the Institute of Internet, Broadcasting and Communication]

• 간기

  격월간

• pISSN

  2289-0238

• eISSN

  2289-0246

• 수록기간

  2001~2025

• 십진분류

  KDC 326 DDC 380