Earticle

초록

영어

Due to speech recognition problems in noisy environment, Audio Visual Speech Recognition (AVSR) system, which combines speech information and visual information, has been proposed since the mid-1990s,. and lip reading have played significant role in the AVSR System. This study aims to enhance recognition rate of utterance word using only lip shape detection for efficient AVSR system. After preprocessing for lip region detection, Convolution Neural Network (CNN) techniques are applied for utterance period detection and lip shape feature vector extraction, and Hidden Markov Models (HMMs) are then used for the recognition. As a result, the utterance period detection results show 91% of success rates, which are higher performance than general threshold methods. In the lip reading recognition, while user-dependent experiment records 88.5%, user-independent experiment shows 80.2% of recognition rates, which are improved results compared to the previous studies.

한국어

소음환경에서의 음성인식 문제점으로 인해 1990년대 중반부터 음성정보와 영상정보를 결합한 AVSR(Audio Visual Speech Recognition) 시스템이 제안되었고, Lip Reading은 AVSR 시스템에서 시각적 특징으로 사용되었다. 본 연구는 효율적인 AVSR 시스템을 구축하기 위해 입 모양만을 이용한 발화 단어 인식률을 극대화하는데 목적이 있다. 본 연구에서는 입 모양 인식을 위해 실험단어를 발화한 입력 영상으로부터 영상의 전처리 과정을 수행하고 입술 영역을 검출 한다. 이후 DNN(Deep Neural Network)의 일종인 CNN(Convolution Neural Network)을 이용하여 발화구간을 검출하고, 동일한 네트워크를 사용하여 입 모양 특징 벡터를 추출하여 HMM(Hidden Markov Model)으로 인식 실험을 진행하였다. 그 결과 발화구간 검출 결과는 91%의 인식률을 보임으로써 Threshold를 이용한 방법에 비해 높은 성능을 나타냈다. 또한 입모양 인식 실험에서 화자종속 실험은 88.5%, 화자 독립 실험은 80.2%로 이전 연구들에 비해 높은 결과를 보였다.

목차

요약
 Abstract
 1. 서론
 2. 이전 연구들의 분석
 3. 발화구간 검출 CNN을 이용한 입 모양 인식 방법
  3.1 전처리 및 입술 영역 검출
  3.2 발화구간 검출
  3.3 CNN을 이용한 특징 생성 및 인식
 4. 실험 및 결과
  4.1 실험 DB
  4.2 실험 내용
  4.3 실험 결과
 5. 결론
 REFERENCES

키워드

저자

• 김용기 [ Kim Yong-Ki | 충북대학교 컴퓨터공학과 ]
• 임종관 [ Jong Gwan Lim | KAIST ]
• 김미혜 [ Mi-Hye Kim | 충북대학교 컴퓨터공학과 ] Corresponding author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  디지털융복합연구 [Journal of Digital Convergence]

• 간기

  계간

• pISSN

  2713-6434

• eISSN

  2713-6442

• 수록기간

  2003~2026

• 등재여부

  KCI 등재후보

• 십진분류

  KDC 569 DDC 620