Earticle

초록

영어

This paper present the multi-modal user distance estimation system using mono camera and mono microphone basically equipped with a mobile device. In case of a distance estimation method using an image, we is estimated a distance of the user through the skin color region extraction step, a noise removal step, the face and eyes region detection step. On the other hand, in case of a distance estimation method using speech, we calculates the absolute difference between the value of the sample of speech input. The largest peak value of the calculated difference value is selected and samples before and after the peak are specified as the ROI(Region of Interest). The samples specified perform FFT(Fast Fourier Transform) and calculate the magnitude of the frequency domain. Magnitude obtained is compared with the distance model to calculate the likelihood. We is estimated user distance by adding with weights in the sorted value. The result of an experiment using the multi-modal method shows more improved measurement value than that of single modality.

한국어

본 논문에서는 모바일 디바이스에 기본적으로 제공되는 모노 카메라와 모노 마이크의 멀티 모달 입력을 통 하여 사용자와 모바일 디바이스간의 거리를 추정하는 방법을 제안한다. 영상을 이용한 거리 추정은 모노 카메라로 입 력되는 영상에서 피부색 영역을 추출하고, 노이즈를 제거한 후에 얼굴 영역 및 눈 영역을 검출하여 사용자의 거리를 추정한다. 음성을 이용한 거리 추정은 모노 마이크로 입력되는 음성으로부터 가장 큰 피크(Peak)를 선정하고, ROI( Region of Interest)를 지정한 후에 FFT(Fast Fourier Transform)을 수행하여 주파수 축에서의 크기(Magnitude)를 계산한 다. 계산된 크기 값과 거리별 크기 값의 모델을 비교하여 거리 별 우도(Likelihood)를 계산하고, 정렬한 후 가중치를 주어 더함으로써 사용자의 거리를 추정한다. 실험결과 영상 및 음성을 멀티 모달 입력으로 이용하여 거리를 추정한 결과 단일 모달로 거리를 추정한 결과 보다 향상된 결과를 얻을 수 있었다.

목차

요약
 Abstract
 Ⅰ. 서론
 Ⅱ. 영상을 이용한 사용자 거리 추정
  1. 피부색 영역 추출
  2. 침식, 팽창을 이용한 잡음 제거 및 AND 연산
  3. Adaboost 기반 얼굴 및 눈 검출기
  4. 눈 사이 거리 검출을 위한 히스토그램 분석
  5. 얼굴 및 눈을 이용한 거리 추정
 Ⅲ. 음성을 이용한 사용자 거리 추정
  1. 관심영역 제한
  2. FFT를 이용한 특징 추출
  3. GMM을 이용한 학습 및 분류
  4. 음성을 이용한 거리 추정
 Ⅳ. 멀티 모달 사용자 거리 추정
 Ⅴ. 실험 및 결과
  1. 영상을 이용한 사용자 거리 추정 성능 평가
  2. 음성을 이용한 사용자 거리 추정 성능 평가
  3. 멀티모달 사용자 거리 추정 성능 평가
 Ⅵ. 결론
 References

키워드

저자

• 오병훈 [ Byung-Hun Oh | 정회원, 성균관대학교 전자전기컴퓨터공학과 박사과정 ]
• 홍광석 [ Kwang-Seok Hong | 정회원, 성균관대학교 정보통신공학부 교수 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국인터넷방송통신학회 논문지 [The Journal of the Institute of Internet, Broadcasting and Communication]

• 간기

  격월간

• pISSN

  2289-0238

• eISSN

  2289-0246

• 수록기간

  2001~2025

• 십진분류

  KDC 326 DDC 380