Earticle

초록

영어

Sign Language are languages that use a visual means of communicating using gestures and facial expression. Finger spelling uses hand movements and shapes to spell out the proper nouns or words, which are difficult to be represented. In this study, Korean finger spelling recognition system is proposed. Landmarks are extracted from hand images by utilizing MediaPipe Hands API. Also SVM(Support Vector Machine) of scikit-learn is used to train 31 Korean finger spellings. Finger spelling such as a double consonant ‘ㄲ’ is represented by moving ‘ㄱ’ in the right direction. The proposed method recognized ‘ㄲ’ by detecting the movement of the bounding box centroid for finger spelling. Most of the previous methods are not able to recognize all the finger spellings for Korean sign language, but the proposed technique can recognize all 36 Korean finger spellings. Also, it is expected that our methods are utilized in finger spelling learning or sign language translation for hearing-impaired persons.

한국어

수어는 음성이 아닌 시각적 제스처(Gesture)를 매체로 의미를 전달한다. 시각적인 제스처를 이용하여 의미를 주고 받기 어려운 단어나 고유명사를 전달하기 위해서는 손과 손가락의 모양으로 한글의 자음과 모음을 표현한 지문자가 주로 사용된다. 본 연구에서는 MediaPipe Hands API를 이용하여 손 이미지로부터 Landmark를 추출하고 scikit-learn SVM(Support Vector Machine)을 이용하여 31개의 한글 지문자에 대한 학습 모델을 생성한다. ‘ㄲ’과 같은 지문자는 ‘ㄱ’에 대한 지문자가 오른쪽으로 이동하는 제스처로 표현되는데, 제안한 방법에서는 ‘ㄱ’ 무게 중심이 이동하는 것을 검출하여 ‘ㄲ’을 인식할 수 있다. 기존의 연구에서는 특정 수어 문장 또는 특정 지문자를 제한 적으로 인식하는 연구가 주를 이루고 있지만, 제안한 방법에서는 한글 지문자를 구성하는 36개의 지문자를 인식할 수 있기 때문에 청각장애인들의 지문자 학습, 수어 번역 등을 위해 유용하게 이용될 수 있을 것으로 기대된다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 비음성 언어와 수어
2.2 수어 인식과 관련된 기술
3. 제안하는 지문자 인식 시스템
3.1 지문자 인식 시스템의 동작
3.2 지문자 학습 모델 생성
3.3 지문자의 인식
3.4 쌍자음과 합성 모음의 입력
3.5 무게중심 이동과 쌍자음
3.6 지문자 교정
4. 지문자 인식 실험
4.1 지문자 인식률 테스트
4.2 쌍자음 지문자 인식 테스트
4.3 지문자 교정 테스트
5. 결론
참고문헌

키워드

Landmark 손 제스처 수어 지문자 미디어파이프 인공지능 Landmark Hand Gestures Sign Language Finger Spelling MediaPipe Artificial Intelligence

저자

• 김진영 [ Jinyoung Kim | 순천대학교 과학정보융합학과 ]
• 강의성 [ Euisung Kang | 순천대학교 과학정보융합학과 ] 교신저자

참고문헌

발행기관

간행물