Earticle

현재 위치 Home

문화 융합(CC)

Mediapipe Holistic을 활용한 TFLite 기반 수어 인식 모델 개발
Development of a Sign Language Recognition Model Based on TFLite Using MediaPipe Holistic

첫 페이지 보기
  • 발행기관
    국제문화기술진흥원 바로가기
  • 간행물
    The Journal of the Convergence on Culture Technology (JCCT) KCI 등재 바로가기
  • 통권
    Vol.11 No.5 (2025.09)바로가기
  • 페이지
    pp.271-278
  • 저자
    공준석, 김정이
  • 언어
    한국어(KOR)
  • URL
    https://www.earticle.net/Article/A474039

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
Sign language is a linguistic tool for the hearing impaired to communicate with not only the disabled but also the non-disabled. However, due to the lack of sign language education opportunities for the non-disabled, the hearing impaired have difficulty communicating. In order to solve this problem, it is necessary to develop technology that allows the non-disabled to easily understand and learn sign language anytime and anywhere. This study develops technology that can suggest a new learning method that can provide the non-disabled with opportunities to communicate with the hearing impaired. To this end, we use Google's MediaPipe pipeline to identify the user's hand gestures and build an LSTM model using the extracted data. We make the completed model lightweight with TensorFlow-Lite so that it can be used smoothly on the web as well as on mobile devices. Through this study, we suggest a method for utilizing sign language education by making online education, which is not limited to face-to-face education, possible.
한국어
수어는 청각 장애인이 장애인 뿐 아니라 비장애인과의 의사소통을 위한 언어적 도구이다. 그러나 비장애인들을 위한 수어 교육 기회가 부족하여, 청각 장애인은 의사소통에서 어려움을 겪고 있다. 이러한 문제를 해결하기 위하여 비장애인들도 언제 어디서나 손쉽게 수어를 이해하고 학습할 수 있는 기술의 개발이 필요하다. 본 연구는 비장애인에 게 청각 장애인과의 의사소통의 기회를 제공할 수 있는 새로운 학습 방안을 제시할 수 있는 기술을 개발한다. 이를 위해 Google의 MediaPipe 파이프라인을 사용하여 사용자의 손동작 식별할 수 있도록 하고, 추출한 데이터를 활용해 LSTM 모델을 구축한다. 완성된 모델을 TensorFlow-Lite로 경량화 시켜 웹뿐만 아니라 모바일 기기에서도 원활하 게 사용할 수 있게 한다. 본 연구를 통해 대면 교육이 아닌 장소에 구애받지 않는 온라인 교육을 가능해져, 수어 교 육의 활용 방안을 제시한다.

목차

요약
Abstract
Ⅰ. 서론
Ⅱ. 관련 기술
1. Mediapipe Holistic 기반의 신체 랜드마크 추출
2. TensorFlow-Lite 기반 모델 경량화를 통한 모바일 적용
3. LSTM 기반 시계열 동작 인식
Ⅲ. 수어 인식 모델 개발
1. 전체 시스템 개요
2. 데이터 수집 및 전처리
3. 모델 설계 및 학습
4. 모델 적용
5. 실험 및 결과
IV. 결론
References

키워드

MediaPipe Holistic TensorFlow Lite LSTM 수어 인식 MediaPipe Holistic TensorFlow Lite LSTM Sign Language Recognition

저자

  • 공준석 [ Jun-Seok Kong | 준회원, 성결대학교 미디어소프트웨어학과 학부생 ] 제1저자
  • 김정이 [ Jung-Yi Kim | 정회원, 성결대학교 미디어소프트웨어학과 조교수 ] 교신저자

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    국제문화기술진흥원 [The International Promotion Agency of Culture Technology]
  • 설립연도
    2009
  • 분야
    공학>공학일반
  • 소개
    본 진흥원은 문화기술(Culture Technology) 관련 산·학·연·관으로 구성된 비영리 단체이다. 문화기술(CT)은 정보통신기술(ICT), 문화적 사고 기반의 예술, 인문학, 디자인, 사회과학기술이 접목된 신융합기술(New Convergence Technology, NCT)로 정의한다. 인간의 삶의 질을 향상시키고, 진보된 방향으로 변화시키고, 문화기술 관련 분야의 학술 및 기술의 발전과 진흥에 공헌하기 위하여, 제3조의 필요한 사업을 행함을 그 목적으로 한다.

간행물

  • 간행물명
    The Journal of the Convergence on Culture Technology (JCCT) [문화기술의 융합]
  • 간기
    격월간
  • pISSN
    2384-0358
  • eISSN
    2384-0366
  • 수록기간
    2015~2025
  • 등재여부
    KCI 등재
  • 십진분류
    KDC 600 DDC 700

이 권호 내 다른 논문 / The Journal of the Convergence on Culture Technology (JCCT) Vol.11 No.5

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.