Earticle

현재 위치 Home

Culture Information Technology (CIT)

Development of an AI-Based Automated Storytelling Tool to Enhance Accessibility for Deaf or Hard of Hearings Children

첫 페이지 보기
  • 발행기관
    국제인공지능학회(구 한국인터넷방송통신학회) 바로가기
  • 간행물
    The International Journal of Advanced Smart Convergence 바로가기
  • 통권
    Volume 14 Number 2 (2025.06)바로가기
  • 페이지
    pp.261-269
  • 저자
    Da hee Lim, Jiseon Yang, Uran Oh
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A470060

※ 원문제공기관과의 협약기간이 종료되어 열람이 제한될 수 있습니다.

원문정보

초록

영어
Deaf and Hard of Hearing (DHH) children face challenges in language acquisition due to hearing loss, which is one of the most crucial factors in language development. As a result, most DHH individuals communicate using ASL gloss instead of conventional sentences used by hearing individuals. However, because they are more accustomed to ASL gloss, they often struggle with constructing and understanding standard sentences, making communication with hearing individuals difficult. To address this issue, this study proposes DHHStoryGen, an automated storybook creation system that supports the language enhancement of DHH children. DHHStoryGen is built upon a fine-tuned LLaMA model for text generation and a fine-tuned Stable Diffusion model for image generation, both trained on custom datasets specifically designed for this purpose. The text dataset is created by translating ASL gloss into natural English sentences, which is used to fine-tune LLaMA to generate storybook content. Meanwhile, the image dataset is used to fine-tune the Stable Diffusion model to generate illustrations that match with each chapter's narrative. By converting ASL gloss into structured text and providing visually engaging images, DHHStoryGen fosters a participatory language learning environment, serving as an assistant tool to enhance the literacy skills of DHH children.

목차

Abstract
1. Introduction
2. Related work
2.1 Language Study for DHH
2.2 AI-based Writing and Reading Assistant Tools
3. System Overview
3.1 Datasets
3.2 DHHStoryGen
3.3 UI Design
4. Results
4.1 System Production
4.2 Ablation Study of Character Appearance Text
5. Limitations and Future Work
6. Conclusion
7. Acknowledgement
8. Reference

키워드

Large Language Models Deaf or Hard of Hearings LLaMA Stable Diffusion Accessibility

저자

  • Da hee Lim [ Master Student, Department of Artificial Intelligence Convergence, Ewha Womans University, Seoul, Korea ]
  • Jiseon Yang [ Master Student, Department of Artificial Intelligence Convergence, Ewha Womans University, Seoul, Korea ]
  • Uran Oh [ Department of Computer Science and Engineering, Ewha Womans University, Seoul, Korea ] Corresponding Author

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    국제인공지능학회(구 한국인터넷방송통신학회) [The International Association for Artificial Intelligence]
  • 설립연도
    2000
  • 분야
    공학>전자/정보통신공학
  • 소개
    인터넷방송, 인터넷 TV , 방송 통신 네트워크 및 관련 분야에 대한 국내는 물론 국제적인 학술, 기술의 진흥발전에 공헌하고 지식 정보화 사회에 기여하고자 한다.

간행물

  • 간행물명
    The International Journal of Advanced Smart Convergence
  • 간기
    계간
  • pISSN
    2288-2847
  • eISSN
    2288-2855
  • 수록기간
    2012~2025
  • 십진분류
    KDC 326 DDC 380

이 권호 내 다른 논문 / The International Journal of Advanced Smart Convergence Volume 14 Number 2

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.