청각장애인을 위한 CNN 기반 오디오 데이터 이미지 변환 및 소리 인식 앱 개발 연구
A Study on the Development of CNN-based Audio Data Image Transformation and Sound Recognition App for the Deaf
This study proposes a CNN-based personalized sound recognition application aimed at enhancing the daily safety and information accessibility of individuals with hearing impairments. To overcome the limitations of existing sound recognition services, which detect only a limited set of sounds such as fire alarms, doorbells, and baby cries, the proposed app enables users to register and recognize custom sounds. The core technologies include an audio processing system based on Flutter and a cloud infrastructure built on AWS. Audio data is converted into images and then classified using a CNN algorithm. This approach allows personalized sound detection tailored to individual needs, such as detecting mechanical failure sounds in factories or a baby’s cry for parents. However, certain limitations remain in the process by which users with hearing impairments register sounds, and these issues need to be addressed in future research.
한국어
본 연구는 청각장애인의 일상생활 안전과 정보 접근성 향상을 위한 CNN 기반 맞춤형 소리 인식 앱을 제안한다. 기존 소리 인식 서비스들이 화재경보기, 초인종, 아기 울음소리 등 제한된 소리만을 감지하는 한계를 극복하기 위해, 사용자가 직접 필요한 소리를 등록하고 인식할 수 있는 기능을 구현하였다. 핵심 기술로는 Flutter 기반 오디오 처리 시스템과 AWS 클라우드 인프라를 활용하여 오디오 데이터를 이미지로 변환 후 CNN 알고리즘으로 분류하는 방식을 적용하였다. 이를 통해 공장 근무자의 기계 고장음, 육아 중인 부모의 아이 울음소리 등 개인별 상황에 맞는 맞춤형 소리 감지가 가능하도록 하였다. 다만, 청각장애인이 소리를 등록하는 과정에서의 제약사항들은 향후 연구를 통해 개선이 필요하다.
목차
요약 Abstract Ⅰ. 서론 1. 연구배경 2. 청각장애인 3. 연구목적 Ⅱ. 관련연구 1. 긴급상황과 사고 사례 2. 청각장애인의 정보 접근 현황 Ⅲ. 연구내용 및 결과 Ⅳ. 결론 References