조선소 소음 환경에서의 키워드 음성 인식 성능 향상을 위한 Part-mix 증강기법 및 NKB 손실함수 제안
Proposal of Part-mix Augmentation Technique and NKB Loss Function for Improving Keyword Spotting Performance in Noisy Shipyard
Recent advancements in deep learning-based speech recognition technology have led to the development of services using user speech. However, applying this technology to shipyards involves overcoming challenges such as diverse and irregular noise, communication interruptions, and hardware costs. Due to the shipbuilding environment, with numerous steel structures and communication shadow zones, there is a need for small, standalone speech recognition models mounted on worker equipment, rather than large-scale server-based models. This study proposes two techniques—Part-mix augmentation and the NKB (Noise-Keyword Balancing) loss function—that jointly address misrecognition caused by mixed operational noise and partial speech from conversations. Together, these techniques overcome challenges arising from data imbalance between abundant noise and limited keyword data by adjusting the loss distribution based on data properties, significantly improving speech recognition performance in complex noise environments.
한국어
최근 딥러닝 기반 음성 인식 기술의 발전으로 사용자 발화를 이용한 서비스 개발이 활발하다. 하지만 음성 인식 기술을 조선소에 적용하기 위해서 현장 소음의 다양성과 불규칙성, 통신 장애, 하드웨어 비용 등의 제약조건이 존재한다. 또한, 다수의 철 구조물이 존재하고 통신 음영구역에서 작업이 진행되는 조선업 특성상 서버에서 동작하는 대규모 음성 인식 모델이 아닌 작업자 장비에 부착된 소형 모듈에 탑재하여 독립적으로 동작하는 소형 음성 인식 모델에 관한 연구가 필요하다. 본 연구에서는 조선소에서 활용할 수 있는 소형 음성 인식 모델을 학습하기 위한 Part-mix 증강기법과 NKB(Noise-Keyword Balancing) 손실함수라는 두 가지 기법을 제시한다. 이를 통해, 작업 소음과 작업자 간 대화가 섞여 발생하는 부분음으로 인한 오인식 문제를 극복하고 다수 소음 데이터, 소수 키워드 데이터의 불균형으로 발생하는 성능 저하 문제를 데이터 분포에 따른 Loss 조정으로 이를 개선한다.
목차
요약 ABSTRACT I. 서론 II. 관련 연구 III. 본론 1. 학습 데이터 2. 데이터 전처리 3. Part-mix 데이터 증강기법 4. 제안하는 손실함수 5. 딥러닝 모델 IV. 실험 결과 V. 결론 Acknowledgement References
키워드
음성 키워드 인식손실함수데이터 증강기법조선소Keyword spottingLoss functionData augmentationShipyard
한국인공지능교육학회 [Korean Association of Artificial Intelligence Education]
설립연도
2019
분야
사회과학>교육학
소개
인공지능 기반의 융합 사회의 도래로 사회 전반에서 인공지능의 소양과 역량에 대한 요구가 증가하고 있습니다. 알파고 이후 인공지능은 우리 생활의 일부가 되고 있고 인공지능 기술이 융합 산업의 핵심으로 대두되었습니다. 인공지능기술이 다른 분야를 만났을 때 창출되는 가치는 자동차, 반도체, 스마트폰의 부가가치를 모두 합친 것보다 초월하고 있고 인공지능 역량을 가진 인재는 세상의 변화를 주도하는 막강한 영향력을 갖게 되었습니다.
이러한 인재의 양성은 혁신 기업의 존망을 좌우하게 되었고 국가의 경쟁력으로 이어지고 있습니다. 이것이 인공지능교육의 필요성이며 이를 이끌 단체로서 인공지능교육학회가 있습니다.
한국인공지능교육학회는 인공지능 기술과 융합적 역량을 가진 인재를 양성하고 미래 사회에서 인공지능이 인간을 위한 기술로 전개될 수 있도록 교육의 기반을 마련하고자 합니다. 학회에서는 인공지능에 관한 산학연 연계의 학문을 발전시키고 국가 발전에 기여하는 인재를 양성하는 등 다양한 방면에서 인공지능교육의 발전을 위해 노력하겠습니다. 또한 글로벌 인공지능과 융합 기술 분야에서 우리나라가 선도할 수 있도록 다양한 연구와 학술활동 그리고 국내외 공유의 장을 만들어 가도록 하겠습니다 .
간행물
간행물명
인공지능연구 논문지 [Journal of The Korean Association of Artificial Intelligence Education]