Earticle

초록

한국어

농아인들이 일반인들과 수어 통역사 없이 의사소통을 하기 위한 인공지능 수어 처리 시스템은 수어를 인식하여 자연어로 변환하는 모델과 자연어를 수어로 변환하는 모델로 구성된다. 본 논문에서는 한국어를 번역하여 한국 수어를 생성하는 트랜스포머 기반의 End To End 심층 신경망 모델을 구현한다. 자연어 텍스트 입력으로부터 한국 수어 동작 자세에 대한 좌표에 대한 시계열 데이터를 생성하는 트랜스포머 모델을 구현하였고, 시계열 좌표 데이터를 실제 아바타 동작으로 변환하는 Unity 기반의 아바타 모델을 개발하였다. 수어 생성 트랜스포머 모델을 학습시키기 위해 AI Hub 수어 데이터를 활용하였으며, 생성모델의 정확도를 기존 연구들과 비교하였다. 또한 생성된 아바타의 동작이 농아인이 이해할 수 있는 동작인지 수어 통역사를 통해 검증하였다. 학습 데이터에 따른 정확도 차이는 추가적인 연구를 통해 확인해야할 부분이지만 기존 연구대비 더 나은 성능을 보였다.

목차

요약
1. 서론
2. 관련 연구
2.1 수어 인식 & 번역
2.2 수어 생성 모델
3. 실험방법
3.1. 데이터셋
3.2. 실험 환경
3.3. 실험 내용
4. 실험 결과
4.1 평가 지표
4.2 3D 아바타를 통한 수어 표현
5. 결론
Acknowledgement
참고문헌

저자

• 민준홍 [ 단국대학교 컴퓨터학과 ]
• 최용근 [ 단국대학교 컴퓨터학과 ] 교신저자

참고문헌