본 논문에서는 2D 카메라와 스마트 글러브 기반으로 농인과 청각장애인의 수어를 인식하여 일반인이 알 수 있는 자연어로 번역하고 정확도를 높인 시스템을 소개한다. 수어(手語)는 그 의미처럼 3차원 공간에서 두 손이 주요한 수단이 되어 표현된다. 2D 카메라에서 촬영되는 RGB 영상을 활용하여 수어자의 수어를 인식하였을 때, 카메라의 복합적인 내*외부 요소와 주변환경에 따라 폐색(Occlusion)이 발생하여 인식 정확도가 떨어지게 된다. 2D 카메라 기반의 수어인식 한계와 문제를 해결하기 위해 스마트 글러브를 활용하여 손과 손가락의 자세를 정확하게 추정하였고, 수어인식 및 수어번역 정확도를 향상시킬 수 있었다.