Earticle

같은 문화를 공유하는 인종 간에 비슷한 외모를 가지고 있는 한국, 중국, 일본인에 대해 CNN 구조를 기 반한 EfficientNet으로 얼굴 이미지를 학습시킨 결과, 약 92%의 높은 정확도를 확인하였다. EfficientNet의 인식률 이 높다는 점은 고무적이지만, 모델을 빌드하고 처리하는 것에 많은 시간이 필요하므로 좀 더 효율적인 방법이 요 구된다. 따라서 본 논문은 인종을 구분하는 데에 가장 큰 영향을 미치는 얼굴의 특징을 알아내어 빠르게 분석할 수 있는 알고리즘을 만들고자 한다. 이를 위하여 첫째, Face Landmark를 사용하여 얼굴의 전체 윤곽을 점으로 표시하고 기준점으로부터의 각 거리를 측정하여 특정 부위의 비율을 계산한다. 둘째, eXplainable AI (XAI) 기법 중 Grad-CAM을 통해 신경망이 판단한 특징을 기반으로 특정 영역의 비율 값을 머신러닝 알고리즘과 DNN으로 학습한다. 그 결과 Face Landmark를 활용한 방법이 약 63%의 정확도로 가장 높은 것을 확인하였다.

As a result of learning facial images with EfficientNet based on CNN structure for Koreans, Chinese, and Japanese who have similar appearances among races sharing the same culture, we confirmed a high accuracy of about 92%. The high recognition rate of EfficientNet is encouraging, but more efficient methods are required as it takes a lot of time to build and process the model. Therefore, this paper aims to create an algorithm that can quickly analyze facial features that have the greatest influence on classifying race. To this end, first, the percentage of a specific area is calculated by using Face Landmark to dot the entire outline of the face and measuring each distance from the reference point. Second, based on features determined by the neural network through Grad-CAM among eXpliable AI (XAI) techniques, the ratio values of specific regions are learned by machine learning algorithms and DNN. As a result, it was confirmed that the method using Face Landmark was the highest with an accuracy of about 63%.

이 논문에서는 gradCAM를 활용한 적은 데이터로 얼굴 전체 또는 더 다양한 feature을 사용하여 얼굴인식을 할 수 있는 새로운 앙상블 방법론을 제안하였다. 인공지능 모델의 판단 근거는 gradCAM을 통하여 saliency map으로 표현될 수 있다. 따라서 본 논문에서는 학습된 얼굴인식 모델이 어느 부분에 편향적으로 관찰하여 판단했는지 gradCAM으로 시각화한다. 계산된 saliency map에서 일정 수치 이상의 돌출된 부분을 추가 모델이 학습에 사용할 수 없도록 노이즈를 추가해 데이터를 생산한다. 노이즈를 추가해서 만든 데이터로 학습할 경우 노이즈 부분을 활용하여 학습을 할 수 없으므로 새로운 얼굴 부분을 사용하여 얼굴인식 네트워크를 학습하게 된다. 기본 데이터로 학습한 네트워크와 돌출 부분에 노이즈를 추가해서 학습한 모델은 얼굴의 서로 다른 얼굴 feature을 사용할 수밖에 없고, 앙상블로 결합했을 때 얼굴의 좀 더 다양한 부분들을 사용한 임베딩 feature를 만들 수 있다. 이 논문에서 제안하는 앙상블 기법은 일반적인 앙상블 모델보다 정확도는 1.79% 상승하였고 equal error rate (EER)은 0.01788 감소하였다.

In this paper, we proposed a face recognition network which attempts to use more facial features awhile using smaller number of training sets. When combining the neural network together for face recognition, we want to use networks that use different part of the facial features. However, the network training chooses randomly where these facial features are obtained. Other hand, the judgment basis of the network model can be expressed as a saliency map through gradCAM. Therefore, in this paper, we use gradCAM to visualize where the trained face recognition model has made a observations and recognition judgments. Thus, the network combination can be constructed based on the different facial features used. Using this approach, we trained a network for small face recognition problem. In an simple toy face recognition example, the recognition network used in this paper improves the accuracy by 1.79% and reduces the equal error rate (EER) by 0.01788 compared to the conventional approach.