Earticle

현재 위치 Home

Poster Session IV MR-IoT/AI 융합 플랫폼

확률분포 분리기반 지식증류를 활용한 분류기 개선에 관한 연구
A Study on the Improvement of Classifier Using Knowledge Distillation Based on the Separation of Probability Distribution

첫 페이지 보기
  • 발행기관
    한국차세대컴퓨팅학회 바로가기
  • 간행물
    한국차세대컴퓨팅학회 학술대회 바로가기
  • 통권
    2022 한국차세대컴퓨팅학회 춘계학술대회 (2022.05)바로가기
  • 페이지
    pp.465-468
  • 저자
    최준용, 정석화, 황원준
  • 언어
    한국어(KOR)
  • URL
    https://www.earticle.net/Article/A412402

원문정보

초록

한국어
본 논문에서는 교사-학생 프레임워크에서 학생이 교사의 클래스 확률을 모사하는 새로운 Knowledge Distillation 방법을 제시한다. 전통적인 Knowledge Distillation 기법은 교사와 학생의 logits을 soften시켜 모방을 진행하지만, 제안하는 방법은 기존 방법과 다르게 교사와 학생의 Top-1 확률값을 포함한 확률분포와 Top-1의 확률값과 나머지 logits을 분리하고 soften시켜 dark knowledge를 생성하여 새로운 확률분포를 만든다. 학생은 교사의 분리된 각각의 2가지 형태의 클래스 확률을 모방하여 성능을 높인다. CIFAR 데이터셋에서 resnet, vgg, wrn과 같은 다양한 네트워크로 제안하는 방법론의 우수성을 실험을 통해 입증한다.

목차

요약
1. 서론
2. 관련연구
2.1 배경지식
2.2 제안하는 방법
3. 실험방법
3.1. 데이터셋
3.2. 실험환경
4. 실험결과
4.2 잘 알려진 다른 KD방법론과 성능 비교
5. 결론
Acknowledgement
참고문헌

키워드

지식증류 모방학습 분류기

저자

  • 최준용 [ 아주대학교 ]
  • 정석화 [ 아주대학교 ]
  • 황원준 [ 아주대학교 ] 교신저자

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    한국차세대컴퓨팅학회 [Korean Institute of Next Generation Computing]
  • 설립연도
    2005
  • 분야
    공학>컴퓨터학
  • 소개
    본 학회는 차세대 PC 및 그 관련분야의 학술활동을 통하여 차세대 PC의 학문 및 기술발전을 도모하고 산업발전 및 국제협력 증진을 목적으로 한다.

간행물

  • 간행물명
    한국차세대컴퓨팅학회 학술대회
  • 간기
    반년간
  • 수록기간
    2021~2025
  • 십진분류
    KDC 566 DDC 004

이 권호 내 다른 논문 / 한국차세대컴퓨팅학회 학술대회 2022 한국차세대컴퓨팅학회 춘계학술대회

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.