Earticle

현재 위치 Home

경량 및 고용량 모델 내 파라미터의 가수부 및 지수부 값의 히스토그램 기반 비트 분할 압축에 따른 성능 분석
Bit Split Compression Performance Analysis Based on Mantissa and Exponent Histograms in Lightweight and Large Models

첫 페이지 보기
  • 발행기관
    국제차세대융합기술학회 바로가기
  • 간행물
    차세대융합기술학회논문지 KCI 등재 바로가기
  • 통권
    제9권 5호 (2025.05)바로가기
  • 페이지
    pp.1162-1171
  • 저자
    이동욱, 이웅희
  • 언어
    한국어(KOR)
  • URL
    https://www.earticle.net/Article/A467216

※ 기관로그인 시 무료 이용이 가능합니다.

4,000원

원문정보

초록

영어
Recent advancements in Artificial Intelligence (AI) technology have led to active development of large-scale models, but their deployment remains challenging in resource-constrained environments. To address this, compression techniques such as quantization and pruning are applied, primarily targeting floating-point model parameters to reduce their size. By analyzing the distributions of the mantissa and exponent, key components of floating-point representation, more effective optimization can be achieved. In this study, we divided the parameters of widely used AI models into mantissa and exponent components for histogram analysis, applied bit removal-based compression, and evaluated its impact on performance. The analysis revealed that removing exponent bits had a greater impact on performance, while removing some mantissa bits caused no significant degradation.
한국어
최근 인공지능 기술의 발전으로 대규모 모델 개발이 활발해졌지만, 이러한 모델들은 자원이 제한된 모바 일 기기에서 활용이 어렵다는 한계가 있다. 이를 해결하기 위해 양자화(Quantization)와 프루닝(Pruning)과 같은 압축 기법들이 활용되며, 주로 부동소수점 값을 가지는 모델 파라미터들을 경량화하는 작업이 이루어진다. 따라서 부동소수점의 구성 요소인 가수부와 지수부 값들의 분포를 해석하고 이를 기반으로 경량화를 적절히 수행한다면 더욱 효과적인 최적화가 가능하다. 이러한 동기를 바탕으로, 본 연구에서는 주요 인공지능 모델들의 파라미터를 가수부와 지수부로 분할하여 히스토그램 분석을 수행한 후 비트 제거 기반 압축을 적용하고 성능을 평가하였으며, 지수부 비트 제거는 성능에 큰 영향을 미치며, 상대적으로 가수부 비트는 일정량 제거해도 성능 저하가 크지 않음을 확인하였다.

목차

요약
Abstract
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 히스토그램 분석
3.1 SqueezeNet 모델 분석
3.2 ResNet-50 모델 분석
Ⅳ. 가수부 및 지수부의 비트 분할을 통한 성능 분석
4.1 SqueezeNet 모델 분석
4.2 ResNet-50 모델 분석
Ⅴ. 결론
REFERENCES

키워드

인공지능 경량화 부동소수점 가수부 및 지수부 히스토그램 Artificial Intelligence Lightweight Floating-Point Numbers Mantissa and Exponent Histogram

저자

  • 이동욱 [ Dongwook Lee | 한성대학교 AI응용학과 석사과정 ]
  • 이웅희 [ Woonghee Lee | 한성대학교 AI응용학과 조교수 ] Corresponding Author

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    국제차세대융합기술학회 [International Next-generation Convergence technology Association]
  • 설립연도
    2017
  • 분야
    복합학>기술정책
  • 소개
    Ever since next generation convergence technology became one of the most important industries in the nation, computing professionals have encountered a growing number of challenges. Along with scholars and colleagues in related fields, they have gathered in avariety of forums and meetings over the last few decades to share their knowledge, experiences and the outcome of their research. These exchanges have led to the founding of the International Next-generation Convergence technology (INCA) on December 1, 2015. INCA was registered as an incorporated association under the Ministry of Information and Communications. The main purpose of the organization is to improve our society by achieving the highest capability possible in next generation convergence technology.

간행물

  • 간행물명
    차세대융합기술학회논문지 [The Journal of Next-generation Convergence Technology Association]
  • 간기
    월간
  • pISSN
    2508-8270
  • 수록기간
    2017~2026
  • 등재여부
    KCI 등재
  • 십진분류
    KDC 506 DDC 606

이 권호 내 다른 논문 / 차세대융합기술학회논문지 제9권 5호

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.