Earticle

초록

영어

Unlike refined public datasets, real-world industrial and public data often exhibit irregular hierarchical structures and missing information at specific levels. This data incompleteness acts as a significant constraint, preventing classification models from maintaining hierarchical consistency and performing sophisticated reasoning. To overcome these limitations, this study proposes a Hierarchical Knowledge Distillation algorithm designed to effectively learn from complex and incomplete real-world hierarchies. To specifically address the problem of missing labels, the proposed system introduces a label masking strategy that calculates loss functions only for available labels, alongside a pseudo-labeling technique that compensates for missing information based on knowledge from higher hierarchies. Furthermore, hierarchical consistency constraints are applied to prevent structural contradictions by ensuring that the probability of a sub-class does not exceed that of its parent class. The proposed method outperformed existing hierarchical classification algorithms on standard benchmark datasets. Notably, it achieved an approximately 7.2% improvement in accuracy on the iNaturalist 2018 dataset, empirically validating the proposed methodology's versatility and its ability to maintain structural consistency.

한국어

실세계의 산업 및 공공 데이터는 정제된 공개 데이터셋과 달리 계층 구조가 불규칙하거나 특정 단계의 정보가 생략되는 등 비정형적인 특성을 지닌다. 이러한 데이터의 불완전성은 결과적으로 분류 모델이 계층적 일관성을 유지하며 정교한 추론을 수행하는 데 큰 제약이 된다. 본 연구에서는 이러한 한계를 극복하기 위해 실세계의 복잡하고 불완전한 계층 구조를 효과적으로 학습할 수 있는 계층적 지식 증류 알고리즘을 제안한다. 제안하는 시스템은 특히 레이블 누락 문제를 해결하기 위해 가용 레이블에 대해서만 손실 함수를 계산하는 레이블 마스킹 전략과 상위 계층의 지식을 바탕으로 누락된 정보를 보완하는 의사 레이블링 기법을 도입하였다. 또한, 하위 클래스의 확률이 부모 클래스의 확률을 초과하지 않도록 강제하는 계층 일관성 제약 조건을 적용하여 구조적 모순을 차단하였다. 제안된 방법은 기존의 계층 분류 알고리즘 대비 벤치마크 데이터셋에서 우수한 성적을 거뒀다. 특히, iNaturalist2018에서는 기존 대비 Accuracy가 약 7.2% 향상된 성능을 달성했으며, 이는 본 연구에서 제안하는 방법론의 범용성과 구조적 일관성 유지 능력을 실증적으로 확인하였음을 시사한다.

목차

요약
Abstract
1. 서론
2.1 계층적 이미지 분류
2.2 지식 증류
3. 제안 방법
3.1 시스템 아키텍처 및 구성 요소
3.2 데이터 불완전성 해결을 위한 마스킹 전략
3.3 데이터 흐름 및 학습 프로세스
4. 실험
4.1 실험 데이터
4.2 실험 세팅
4.3 실험 결과
5. 결론
Acknowledgements
참고문헌

키워드

저자

• 김태섭 [ Taeseop Kim | 국립한밭대학교 정보통신공학과 ]
• 장하윤 [ Hayun Jang | 국립한밭대학교 정보통신공학과 ]
• 최현빈 [ Hyunbin Choi | 국립한밭대학교 정보통신공학과 ]
• 박효빈 [ Hyobin Park | ANTLAB Inc. ]
• 김유현 [ Yuhyun Kim | ANTLAB Inc. ]
• 최동걸 [ Dong-Geol Choi | 국립한밭대학교 정보통신공학과 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국차세대컴퓨팅학회 논문지 [THE JOURNAL OF KOREAN INSTITUTE OF NEXT GENERATION COMPUTING]

• 간기

  격월간

• pISSN

  1975-681X

• 수록기간

  2005~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 566 DDC 004