Earticle

초록

한국어

연합학습은 분산된 클라이언트들의 데이터를 이용하여 학습된 글로벌 모델을 만드는 것을 목적으로 한다. 그러나 각 클라이언트에 종속적인 이질적 분포의 데이터를 사용해 학습을 수행한 결과인 글로벌 모델은 중앙집중식 모델에 비해 저하된 성능을 보인다. 본 논문에서는 불균형한 데이터 분포 환경에서 연합학습 모델이 학습될 때 발 생하는 가중치 발산으로 인한 성능저하 문제를 해결하기 위해 AdaBoost의 동작방식을 기반으로 차원축소 알고리 즘을 활용한 학습 참여 기기 선택 기법을 제시한다. 데이터 이질성을 모사한 클래스 불균형 문제 상황에서 다양한 알고리즘들을 활용한 제안 기법들을 적용하였으며, 쿨백-라이블러, IsoMap 및 AdaBoost 동작방식을 활용한 제안 기법은 92.986%의 높은 정확도를 달성하였다. 또한, 제안된 기법들은 첫 라운드에서 기존 기법 대비 최대 6.17% 및 평균 3.87% 더 높은 정확도를 나타내어 보다 빠르게 학습을 수행하여 saturation point에 도달하는 결과를 보였다.

영어

Federated learning (FL) aims to build a sufficiently trained global model using data from distributed clients. However, the global model generated by FL using the clients’ data with different distribution shows poor performance compared to the centralized learning-based model. We focused on such performance degradation problem caused by weight divergence when performing FL in unbalanced data distribution environments. To overcome this problem, in this paper, we propose the participant selection scheme which utilizes diverse dimensionality reduction algorithms with leveraging AdaBoost's behavior. We implemented the various proposed schemes which utilize different algorithms in combination, and we evaluated them in situations when the data distribution imbalance exists. The results show that the proposed scheme using Kullback-Leibler divergence, IsoMap, and AdaBoost behavior achieved a high accuracy of 92.986%. In addition, the proposed schemes showed up to 6.17% higher accuracy than the existing scheme in the first round of FL, resulting in faster training to reach saturation point.

목차

요약
Abstract
Ⅰ. 서론
Ⅱ. 관련연구
2.1 데이터 공유
2.2 데이터 증강
2.3 시스템 최적화
2.4 클라이언트 클러스터링
2.5 기타
Ⅲ. Non-IID 데이터 분산 환경에서의연합학습 참여 기기 선택 기법의 기반 기술
3.1 연합학습
3.2 AdaBoost
3.3 차원 축소
3.4 유사도 측정
Ⅳ. Non-IID 데이터 분산 환경에서의연합학습 선택 기법
4.1 기법 A: Euclidean + (IsoMap or t-SNE)
4.2 기법 B: Kullback-Leibler + (IsoMap or t-SNE)
4.3 기법 C: AdaBoost + (Euclidean or Kullback-Leibler) + (IsoMap or t-SNE)
Ⅴ. 성능 평가
5.1 실험 설계
5.2 기법 A
5.3 기법 B
5.4 기법 C
Ⅵ. 결론
REFERENCES

저자

• 이채은 [ Chae-Eun Lee | 한성대학교 IT융합공학부 학부과정 ]
• 이웅희 [ Woonghee Lee | 한성대학교 AI응용학과 조교수 ] Corresponding Author

참고문헌