Earticle

초록

영어

This study analyzes the structural characteristics of a Mixture-of-Experts (MoE) architecture in an LLM-based session recommendation environment, focusing on its impact on GPU memory consumption and inference latency. In addition, we identify and discuss structural considerations required under resource-constrained settings. Using an identical backbone architecture, we compare an FFN-based model with an MoE-based model and observe that GPU memory usage and step-wise inference latency tend to increase as the number of experts grows. This characteristic can become a critical consideration in session-based recommendation scenarios where short session sequences are processed repeatedly. Based on these observations, we organize a structural perspective on resource management and expert utilization strategies that take into account expert activation frequency and session characteristics. Finally, we present an analytical viewpoint for examining resource usage patterns in MoE-based LLM session recommendation systems.

한국어

본 연구는 LLM 기반 세션 추천 환경에서 Mixture-of-Experts(MoE) 구조가 GPU 메모리 사용량과 추론 지연 시간에 미치는 구조적 특성을 분석하고, 자원 제약 상황에서 고려해야 할 구조적 고려 요소를 분석하여 제시한다. 동일한 백본 구조를 기준으로 FFN 기반 모델과 MoE 기반 모델을 비교한 결과, 전문가 수가 증가함에 따라 GPU 메모리 점유와 지연 시간이 함께 증가하는 경향이 나타났다. 이러한 특성은 짧은 세션 시퀀스를 반복적으로 처리하는 세션 추천 환경에서 자원 관리 측면의 주요 고려 요소가 될 수 있다. 이에 본 연구는 전문가 활성빈도와 세션 특성을 고려한 자원 관리 및 전문가 활용 방식의 구조를 정리하고, MoE 기반 LLM 세션 추천 시스템을 자원 사용 특성을 분석하기 위한 관점을 제시한다.

목차

국문초록 / ABSTRACT
Ⅰ. 서론
1. 연구의 필요성
2. 연구의 목적
Ⅱ. 관련연구
1. LLM 기반 추천 모델 (LLM-based Recommendation Models)
2. Mixture-of-Experts(MoE) 시스템
Ⅲ. 실험
1. 실험 설계
2. 실험 결과 및 분석
Ⅳ. 제안 시스템
Ⅴ. 결론 및 제언
참고문헌

키워드

저자

• 주유진 [ Yu-jin Ju | 단국대학교 대학원 인공지능융합학과 석사과정 ]
• 곽성신 [ Sung-Shin Kawk | 단국대학교 대학원 인공지능융합학과 석사과정 ]
• 박소현 [ So-Hyun Park | 단국대학교 SW융합대학 소프트웨어학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  에듀테인먼트연구 [Journal of the Edutainment]

• 간기

  격월간

• pISSN

  2671-9789

• eISSN

  2672-0329

• 수록기간

  2019~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 370 DDC 370