Earticle

초록

영어

Deep Q-Network(DQN) has been widely utilized in reinforcement learning applications by introducing Q-function approximation via neural networks and experience replay, which addresses the challenges of high-dimensional state spaces and enhances learning stability and sample efficiency. Nevertheless, the continuous need for additional techniques to further improve learning efficiency and performance has been consistently raised. This paper proposes various enhancement techniques for DQN performance improvement, systematically analyzes them, and presents an evaluation of performance changes based on different combination strategies. This study considers three core performance improvement techniques. The first technique is an action-similarity-based buffering method that leverages a pre-trained model. It evaluates the similarity between actions of the pre-trained model using cosine similarity and a self-defined rule-based approach, differentially storing experiences of superior quality multiple times in the experience replay buffer. The second technique is a reward-based buffering method, where experiences yielding positive rewards are prioritized for storage in the buffer. Finally, an additional reward shaping technique is applied to the environmental rewards obtained when the agent takes an action. This research utilizes the Gymnasium's Box2D Car Racing environment for experimentation, conducting performance evaluations for various combination scenarios alongside an analysis of the individual effect of each technique. By quantitatively analyzing the influence of each technique on the DQN learning process and proposing an optimal combination strategy under specific environmental conditions, this study provides practical guidelines for the design and implementation of DQN-based reinforcement learning systems.

한국어

Deep Q-Network(DQN)은 신경망을 통한 Q-함수 근사 및 경험 재생 도입으로 고차원 상태 공간 문제를 해결하고 학습 안정성과 샘플 효율성을 높여 강화학습 응용 분야에서 널리 활용되고 있으나, 학습 효율 및 성능 개선을 위한 추가적인 기법의 필요성이 지속적으로 제기되어 왔다. 본 논문은 DQN의 성능 향상을 위해 다양한 개선 기법들을 제안하고 이들의 조합 전략에 따른 성능 변화를 실험적으로 평가하여 체계적으로 분석하여 제안한다. 본 연구에서는 세 가지 핵심 성능 개선 기법을 고려한다. 첫 번째 기법은, 사전 학습된 모델을 활용한 행동 유사도 기반 버퍼링 기법으로, 코사인 유사도와 자체 정의한 규칙 기반 방식을 통해 사전 학습된 모델의 행동과 유사도를 평가하고 경험의 우수한 정도를 나누어 차등적으로 경험 재생 메모리에 중복 저장한다. 두 번째 기법은, 보상 기반 버퍼링 기법으로, 에이전트가 양의 보상을 획득할 시, 해당 경험을 우선적으로 경험 재생 메모리에 저장한다. 마지막으로, 에이전트가 행동을 취할 때 얻을 수 있는 환경에서 주어지는 보상에 추가적인 보상 조정 기법을 적용한다. 본 연구에서는 Gymnasium의 Box2D Car Racing 환경을 실험 환경으로 활용하며, 각 기법의 개별 효과 분석과 함께 다양한 조합 시나리오에 대한 성능 평가를 수행한다. 본 연구는 각 기법이 DQN의 학습 과정에 미치는 영향을 정량적으로 분석하고, 특정 환경 조건에서 최적의 기법 조합 전략을 제시함으로써 DQN 기반 강화학습 시스템의 설계 및 구현에 실용적인 가이드라인을 제공한다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 Q-함수 및 타겟 개선 기법
2.2 네트워크 구조 및 탐색 전략 개선 기법
2.3 경험 재생 메모리 및 데이터 활용 개선 기법
2.4 통합 알고리즘
2.5 본 논문의 차별성
3. DQN 성능 선 기법 제안
3.1 본 연구에서 가정하는 내용
3.2 마르코프 결정 프로세스(Markov Decision Process, MDP)
3.3 본 연구에서 제안하는 DQN 성능 개선 기법
4. 실험 결과 및 분석
4.1 DQN의 구조와 하이퍼 파라미터
4.2 실험 결과 및 분석
4.3 소거 연구
5. 결론 및 향후 연구
참고문헌

키워드

저자

• 심영찬 [ Youngchan Shim | 부산대학교 정보컴퓨터공학부 ]
• 윤동희 [ Donghee Yoon | 부산대학교 정보컴퓨터공학부 ]
• 김태운 [ Taewoon Kim | 부산대학교 정보컴퓨터공학부 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국차세대컴퓨팅학회 논문지 [THE JOURNAL OF KOREAN INSTITUTE OF NEXT GENERATION COMPUTING]

• 간기

  격월간

• pISSN

  1975-681X

• 수록기간

  2005~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 566 DDC 004