Earticle

초록

영어

Recently, reinforcement learning has been used to improve the communication performance of flying ad-hoc networks (FANETs) and to design mobility models. Mobility model is a key factor for predicting and controlling the movement of unmmaned aerial vehicle (UAVs). In this paper, we designed and analyzed the performance of Q-learning with fourier basis function approximation and Deep-Q Network (DQN) models for optimal path finding in a three-dimensional virtual environment where UAVs operate. The experimental results show that the DQN model is more suitable for optimal path finding than the Q-learning model in a three-dimensional virtual environment.

한국어

최근 비행 애드-훅 네트워크(Flying Ad-hoc Network) 환경에서 강화학습을 이용한 통신 성능 개선과 이동성 모델 설계에 관한 연구가 진행되고 있다. 무인항공기(UAV)에서의 이동성 모델은 움직임을 예측하고 제어하기 위한 핵심 요소로 주목받고 있다. 본 논문에서는 무인항공기가 운용되는 3차원 가상 환경을 구현하고, 무인항공기의 경로 최적화를 위해 푸리에 기저 함수 근사를 적용한 Q-learning과 DQN 두 가지 강화학습 알고리즘을 적용하여 모델을 설계 및 성능 을 분석하였다. 실험 결과를 통해 3차원 가상 환경에서 DQN 모델이 Q-learning 모델 대비 최적의 경로 탐색에 적합한 것을 확인하였다.

목차

요약
Abstract
Ⅰ. 서론
Ⅱ. 비행 애드-혹 네트워크
1. UAV 애드-혹 네트워크
2. Multi-UAV 애드-혹 네트워크
3. Multi-layer UAV 애드-혹 네트워크
Ⅲ. 강화학습
1. Q-learning
2. DQN
Ⅳ. 이동성 모델의 설계 및 성능 평가
1. 시뮬레이션 환경
2. 이동성 모델 학습 방법
3. 학습 결과
Ⅴ. 결론
References

키워드

저자

• 김경훈 [ Kyoung Hun Kim | 준회원, 광운대학교 전자융합공학과 ]
• 조민규 [ Min Kyu Cho | 준회원, 광운대학교 전자융합공학과 ]
• 박창용 [ Chang Young Park | 준회원, 광운대학교 전자융합공학과 ]
• 김정호 [ Jeongho Kim | 준회원, 광운대학교 전자융합공학과 ]
• 김수현 [ Soo Hyun Kim | 준회원, 광운대학교 전자융합공학과 ]
• 선영규 [ Young Ghyu Sun | 준회원, 광운대학교 전자융합공학과 ]
• 김진영 [ Jin Young Kim | 정회원, 광운대학교 전자융합공학과 ] 교신저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  한국인터넷방송통신학회 논문지 [The Journal of the Institute of Internet, Broadcasting and Communication]

• 간기

  격월간

• pISSN

  2289-0238

• eISSN

  2289-0246

• 수록기간

  2001~2025

• 십진분류

  KDC 326 DDC 380