Service meshes provide traffic-management and observability for cloud-native microservices; however, static or rule-based traffic policies may not adapt effectively to changing service conditions. This paper proposes a Deep Q-Network (DQN)-based framework for adaptive traffic-policy optimization in Istio service meshes. The framework uses runtime service metrics collected through Prometheus to construct the service-mesh state and dynamically selects Istio traffic-policy configurations combining load balancing, connection pooling, and circuit breaking. The proposed framework is implemented on Kubernetes using the Istio Bookinfo application and evaluated against Static Istio and a Rule-Based Controller. Experimental results show that the Proposed DQN achieves the lowest average P50 latency, highest request rate, lowest performance cost, and highest average reward among the evaluated controllers. However, it exhibits higher P95 latency than the baseline controllers, indicating a trade-off in tail-latency performance. These results demonstrate the potential of DQN-based adaptive traffic-policy optimization to achieve a favorable multi-objective operating point in service-mesh environments.
한국어
서비스 메시는 클라우드 네이티브 마이크로서비스 환경에서 트래픽 관리 및 관측 기능을 제공하지만, 정적 또는 규칙 기반 트래픽 정책은 변화하는 서비스 상태에 효과적으로 적응하기 어렵다. 본 논문에서는 Istio 서비스 메시에서 적응형 트래픽 정책 최적화를 수행하기 위한 심층 Q-네트워크(Deep Q-Network, DQN) 기반 프레임워크를 제안한다. 제안 프레임워크는 Prometheus를 통해 수집한 런타임 서비스 메트릭을 이용하여 서비스 메시의 상태를 구성하고, 부하 분산, 연결 풀링 및 서킷 브레이킹을 결합한 Istio 트래픽 정책 구성을 동적으로 선택한다. 제안 프레임워크는 Kubernetes 환경에서 Istio Bookinfo 애플리케이션을 기반으로 구현하였으며, 정적 Istio 정책(Static Istio) 및 규칙 기반 제어기(Rule-Based Controller)와 비교하여 성능을 평가하였다. 실험 결과, 제안한 DQN 기반 제어기는 평가 대상 제어기 중 가장 낮은 평균 P50 지연시간, 가장 높은 요청률(request rate), 가장 낮은 성능비용 및 가장 높은 평균 보상을 나타냈다. 반면, 기준 제어기보다 높은 P95 지연시간을 보여 꼬리 지연시간(tail latency) 측면에서 성능 상충관계가 존재함을 확인하였다. 이러한 결과는 DQN 기반 적응형 트래픽 정책 최적화가 서비스 메시 환경에서 여러 성능 목표를 종합적으로 고려한 효과적인 운영점을 도출할 수 있음을 보여준다.
목차
요약 Abstract 1. Introduction 2. Related Work 3. Proposed DQN-based Traffic-policy Framework 3.1 System Architecture 3.2 State Representation 3.3 Action Space 3.4 Reward Function 3.5 Runtime Optimization Workflow 4. Experimental Setup 4.1 Benchmark Application 4.2 Baseline Methods and Evaluation Metrics 5. Evaluation Results 5.1 Comparison with Baseline Controllers 6. Discussion 7. Conclusion and Future Work Acknowledgment 참고문헌