Earticle

Reinforcement learning (RL) is fundamental to current artificial intelligence (AI). Since dynamic programming, which is based on Richard Bellman’s principle of optimality, is the basis of RL (and other AI disciplines such as A* search), it is important to apply that principle correctly and artfully. This tutorial uses examples, many from published articles, to examine both the artful and occasionally erroneous application of Bellman’s principle. Our contribution is twofold. First, we emphasize the necessity of a general thought experiment by asking what we call “consultant questions” to determine the proper state space for DP formulation to be established by Bellman’s optimality principle. Second, we convey the role of art based on common sense and effortful cleverness in designing efficient DP. Since Bellman’s principle is intuitive based on common sense, it is sometimes misunderstood. For illustrative purposes, given a directed acyclic graph (DAG), we consider four deterministic minimum-cost path network problems (found in the literature), each bringing up some validity issue concerning Bellman’s principle on a different criterion. We approach them consistently by the conventional wisdom of state augmentation (on top of the physical system state space). As a result, we show that our artful choice of state description not only renders the principle valid in each problem, but also makes each DP as efficient as the standard DP that solves a shortest-path problem in the same DAG, circumventing successfully the so-called curse of dimensionality, a price to be paid frequently by state enlargement. After that, we discuss the potential importance of the treated type of path network problems for practical applications (e.g., communications network).

비지도 방식의 클러스터링은 주로 각 데이터에 대한 유사도나 거리에 기반하여 수행되며, 기본적으로 NP (Non-deterministic polynomial) Hard의 영역으로 알려져 있다. 각 노드에 대한 계산은 매트릭스에 기반하여 수행되는데, 노드의 수가 많은 경우 다른 노드와 비교하는 계산 시간이 매우 많이 소요될 수 밖에 없으며, 이를 단시간 내에 계산하기 위해서는 동적프로그래밍과 같은 컴퓨터 알고리즘이 수반되어야 한다. 이러한 계산 복잡도와 구현의 어려움으로 인해 빅데이터의 클러스터링은 유클리드나 코사인 유사도 등 몇 가지 전통적인 컴퓨터 거리 계산 방식에 국한되어 적용되고 그 계산 방식을 제공하는 주요한 클러스터링 라이브러리에 종속적으로 의존되어 왔다. 따라서 이러한 보편적인 클러스터링으로 계산이 불가능한 특수한 데이터의 경우에는 적용이 아예 불가능하거나 어려운 점이 존재할 수 있다. 예를 들어 개인별 직무 경력과 같은 데이터는, 특정인의 경력 정보가 다른 인력의 경력 정보와 비교를 할 수 있는데, 이를 어떻게 비교를 하여 그 거리를 특정화하고, 여러가지 “career pathway”를 분류해내고 검토하기 위한 특수한 클러스터링 알고리즘이 요구된다. 본 연구에서는 IT 분야의 경력정보 데이터를 활용하여 생명공학 분야에서 DNA 시퀀스에 대한 분류를 위해 활용되는 Optimal Matching 알고리즘을 활용하여 경력 정보의 계산한 후 이를 활용하여 클러스터링하는 시스템을 소개한다.

생물학적 폐수처리 시스템은 시간에 따른 유입 폐수량의 변화가 크고, 처리장으로 유입되는 폐수내의 다양한 성분과 농도의 변화 가 클 뿐 만 아니라, 처리공정 내에서 매우 가변적인 생물학적 반응을 나타내는 특징을 가진다. 본 논문에서는 측정된 공정 데이터에 가장 적합한 다변량 동적 공정 모델이 자동으로 생성되도록 고안된 학습기반 유전자 프로그래밍(GBGP)이라는 진화적 전산 지능을 사용한 자동 공정 모델 유도 시스템을 제안하였다. 이 자동 공정 모델 유도 시스템은 유전자 프로그래밍의 진화적 자기구성 시스템 과 유전학 및 자연선택 메카니즘을 통해 학습 시스템을 사용하여 만들어진 다변형 비선형 모델 진화를 위한 다양한 수학적 기능과 결합되어 있다. GBGP에서 4단계의 모델링 절차가 수행되었다. (1) context-free grammar를 이용하여 P 모델의 초기 개체군(세대 K=0)을 생성시키는 초기화, (2) 변수와 상수의 각 모델에 대한 최적화, (3) 각 모델에 대한 적합도 실행 및 평가, (4) 세대 K=Kmax 가 될 때까지 반복 실행하는 유전자 루프(genetic loop). 모델링 결과 학습기반 유전자 프로그래밍(GBGP)으로 만들어지는 다변량 동 적 공정 모델링 기술이 실제 처리장 규모의 KNR 생물학적 고도처리 공정을 높은 정확도로 출력을 예측하고 주요 작동 변수를 식별 하는 데 유용한 도구임을 보여주었다. 이 모델은 엔진니어가 데이터에 숨겨진 중요한 지식을 알아내고 더 나은 처리장 운영 및 제어 전략을 개발할 수 있도록 이해하기 쉬운 수학 공식의 형태로 자동적으로 생성된다

Biological wastewater treatment systems are characterized by large temporal variability of inflow, variable concentrations of components in the incoming wastewater to the plant, and highly variable biological reactions within the process. This paper proposes an automatic process model induction system using an evolutionary computional intelligence, called grammar-based genetic programming (GBGP), that is specially designed to automatically discover multivariate dynamic process models that best fit observed process data. This automatic process model induction system combines an evolutionary self-organizing system of genetic programming paradigm with various mathematical functions for a multivariate nonlinear model evolution using a grammar system via the mechanism of genetics and natural selection. In the GBGP, a four-step modelling procedure was performed: (1) initialization: generatr an initial population of P models using contex-free grammar. generation K=0; (2) optimize each model (variables and constants) in the population; (3) execute and evaluate the fitness of each model in the population; (4) genetic loop: repeat until termination criterion is met (maximum generation Kmax). The results demonstrate that the multivariate dynamic process modelling technique presented using a grammar-based genetic programming (GBGP) provides a valuable tool for predicting the out puts with high levels of accuracy and identifying key operating variables for the full-scale KNR biological nutrient removal process. These modells are derived automatically in the form of understandable mathematical formulas that enable engineers to extract important knowledge hidden in the data and develop better operation and control strategies.

차량 등 객체를 추적하기 위한 많은 알고리즘들이 있지만 본 논문에서 제안하는 특징점 정합 알고리즘 분야는 지수 복잡도의 시간이 걸리는 작업이다. 더구나, 차량을 추적하기 위해 기존에 제안되었던 객체 추출 등 영상전처리 알고리즘 또한 상당한 시간을 요구한다. 따라서 본 논문에서는 도로상에서 많은 차량들의 이동 궤적을 빠르고 효율적으로 추적하기 위한 방법을 2단계로 제안한다. 1단계로 객체 탐지가 아닌 번호판 영역을 먼저 탐지한 후 특징점을 추출하는 단계하고, 2단계로 특징점들을 정합하기 위한 비용산정식을 구한 후 동적계획법을 이용하여 효율적으로 차량을 추적할 수 있는 방법을 제안한다.

In the past, there have been many theory and algorithms for vehicle tracking. But the time complexity of many feature point matching methods for vehicle tracking are exponential. Also, object segmentation and detection algorithms presented for vehicle tracking are exhaustive and time consuming. Therefore, we present the fast and efficient two stages method that can efficiently track the many moving vehicles on the road. The first detects the vehicle plate regions and extracts the feature points of vehicle plates. The second associates the feature points between frames using dynamic programming.

서울시 공공자전거 시스템은 2015년 정식도입 이래 45,000대 규모로 계속 성장해왔다. 그러나 자산의 노후화에 따른 유지보수와 교체 비용이 지속적으로 증가해왔다. 2023년 약 4,500대를 폐기하였고, 약 30억원 규모의 자산 손실이 발생하였다. 그러므로 과학적이고 데이터 기반의 자산관리 정책 수립이 시급하다. 본 연구의 목적은 확률적 동적계획법(Stochastic Dynamic Programming, SDP)를 활용하여 장기비용을 절감하고, 목표서비스 수준을 만족하는 최적 운영 정책을 수립하는 것이다. 이를 위해서 5단계의 물리적 상태와 누적시간을 기초로 총 15개의 상태를 정의하고, 실제 정비이력을 분석하여, 상태 전이확률을 추정하였다. 그리고 운영비, 유지보수비, 교체비, 방치에 따른 기회비용을 포함한 비용구조를 추정하였다. 수립된 SDP모델은 가치반복법(Value Iteration)을 통해서 상태 기반 최적 정책을 도출하였고, 연도별 자산 도입이력을 반영한 초기 상태 분포를 바탕으로, 전체 자산군에 대해 에이전트 기반 시뮬레 이션으로 정책 성과를 검증하였다. 그 결과, SDP 최적 정책이 상태기반 교체 정책 대비 비용 절감 효과를 보였다. 또한 월별 비용의 변동계수도 비교한 여러 정책 중 가장 낮아 예측 가능한 예산운영이 가능함을 보였다. 그리고, 고장 자전거에 대해 교체보다 수리를 하는 것이 비용 효율적임을 입증하였다.

Since its official launch in 2015, Seoul's public bicycle system has grown continuously to a fleet of 45,000 bicycles. However, maintenance and replacement costs have steadily increased due to asset aging. In 2023, approximately 4,500 bicycles were disposed of, resulting in asset losses of about 3 billion KRW. Therefore, there is an urgent need to establish scientific and data-driven asset management policies. The purpose of this study is to develop an optimal operational policy that reduces long-term costs and satisfies target service levels using Stochastic Dynamic Programming (SDP). To this end, we defined 15 states based on five physical condition levels and cumulative operating time, and estimated state transition probabilities by analyzing actual maintenance records. We also estimated a cost structure that includes operating costs, maintenance costs, replacement costs, and opportunity costs associated with neglect. The SDP model derived state-based optimal policies through Value Iteration, and policy performance was validated using agent-based simulation for the entire asset fleet, based on initial state distributions reflecting annual asset acquisition history. The results showed that the SDP optimal policy achieved cost savings compared to condition-based replacement policies. Furthermore, the coefficient of variation for monthly costs was the lowest among all compared policies, demonstrating that predictable budget management is achievable. Additionally, it was proven that repairing malfunctioning bicycles is more cost-effective than replacing them.

A developable surface is a surface that can be flattened onto a plane without distortion, neither in angle nor in area. In mathematics, it is a collection of points with zero Gaussian curvature. The developable surfaces are of vital importance in modern industry modeling, whereas current business modeling software could only transfer a 3D model into an approximation of a developable surface. In this way, a methodology that could directly generate developable surfaces with no intermediate transformation is in need. This paper illustrated a modeling method based on dynamic programming, and further proposed a method for variational developable surface design. Finally, algorithm in this paper would be verified as valid and practicable by some design cases.

방송 기반의 데이터 전파는 모바일 컴퓨팅 환경에서 보편적으로 받아들여지는 통신 방식이다. 그러나 많은 데이터를 방송해야 할 경우에 방송 채널의 순차성으로 인하여 원하는 데이터를 수신하기까지의 예상 지연시간이 증가한다. 이 대기시간을 줄이기 위하여 본 논문은 다중 채널에 적절하게 데이터를 할당하기 위한 주제를 연구하여 NODA(near optimal data allocation)로 명명된 새로운 데이터 할당 기법을 제안한다. 제안된 기법은 우선 각 방송 채널이 방송해야 하는 데이터들을 결정하기 위하여 평균 예상지연시간의 이론적 하한 값에 기초하여 전체 데이터들을 K 개의 그룹으로 분할한다. 그리고 나서 NODA는 동일 방송 채널에 할당된 데이터들을 다른 빈도로 방송하기 위하여, 각 그룹의 데이터들을 확장된 동적 프로그래밍 알고리즘을 사용하여 B 개의 그룹으로 분할한다. 제안된 기법은 동일 채널에 할당된 데이터들을 그들의 인기도를 반영하여 방송할 수 있기 때문에 평균 예상지연시간을 최소화할 수 있다.

Broadcast-based data dissemination has become a widely accepted approach of communication in the mobile computing environment. However, with a large set of data items, the expected delay of receiving a desired data increases due to the sequential nature of the broadcast channel. This paper explores the issue of designing proper data allocation on multiple broadcast channels to reduce this wait time, and proposes a new data allocation scheme named near optimal data allocation(NODA). The proposed scheme first partitions all data items in K group based on the theoretical lower-bound of the average expected delay to determine data items which each broadcast channel has to broadcast. Then, NODA further partitions each group of data items in B groups using extended dynamic programming algorithm to broadcast data items allocated on the same broadcast channel in different frequencies. The proposed scheme is capable of minimizing the average expected delay time since it can broadcast data items allocated on the same channel reflecting their popularities.

Dynamic programming is a method for solving complex problems by breaking them down into simpler subproblems. This idea is very insightful for solving bioinformatics problems. Aligning distantly related protein sequences is a long-standing problem in bioinformatics and a key for successful protein structure prediction. A fast and valid algorithm can benefit the whole process of biology research. In this paper, we introduce an algorithm that given a certain evaluation function, will calculate the optimal alignment by dynamic programming.

This paper concentrates on the problem of the air cargo space management strategy with a comprehensive, abstract and simplified way, on the basis of the actual characteristics of transport demand in China's air cargo market. We focus on the urgent transportation of goods and general cargo transport whose time requirements are different. The paper first proposes a single-leg cargo space management dynamic programming model according to the different time limit of different kinds of goods, and then the two dimensional single-leg air cargo problem is transformed into one dimensional two-leg airline network problem. After that, we use the expanded method of dynamic programming decomposition to solve the model. A numerical example is solved and simulated to verify the effectiveness of the program.

Network Intrusion Detection System (NIDS) is an important network security system. There always appears high packet loss rate in NIDS, especially when the network traffic is high. We raised Multimedia Packets Processing Method to reduce the packet loss rate and received good results. On this basis, Dynamic Programming is applied to optimize the decision-making steps of this method. This improvement can help the system to find an optimum solution to select the highest risk of multimedia data packet sequence in each time slice, moreover, the system load capacity can also be considered. In this way, the limited processing power of NIDS can be focused on the more dangerous multimedia data packets. A series of experimental results indicate this optimization can help the system to improve the detection rate of the high risk of multimedia information.

Action Dependent Heuristic Dynamic Programming (ADHDP) optimal controller for multi area Automatic Generation Control (AGC) scheme has been designed in this paper. A competitive environment has been considered in the interconnected power system. Conventional AGC model has been modified to include bilateral transactions taking place in energy market. The modified AGC model has been discretized to implement ADHDP. ADHDP is a powerful technique of Approximate Dynamic Programming, used for providing optimal solution by minimizing the given objective function. The proposed approach has been tested on two area AGC scheme for different cases. The results have been compared with the discrete full state feedback controller.

어떤 미로환경 내에서 로봇이 스스로 목표물을 찾기 위해서는 탐색경로를 결정하는 알고리즘이 요구된다. 본 논문에서는 'Y'형 미로에서 목표물을 탐색하기 위하여 Dynamic Programming을 적용한 미로 탐색 알고리즘을 제안한다. 실험에서는 규격화된 미로 블록을 만들고, 먼저 기존에 연구 되었던 자수법 알고리즘을 자율이동 로봇에 적용해 'Y'형 미로 블록을 탐색하게 한다. 그리고 본 논문에서 제시한 Dynamic Programming을 이용한 미로탐색 알고리즘을 자율이동로봇에 적용하고 미로를 탐색한 후 이두가지 알고리즘을 적용한 로봇의 주행 결과를 각각 비교해 봄으로서 Dynamic Programming을 적용한 자율이동로봇의 미로탐색 방법의 성능을 확인한다.

게임 법에서 NPC들이 목표 위치로 이동하기 위하여 A* 알고리즘을 비롯한 다양한 알고리즘들을 이용하여 탐색해 왔다. 그 중 가장 많이 사용하는 알고리즘은 탐색속도가 빠른 A*이다. 그러나 A*에는 다음과 같은 문제점들을 가지고 있다. 첫 번째는 무작위로 변화하는 법에서는 변할 때마다 모든 계산을 다시 해야하며 잘못될 경우에는 목표를 찾지 못할 경우도 있다. 두 번째는 장애물 같이 NPC에 피해를 입히는 위험요소들이 위치하는 곳을 피하여 이동하기가 힘이 든다. 물론 위험 요소들에게 가중치를 부여하며 가중치가 높은 곳은 이동하지 않게도 할 수 있지만 위험 요소들의 근처에 이동하는 경우에는 제어하기 힘이 든다. 이러한 문제점을 해결하기 위하여 본 논문에서는 Dynamic Programming을 이용하여 길찾기 알고리즘에 적용하였다. 적용한 결과 무작위로 변화하는 맵 상의 변화에 잘 적응하였으며, NPC들이 자신의 위험 요소들을 멀리 피해가는 모습을 볼 수 있었다. 또한 A*와 비교에서도 좋은 결과가 나왔다.

In order to move NPC's to target location at game maps, various algorithm including A* has been used. The most frequently used algorithm among them is A* with fast finding speed. But A* has the following problems. The first problem is that at randomly changing map, it is necessary to calculate all things again whenever there are any changes. And when calculation is wrong, it is not possible to search for target. The second problem is that it is difficult to move avoiding dangerous locations damaging NPC such as an obstruction. Although it is possible to avoid moving to locations with high weight by giving weight to dangerous factors. it is difficult to control in case NPC moves nearby dangerous factors. In order to solve such problems, in this thesis, the researcher applied Dynamic Programming to path-finding algorithm. As the result of its application, the researcher could confirm that the programming was suitable for changes at the map with random change and NPC's avoided the factors being dangerous to them far away. In addition. when compared to A*, there were good results.

Significant increase of container flows in marine terminals requires more efficient automatic port systems. This paper presents a novel routing and collision avoidance algorithm of linear motor based shuttle cars using random access sequence dynamic programming (RAS DP). The proposed RAS DP is accomplished online for determining optimal paths for each shuttle car.

항만 물동량의 증가로 자동화 항만 시스템에 대한 연구가 활발히 진행되고 있다. 본 연구는 선형 모터 기반 이송 장비인 LMTT 시스템의 자동화 운용에 있어 충돌 및 교착상태를 방지하기 위해 Random Access Sequence Dynamic Programming(RAS DP)를 이용한 최적 경로 탐색 알고리즘을 제안한다. 제안하는 알고리즘은 실시간으로 각 shuttle car의 최적 경로를 탐색한다.

Significant increase of container flows in marine terminals requires more efficient automatic port systems. This paper presents a novel routing and collision avoidance algorithm of linear motor based shuttle cars using random access sequence dynamic programming (RAS DP). The proposed RAS DP is accomplished online for determining optimal paths for each shuttle car.

본 논문에서는 북한강 수계의 소양강댐 및 최근에 건설된 남한강 수계의 충주댐의 홍수조절 모형을 개발하였으며, 그 방법으로는 mini-max Dynamic Programming(DP)에 의한 Optimization기법을 사용하였다. 즉 각댐의 유입량을 이용하여 소양강댐 및 충주댐에서의 최대 방류량을 최소화시키는 목적 함수를 사용하였으며, 각 댐 및 하도의 특성에 따른 제약 조건을 고려하였다. DP에 의한 소양강댐 및 충주댐의 최적 운영 결과를 조절율과 이용율을 사용하여 Simulation방법중 Technical ROM, Rigid ROM, Linear Decision Rule(LDR)과 비교한 결과 모든 빈도에 대해서 DP에 의한 방법이 더 좋은 것으로 나타났다. 소양강댐의 각 빈도별 유입량에 대한 방류 형태중, 5년 빈도의 경우에는 방류를 전혀 하지 않아도 저수위가 홍수위 198m를 넘지 않으므로 사실상 5년 빈도의 홍수에 대해서는 저수지 조작이 필요없다. 충주댐의 각 빈도별 유입량에 대한 방류 형태는 초반부와 후반부에서는 방유량-유입량으로 방출하고 중반부에서는 일정한 양을 방류한다. 이에 따라 저수위도 초반부와 후반부에서는 각각 제한수위 138m와 홍수위 145m로 유지된다.

항공화물에 대한 수익경영과 항공여객에 대한 수익경영은 전체적인 운영 측면에 있어 그리 큰 차이가 없다. 즉 한정된 자원의 공급예측, 공급량 할당에 대한 최적화, 예약취소와 당일 부도를 고려한 초과예약, 경쟁사 및 6수송을 고려한 최적 공급배분 등 이들 제 요인은 항공화물과 여객에 동일하게 적용되는 수익경영 관리프로세스이다. 그러나 항공여객을 대상으로 한 수익경영은 사전 확정 공급석을 기준으로 출발당일 최종 수요를 예측하는 동시에 효율적인 가격조합을 통하여 최적의 수익을 창출 하는 연구라면, 항공화물의 수익경영은 항공여객에 있어 주어진 좌석이라는 공급, 즉 운영공간을 고정요소가 아닌 변동요소의 구성으로부터 시작된다. 따라서 본 연구에서는 항공화물의 공급공간을 정확히 예측하기 위한 방안으로 항공운송구간을 단일구간(single-leg)으로 한정하고, 항공여객 예측모델인 동적계획(DP)모형을 변형시켜 최적의 공급공간을 예측하는 항공화물동적모형(acDP)을 제시한다.

There is no great difference of revenue management between air cargo and airline passenger in general. In other words, supply prediction of limited resources, optimization of feed rate allocation, cancellation, overbooking concerning bankruptcy, supply distribution concerning rival company and 6-transportation are equally applicable to air cargo and airline passenger which is process of revenue management. The revenue management targeted on airline passenger can predict future forecasted demand and produce profits by managing optimum cost based on reserved seats beforehand. But the revenue management targeted on air cargo is just supply of given space which is not fixed and it can be fluctuating. Also, it needs a prior prediction process such as volume, weight, and shape of air cargo, it differs to revenue management based on airline passenger. Consequently, the study suggest Air Cargo Dynamic programming(acDP)model which predict optimum supply space. Creating maximum profit requires to predict actual supply space, so to limit air transportation section to a single-leg and to transform basic Dynamic Programming Model.

Recently, the constrained index tracking problem, in which the task of trading a set of stocks is performed so as to closely follow an index value under some constraints, has often been considered as an important application domain for control theory. Because this problem can be conveniently viewed and formulated as an optimal decision-making problem in a highly uncertain and stochastic environment, approaches based on stochastic optimal control methods are particularly pertinent. Since stochastic optimal control problems cannot be solved exactly except in very simple cases, approximations are required in most practical problems to obtain good suboptimal policies. In this paper, we present a procedure for finding a suboptimal solution to the constrained index tracking problem based on approximate dynamic programming. Illustrative simulation results show that this procedure works well when applied to a set of real financial market data.