连续时间马氏决策过程的基本假设

在讨论连续时间马氏决策过程(CTMDP)的文献中，对于转移速率qij(t)，常见的假设是：(a)qij(t)是一致有界的^[1-4]；(b)qij(t)关于t是连续的，或者是几乎处处连续的^[4-8]。在本文中，我们放弃了对qij(t)的上述假设(a)和(b)，给出了一些较弱的基本假设以取代(a)，(b)，使CTMDP的研究范围得以扩大。     

关于有限阶段部分可观察DP的注记

本文介绍了有限阶段部分可观察DP的模型及算法,并给出了证明.同时,对[2]的一处错误作了纠正.     

部分可观察马尔可夫决策规划—首达目标模型

部分可观察马尔可夫决策规划──首达目标模型刘迪芬（湖南师范大学数学系，长沙４１００８１）刘建庸，刘克（中国科学院应用数学研究所，北京１０００８０）ＰＡＲＴＩＡＬＬＹＯＢＳＥＲＶＡＢＬＥＭＡＲＫＯＶＤＥＣＩＳＩＯＮＰＲＯＧＲＡＭＭＩＮＧ：ＦＩＲＳＴＰＡ...     

MARKOV DECISION PROGRAMMING WITH CONSTRAINTS

ＭＡＲＫＯＶＤＥＣＩＳＩＯＮＰＲＯＧＲＡＭＭＩＮＧＷＩＴＨＣＯＮＳＴＲＡＩＮＴＳＬＩＵＪＩＡＮＹＯＮＧ（刘建庸）；ＬＩＵＫＥ（刘克）（ＩｎｓｔｉｔｕｔｅｏｆＡｐｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ，ｔｈｅＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，...     

具有摄动的两类马氏决策规则

在状态空间和行动集均有限的条件下,[1-5]讨论了时间离散的,平稳的马氏决策规划的摄动模型,其中,[1,3,4]讨论了单摄动模型,[5]讨论了具有加权准则的摄动模型,[6,7]讨论了时间离散的,平稳的马氏报酬过程的摄动模型,但[6,7]仅考虑了摄动对最优值的影响,而没有考虑摄动对最优策略的影响,本文将讨论具有摄动的非平衡平均马氏均策规划和连续时间折扣马氏决策规划。     

MARKOVIAN DECISION PROGRAMMING WITH RECURSIVE VECTOR-REWARD

In this paper, we discuss Markovian decision programming with recursive vector-reward andgive an algorithm to find optimal policies. We prove that: (1) There is a Markovian optimal policy for the nonstationary case; (2) Thereis a stationary optimal policy for the stationary case.     

马氏决策过程平均准则最优不等式综述

对平均准则的讨论一直是马氏决策过程研究的热点之一，近几年已从最优方程推广到最优不等式。本文系统地了介绍最优不等式的提出及其发展思路，目前已取得的成果等，同时也指出了有待于进一步研究的问题。