离散时间马氏决策过程的首达目标准则

本文考虑可数状态离散时间马氏决策过程的首达目标模型的风险概率准则.优化的准则是最小化系统首次到达目标状态集的时间不超过某阈值的风险概率.首先建立最优方程并且证明最优值函数和最优方程的解对应,然后讨论了最优策略的一些性质,并进一步给出了最优平稳策略存在的条件,最后用一个例子说明我们的结果.     

一般化马氏决策规划的现状与展望

本文综述了一般化马氏决策规射的研究现状,并讨论了存在的问题和进一步研究的方向.马氏决策规划(Markov Decision Programming,简记为 MDP)诞生于60年代初,至今已有四个分支:离散时间 JMDP,连续时间 MDP,半马氏决策规划和马氏决策漂移过程.标准的离散时间 MDP 模型为:     

齐次可列马尔可夫链的一个平稳测度及其应用

<正> 在文献[1]中首先指出了某些线性方程组解的图论特征,[2]将之运用于计算遍历的离散时间齐次有限马氏链的平稳分布,[3]将之运用于连续和离散时间两种情形.正如[3]中指出的,[1]、[3]以及[4]、[5](我们还可以指出[2])其证明实质是同一的. 本文研究可列情形.由于以上作者均使用了行列式这一工具,而在可列情形下行列式的某些推广不够有力而不能采用,在这里必须使用完全不同的方法.作者循与     

离散型冲击折扣半马氏决策过程

本文讨论离散型冲击折扣半马氏决策过程，在建立模型后，我们将它化成了一个等价的离散时间马氏决策过程．     

非负费用折扣半马氏决策过程

本文考虑可数状态非负费用的折扣半马氏决策过程.首先在给定半马氏决策核和策略下构造一个连续时间半马氏决策过程,然后用最小非负解方法证明值函数满足最优方程和存在ε-最优平稳策略,并进一步给出最优策略的存在性条件及其一些性质.最后,给出了值迭代算法和一个数值算例.     

报酬无界的连续时间折扣马氏决策规划

本文讨论了报酬函数夫界，转移速率族一致有界，状态空间和行动集均可数的连续时间折扣马氏决策规划，文中引入了一为新的无界报酬函数，并在一新的马氏策略类中，证明了有界报酬下成立的所有结果。讨论了最优策略的结构，得到了该模型策略为最优的一个充要条件。     

随机终止的非平稳折扣半马氏决策规划

半马氏决策规划(SMDP)提出至今讨论了时齐模型{S,A,,,p,T V}和非时齐模型{＆:A。,rt。,P。;T,。,Vn},后者的元素中至少有一个与决策周期数。有关.在实际问题中还有元素全部或部分与时间因子有关的模型,我们称之为非平稳模型.SMDP的目标函数也仅讨论决策周期数有限和无限这两种情形,但有时还要考虑时间段K到上系统的最优控制.这里T为系统的终止时间,可是随机的.我们称这种问题为随机终止的。本文讨论随机终止的非平稳折扣SMDP.     

马氏决策漂移过程

马氏决策漂移过程(MDDP)这一概念是在1981年由两位荷兰学者A.Hordijk与F.A.Van Der Duyu Schouten提出的.接着他们又写了一系列有关马氏决策漂移过程方面的文章.本文拟对马氏决策漂移过程作一简要的介绍,并且指出它与具有连续时间参数马氏决策过程(或称决策规划)(CTMDP)及具有离散时间参数马氏决策过程(DTMDP)之间的联系.     

无界报酬非时齐折扣马氏决策模型

在文献[1]—[3]中在各自的条件下,讨论过非时齐折扣马氏决策模型及其ε(≥0)最优策略存在的条件.在文献[4],文献[5]中,在状态和行动集都是可数的条件下,讨论了具有绝对平均相对有界的无界报酬的时齐折扣马氏决策模型.本文在状态集仍为可数,行动集为任意的条件下,建立与[4]相应的非时齐的折扣马氏决策模型;给出模型的有限阶段逼近和建立最优方程;证明了ε(>0)最优马氏策略的存在性和行动集为有限集时最优     

马氏决策规划的加速逼近算法与最小方差问题

我们涉及的折扣马氏决策规划(有些著者称为马氏决策过程),具有状态空问与每个状态可用的决策集均为可数无穷集、次随机转移律族、有界报酬函数.给出了一个求(ε_)最优平稳策略的加速收敛逐次逼近算法,比White的逐次逼近算法更快地收敛于(ε_)最优解,并配合有非最优策略的检验准则,使算法更加得益. 设β为折扣因子,一般说β(或(ε,β))_最优平稳策略,往往是非唯一的,甚至与平稳策略类包含的策略数一样多.我们自然希望在诸β(或(ε,β))_最优平稳策略中寻求方差齐次地(关于初始状态)达(ε_)最小的策略.我们证明了这种策略确实存在,并给出了获得这种策略的算法.