一般化马氏决策规划的现状与展望

本文综述了一般化马氏决策规射的研究现状,并讨论了存在的问题和进一步研究的方向.马氏决策规划(Markov Decision Programming,简记为 MDP)诞生于60年代初,至今已有四个分支:离散时间 JMDP,连续时间 MDP,半马氏决策规划和马氏决策漂移过程.标准的离散时间 MDP 模型为:     

生灭过程的漂移

<正> 研究漂移(Excursion)的文章很多,如[1]和[2],但多侧重于考虑布朗运动和一般马氏过程.本文将在[3]和[4]的基础上对生灭过程研究漂移问题,所用定义及符号与[3]和[4]一致.     

随机环境下连续时间马氏决策过程最优控制存在性（英文）

本文研究随机环境对于连续时间马氏决策过程最优控制问题的影响,给出有限水平最优控制存在的判别条件,将研究扩散过程最优控制问题常用的紧致化方法推广到对连续时间马氏决策过程的研究.     

常返马尔科夫过程的若干性质

<正> 采用[1]中的定义与记号.设 X=(x_t,M,p_x)为马尔科夫(简称“马氏”)过程,相空间为(E,(?)).由于本文所讨论的都是马氏过程,故将“马氏”二字略去而简称“马氏过程”为“过程”.一类重要的过程是常返过程.在马氏炼(时间与 E 均离散)情形,常返性研究得较     

非负费用折扣半马氏决策过程

本文考虑可数状态非负费用的折扣半马氏决策过程.首先在给定半马氏决策核和策略下构造一个连续时间半马氏决策过程,然后用最小非负解方法证明值函数满足最优方程和存在ε-最优平稳策略,并进一步给出最优策略的存在性条件及其一些性质.最后,给出了值迭代算法和一个数值算例.     

一致可数可加马氏链不变测度的存在性

该文的主要研究结果是当马氏链满足一致可数可加条件和漂移条件(V1)时,马氏链存在Harris分解,进一步证明了马氏链存在不变测度,最后给出了一个相关的例子.     

一类连续时间平均马氏决策平稳最优策略的存在性

1.引言我们将在可测(确定性)马氏策略类Π_m~d(c)中讨论连续时间平均马氏决策(简称平均CTMDP):{S,(A(i),(?)(i),i∈S),q,r,(?)}.本文假设状态空间 S 为可列集;行动集 A(i)为一般点集,(A(i),(?)(i),i∈S)为可测空间,任给 a∈A(i),要求{a}∈(?)(i);q 是保守的转移速率族;报酬率 r 是一致有界的可测函数,即存在 M<∞,使|r(i,a)|≤M 对 i∈S,a∈A(i)成立.对π∈Π_m~d(c),i∈S,平均报酬函数(?)定义为:     

离散型冲击折扣半马氏决策过程

本文讨论离散型冲击折扣半马氏决策过程，在建立模型后，我们将它化成了一个等价的离散时间马氏决策过程．     

一类两参数马氏过程的构造──在马氏过程上生长马氏过程

本文概率地实现了在单参数马氏过程上生长单参数马氏过程的构想，定义了一类重要的两参数过程；ＭＭ类过程．证明了：ＭＭ类过程具有宽过去马氏性和１马氏性；ＭＭ过程不具有马氏性，单点马氏性，２马氏性和宽将来马氏性，除非它退化．     

两参数随机过程马氏性间的关系

本文讨论两参数随机过程的马氏性问题,发现了两参数过程X的单点马氏性与X_t~1、X_s~2的马氏性间的关系,两参数中心高斯过程Y的*-马氏性与Y_t~1、Y_s~2的马氏性间的关系.     

随机终止的非平稳折扣半马氏决策规划

半马氏决策规划(SMDP)提出至今讨论了时齐模型{S,A,,,p,T V}和非时齐模型{＆:A。,rt。,P。;T,。,Vn},后者的元素中至少有一个与决策周期数。有关.在实际问题中还有元素全部或部分与时间因子有关的模型,我们称之为非平稳模型.SMDP的目标函数也仅讨论决策周期数有限和无限这两种情形,但有时还要考虑时间段K到上系统的最优控制.这里T为系统的终止时间,可是随机的.我们称这种问题为随机终止的。本文讨论随机终止的非平稳折扣SMDP.     

具有摄动的两类马氏决策规则

在状态空间和行动集均有限的条件下,[1-5]讨论了时间离散的,平稳的马氏决策规划的摄动模型,其中,[1,3,4]讨论了单摄动模型,[5]讨论了具有加权准则的摄动模型,[6,7]讨论了时间离散的,平稳的马氏报酬过程的摄动模型,但[6,7]仅考虑了摄动对最优值的影响,而没有考虑摄动对最优策略的影响,本文将讨论具有摄动的非平衡平均马氏均策规划和连续时间折扣马氏决策规划。     

半马氏环境连续时间马氏决策过程：平均准则

本文讨论半马氏环境连续时间马氏决策过程中的平均准则．首先讨论了半马氏报酬过程中的逼近问题，进而讨论平均目标函数逼近问题。     

半马氏过程的一维分布及构造

本文求出了半马氏过程跳跃链的转移概率,给出了半马氏过程的逗留时间分布和一维分布,构造了半马氏过程$X(t,\omega)$,最后证明了半马氏过程的两种定义是等价的.     

马氏环境中马氏链泛函的中心极限定理

讨论了具有离散参数的马氏环境中马氏链的性质,建立了马氏环境中马氏链泛函的中心极限定理.同时给出了加在链和过程样本函数上的充分条件.     

马氏决策规划的加速逼近算法与最小方差问题

我们涉及的折扣马氏决策规划(有些著者称为马氏决策过程),具有状态空问与每个状态可用的决策集均为可数无穷集、次随机转移律族、有界报酬函数.给出了一个求(ε_)最优平稳策略的加速收敛逐次逼近算法,比White的逐次逼近算法更快地收敛于(ε_)最优解,并配合有非最优策略的检验准则,使算法更加得益. 设β为折扣因子,一般说β(或(ε,β))_最优平稳策略,往往是非唯一的,甚至与平稳策略类包含的策略数一样多.我们自然希望在诸β(或(ε,β))_最优平稳策略中寻求方差齐次地(关于初始状态)达(ε_)最小的策略.我们证明了这种策略确实存在,并给出了获得这种策略的算法.     

生灭型半马氏骨架过程

本文首先引进了生灭型半马氏骨架过程的定义,求出了两骨架时跳跃点τn-1(ω)与τn(ω)之间的嵌入过程X(n)(t,ω)的初始分布及寿命分布.得到了生灭型半马氏骨架过程的一维分布.其次引进了生灭型半马氏骨架过程的数字特征并讨论了它们的概率意义及相互关系.讨论了生灭型半马氏骨架过程的向上和向下的积分型随机泛函.最后讨论了它的遍历性及平稳分布,求出了平均首达时间及平均返回时间.得到了常返和正常返的充分必要条件,求出了在正常返的条件下的平稳分布.     

一种带链规则的变样本容量X图

将一种链规则和变化样本容量的思想一起并入休哈特均值图以加快其发现过程均值小漂移的速度.利用马氏链方法计算了控制图稳态表现下的平均链长.与几种图的比较显示,该图能显著加速发现过程均值小的漂移.     

设备修理、更新模型及最优策略

本文利用具有有限个状态和无限个选择行动的半马氏决策过程(SM-DP)建立了一个比较符合实际情况的设备修理、更新模型。在无穷时间和连续折扣情况下,证明了最优修理、更新策略的存在,以使设备的期望折扣净收入最大。     

基于马氏距离的TOPSIS决策方法及其应用

针对决策指标之间的相关性问题,将马氏距离引入传统TOPSIS方法,提出了基于马氏距离的TOPSIS方法.在此基础上,分析了基于马氏距离改进后贴近度的性质,并以投资决策方案选择为例加以说明.结果表明,基于马氏距离改进的TOPSIS方法对决策数据的非奇异线性变换具有不变性.协方差矩阵体现了决策指标之间的相关性,因而可以有效避免指标的相关性对决策效果的影响.