无界报酬折扣马氏决策规划中的逐次逼近法

本文讨论报酬为〔１〕中无界型和折扣马氏决策规划中的逐次逼近法，包括通常的逐次逼近法和有有限状态逼近可数状态问题中的逐次逼近法，讨论了两者的收敛性和后者界的估计。     

报酬函数及转移速率族均非一致有界的连续时间折扣马氏决策规划

本文首次在报酬函数及转移速率族均非一致有界的条件下，对可数状态空间，可地动集的连续时间折扣马氏决策规划进行研究，文中引入一类新的无界报酬函数，在一类新的马氏策略中，讨论了最优策略的存在性及春结构，除证明了在有界报酬和一致有界转移速率族下成立的主要结果外，本文还得到一些重要结论。     

报酬无界的平均准则马氏决策过程

本文对可数状态集、非空决策集、报酬无界的平均准则马氏决策过程，提出了一组新的条件，在此条件下存在（ε）最优平稳策略，且当最优不等式中的和有定义时最优不等式也成立。     

无界报酬非时齐折扣马氏决策模型

在文献[1]—[3]中在各自的条件下,讨论过非时齐折扣马氏决策模型及其ε(≥0)最优策略存在的条件.在文献[4],文献[5]中,在状态和行动集都是可数的条件下,讨论了具有绝对平均相对有界的无界报酬的时齐折扣马氏决策模型.本文在状态集仍为可数,行动集为任意的条件下,建立与[4]相应的非时齐的折扣马氏决策模型;给出模型的有限阶段逼近和建立最优方程;证明了ε(>0)最优马氏策略的存在性和行动集为有限集时最优     

离散型冲击折扣半马氏决策过程

本文讨论离散型冲击折扣半马氏决策过程，在建立模型后，我们将它化成了一个等价的离散时间马氏决策过程．     

约束折扣半马氏决策规划

本文研究约束折扣半马氏决策规划问题，即在一折扣期望费用约束下，使折扣期望报酬达最大的约束最优问题，假设状态集可数，行动集为紧的非空Ｂｏｒｅｌ集，本文给出了ｐ－约束最优策略的充要条件，证明了在适当的假设条件下必存在ｐ－约束最优策略。     

随机冲击下的折扣半马氏决策规划

随机冲击下的折扣半马氏决策规划胡奇英（西安电子科技大学七系，西安７１００７１）ＤＩＳＣＯＵＮＴＥＤＳＥＭＩ－ＭＡＲＫＯＶＤＥＣＩＳＩＯＮＰＲＯＧＲＡＭＭＩＮＧＵＮＤＥＲＳＴＯＣＨＡＳＴＩＣＳＨＯＣＫＳ￥ＨＵＱＩＹＩＮＧ（ＸｉｄｉａｎＵｎｉｖｅｒｓｉｔ...     

随机终止的非平稳折扣半马氏决策规划

半马氏决策规划(SMDP)提出至今讨论了时齐模型{S,A,,,p,T V}和非时齐模型{＆:A。,rt。,P。;T,。,Vn},后者的元素中至少有一个与决策周期数。有关.在实际问题中还有元素全部或部分与时间因子有关的模型,我们称之为非平稳模型.SMDP的目标函数也仅讨论决策周期数有限和无限这两种情形,但有时还要考虑时间段K到上系统的最优控制.这里T为系统的终止时间,可是随机的.我们称这种问题为随机终止的。本文讨论随机终止的非平稳折扣SMDP.     

向量值马氏决策规划的线性加权解法

类似［１－４］,折扣向量值马氏决策规划（ＤＶＭＤＰ）描述为： ｛Ｓ,（Ａ（ｉ）,ｉ∈Ｓ）,ｑ,ｒ,Ｖβ｝,（１）其中Ｓ为可数状态集,Ａ（ｉ）是有限决策集,ｑ（ｊ｜ｉ,ａ）是转移概率,ｒ＝ｒ（ｉ,ｊ,ａ）＝（ｒ１（ｉ,ｊ,ａ）,ｒ２（ｉ,ｊ,ａ）,…,ｒｐ（ｉ,ｊ,ａ））是状态ｉ处使用决策ａ于下一步转移到状态ｊ时所获的ｐ维报酬向量,ｒ（ｉ,ｊ,ａ）对ｉ,ｊ,ａ一致有界,Ｖβ是β折扣目标． 以Π表一般策略集,若　π　∈Π有 Ｖβ（π）≤ Ｖβ（π*）,则称π* 为ＤＶＭＤＰ的“强有效策略”,Ｖβ（π*）为“…     

非负费用折扣半马氏决策过程

本文考虑可数状态非负费用的折扣半马氏决策过程.首先在给定半马氏决策核和策略下构造一个连续时间半马氏决策过程,然后用最小非负解方法证明值函数满足最优方程和存在ε-最优平稳策略,并进一步给出最优策略的存在性条件及其一些性质.最后,给出了值迭代算法和一个数值算例.     

半马氏环境连续时间马氏决策过程：平均准则

本文讨论半马氏环境连续时间马氏决策过程中的平均准则．首先讨论了半马氏报酬过程中的逼近问题，进而讨论平均目标函数逼近问题。     

一类连续时间平均马氏决策平稳最优策略的存在性

1.引言我们将在可测(确定性)马氏策略类Π_m~d(c)中讨论连续时间平均马氏决策(简称平均CTMDP):{S,(A(i),(?)(i),i∈S),q,r,(?)}.本文假设状态空间 S 为可列集;行动集 A(i)为一般点集,(A(i),(?)(i),i∈S)为可测空间,任给 a∈A(i),要求{a}∈(?)(i);q 是保守的转移速率族;报酬率 r 是一致有界的可测函数,即存在 M<∞,使|r(i,a)|≤M 对 i∈S,a∈A(i)成立.对π∈Π_m~d(c),i∈S,平均报酬函数(?)定义为:     

基于马氏决策向量过程模型的有限阶段期望总报酬准则及其最优方程

在马氏决策向量过程模型的理论基础上,结合决策向量和相合度等新定义,进一步提出有限阶段期望总报酬准则和最优方程,并证明最优方程的解的存在性.     

具有摄动的两类马氏决策规则

在状态空间和行动集均有限的条件下,[1-5]讨论了时间离散的,平稳的马氏决策规划的摄动模型,其中,[1,3,4]讨论了单摄动模型,[5]讨论了具有加权准则的摄动模型,[6,7]讨论了时间离散的,平稳的马氏报酬过程的摄动模型,但[6,7]仅考虑了摄动对最优值的影响,而没有考虑摄动对最优策略的影响,本文将讨论具有摄动的非平衡平均马氏均策规划和连续时间折扣马氏决策规划。     

离散时间折扣多目标马氏决策模型：加权与字典序准则

定义了离散时间折扣多目标马氏决策模型,在加权准则下,证明了存在（ｎ,∞）最优马氏策略;在字典序准则下,利用最优策略的结构性质,将其最优问题转化为一系列单目标模型的最优问题。     

马氏决策向量过程模型的性质及其优越性定理

本文研究马尔可夫决策向量过程的性质,并证明其优越性定理.     

非齐次马氏决策过程的齐次化

该文考虑的是可数状态空间有限行动空间非齐次马氏决策过程的期望总报酬准则．与以往不同的是，我们是通过扩大状态空间的方法，将非齐次的马氏决策过程转化成齐次的马氏决策过程，于是非常简洁地得到了按传统的方法所得的主要结果．     

具有模糊报酬的多目标马尔可夫决策规划

给出一种模糊多目标马尔可夫决策规划的定义,即当报酬是模糊函数时的多目标马尔可夫决策规划,并解决求解这种规划的最优策略的方法以及这种多目标规划最优解的判决问题。     

马氏决策过程平均准则最优不等式综述

对平均准则的讨论一直是马氏决策过程研究的热点之一，近几年已从最优方程推广到最优不等式。本文系统地了介绍最优不等式的提出及其发展思路，目前已取得的成果等，同时也指出了有待于进一步研究的问题。