无界报酬向量值折扣马氏决策规划

本文建立了一类无界向量值报酬折扣马氏决策规划,在一组无关向量生成的凸锥确定的序关系下,讨论了模型最优策略的存在性;给出强最优策略存在的必要充分条件;指出最优策略的自组合、凸组合策咯仍是最优策略;还证明了平稳策略在一般策略类中的优势。     

无界报酬折扣模型的最优策略结构

在Harrison意义下的无界报酬函数折扣模型下,本文讨论了最优策略的几个性质和它的结构。本文证明了:若π~*=(π_1~*,π_2~*,…)是该模型的最优策略,则π_1~(*∞),(π_1~*,…,π_n~*)~∞与(π_1~*,…,π_n~*,π_1~*,π_2~*,…)(n≥1)都是最优策略;给出π_n~*也构成最优随机平稳策略的条件和修改方法;策略π~*=(π_1~*,π_2~*,…)是最优的当且仅当它在任何时刻可达的状态上都必须选取最优决策;最后指出π_0~(*∞)为最优随机平稳策略的充要条件是决策规则π_0~*是若干个最优平稳策略f_n~∞的决策函数f_n的凸组合。从而较完满地解决了Harrison无界报酬意义下折扣模型的最优策略结构问题。     

无界报酬折扣半马氏决策模型矩最优策略的存在性

本文在矩最优准则下讨论具有可数状态空间和任意行动空间的Lippman型无界报酬折扣半马氏决策模型。对任意ε>0,证明了k阶矩ε-最优平稳策略的存在性,从而一般策略类中的矩最优性等价于平稳策略类中的矩最优性。(k-1)矩最优策略π为(k)矩最优的充要条件是(-1)~(k 1)V_k(π)满足最优方程,这里V_k(π)为使用π时的总折扣报酬的k阶矩。对平稳策略,给出了折扣报酬的各阶矩的递推公式,如果每个状态可用的行动集为有限集,证明了矩最优平稳策略的存在性,并建立了构造所有矩最优平稳策略的迭代算法。     

一般状态空间无界报酬折扣半马氏决策规划

本文讨论在一般状态和行动空间下,Lippman[1]的无界报酬折扣半马氏决策规划的ε(≥0)最优平稳策略的存在性问题,最优策略的性质及这类模型的不变问题,最后给出在有限行动空间下不变问题最优策略的一种算法。     

无界报酬非时齐折扣马氏决策模型

讨论了无界报酬非时齐扣马氏决策模型，且哲扣因子βｔ依赖于前一阶段所处的状态和采取的行动，从而推广了常数折扣因子的马氏决策模型，在一定的假设下，得到了最优方程，证明了存在ε－最优马氏策略。     

无界报酬折扣半马氏决策模型矩最优策略的结构

本文研究具有可数状态空间和任意行动空间的Lippman型无界报酬折扣半马氏决策模型(DSMDM)矩最优策略的结构.证明了:若策略π,σ是(K)矩最优的.则π~nσ及π的任一自组合策略也是(K)矩最优的,且存在与π等价的(K)矩最优策略π~(?),使~nπ~(*hn)为(K)矩最优的;存在(K)矩最优策略的充要条件是(K)矩最优行动集A_K(i)非空;策略π为(K)矩最优当且仅当π_n(A_K(i)|H_n,i)=1,α.e.P_(πn);π为(K)矩最优策略的又一充要条件是它可分解为若干个确定性(K)矩最优策略的一个凸组合.这样,该模型矩最优策略的结构就得到了较完满的解决.     

Π_m~d上有界报酬折扣马氏决策模型最优策略的几个等价条件

本文讨论了π_m~4上有界报酬折扣马氏决策模型的七个等价条件,从而剖析了最优策略的结构。     

依赖于历史的折扣半马氏决策规划

研究无界报酬折扣半马氏决策规划问题．证明了： 策略π·＝（π１·，π２·，…πｎ·，π·ｎ＋１，…）是最优策略，则π１·（∞）及（π１·，π２·，…，πｎ·）（∞）对同一折扣因子函数也是最优的，对任给的整数ｎ≥１，在一定的条件下，πｎ·（∞）也是最优的；证明了若最优策略存在，必存在最优平稳策略；证明了ε最优平稳策略的存在性。     

非时齐折扣马氏决策规划（一）

本文在状态集可数、行动集任意的条件下,讨沦报酬函数满足一种推广的绝对平均相对有界的非时齐折扣马氏决策规划;建立了模型的最优方程,证明了ε(>0)最优马氏策略的存在性;最后给出最优策略(最优马氏策略)存在的必要充分条件.     

非时齐折扣马氏决策规划（二）：矩最优准则

本文讨论一类非时齐折扣马氏决策规划的总折扣报酬的k（≥1）矩和矩最优问题,得到k矩和矩最优策略存在的一个充要条件;并将k矩最优问题化为同类型的一个马氏决策规划的一阶矩最优问题,从而也解决了这类模型的k矩最优策略的结构问题.     

部分可观的马尔可夫决策规划折扣模型的解法

本文将策略迭代－逐次逼近法改进以后直接应用到部分可观的马尔可夫决策规划问题中，得到一个新的逐次逼近算法。算法保证能求出一个ε－最优的平稳策略。     

连续时间折扣模型最优策略的结构

本文研究了连续时间马氏决策规划折扣模型在（ｃ）上最优策略的若干重要性质和它的结构。由于引进了映像及，使证明大为简化。特别是证明了：一随机平稳策略，它在（ｃ）上是最优的充要条件是它可表为若干个决定性平稳最优策略的凸组合。     

周期马氏决策规划及其线性规划算法

讨论了折扣周期马氏决策模型的最优策略的结构,并给出了其线性规划算法.     

多目标准则下的折扣非时齐马氏决策规划：分层序列法

建立了多目标准则下的折扣非时齐马氏决策模型，并将其（ｉ）阶段最优问题转化为一等价非时齐马氏决策模型的最优问题。     

报酬与时间有关的马氏决策规划

本文研究了报酬函数与时间有关的MDP模型,推广了[1]文献中相应的结果.文中在放弃了文献[2]、[3]中某些限制条件的情况下,讨论最优周期策略、ε最优周期策略的存在性,并给出算法.     

折扣非时齐半马氏决策规划（Ⅰ）

本文提出了折扣非时齐半马氏决策模型(N-SMDM)的概念,用比较初等的方法证明了最优方程成立;给出了 Bellman 最优化原理在 N-SMDM 中的形式,并进行了严格的证明.     

折扣马尔可夫决策规划的初等方法

对于状态空间为可列集、行为空间为任意非空集、报酬函数为有界的折扣模型,本文用初等方法反而比用传统方法更快地获得了标准的结果:存在一个平稳策略是ε最优的;最优值函数是最优方程的唯一有界解。这表明用初等方法来研究该模型ε(≥0)最优策略的性质和结构是完全可行的。     

观察过程状态数为可数的POMDP的算法

给出了观察过程状态数为可数时，部分可观的马尔可夫决策规划（ＰＯＭＤＰ）折扣模型的逼近法和算法，算法保证了能求到ε－最优的平稳策略和ε－最优的期望费用函数。