连续时间折扣矩最优模型及其与离散时间拟折扣矩最优模型的关系——Q 矩阵族未必保守的情形

本文是首次在转移率矩阵族为一般 Q 矩阵族(未必保守亦未必一致有界)的条件下,研究状态空间与决策集均为可数集的连续时间折扣矩最优模型(M_k-CTMDP);提出离散时间折扣依赖于状态与决策的拟折扣矩最优模型(β_k-GTMDP);并揭示二者之间的关系;给出在 f~∞下折扣总报酬 k 阶矩向量 μ_k(f)满足:kαμ_k(f)=kr(f)(?)μ_(k-1)(f)+Q(f)μ_k(f)及μ_k(f)=kP~(min)(kα,f)(r(f)(?)μ_(k-1)(f))的简洁表达式;给出报酬矩最优是矩最优方程组唯一有界解的一个很弱的充分条件与解法;给出矩最优策略存在的充要条件与若干性质.本文结果对 MDP 理论的发展与应用有重要意义,而且对跳跃型马氏过程的一类积分型泛函的研究与应用也颇有意义.     

考虑保证率约束的马氏决策规划和罚因子法

在水电站水库优化调度中，常用马氏决策规划寻求使平均年期望发电量达到最大的最优策略。但是这种策略往往不能满足所谓保证率的要求。本文对带有报酬的完全各态历经的马氏链，根据工程上使用的频率形式保证率的定义，给出它的概率形式的定义。从而把问题归结为一种随机性约束下的马氏决策规划。对于用罚因子法求解这一问题进行了研究，证明该方法的一些在实用上有价值的性质。最后推广到水库优化调度所需要的周期性的情况。     

平稳无后效流的特性及其应用

本文对平稳无后效流的特性作了进一步的探讨,给出了几个新的且易于验证的充要条件.并将所得的结果用于求一些排队系统,在统计平衡下顾客的实等待时间分布.     

连续时间首达目标模型(Ⅱ)──L最优问题

研究了连续时间首达时间及首达目标总报酬（非折扣）的Ｌ最优模型。给出新的ｋ阶矩简洁表示式；证明Ｌ最优模型可化为离散时间拟折扣期望报酬优化模型；给出Ｌ最优与Ｍ最优之间的关系与若干性质。     

连续时间首达目标模型（Ⅰ）：折扣矩最优模型

1.引言 连续时间首达目标模型有广泛的实际背景,它可应用于可靠性系统的优化问题,排队系统的优化控制问题,自动控制中的决策优化问题,等等。我们准备研究下列几个模型: Ⅰ,折扣矩最优模型; Ⅱ,考虑工作寿命的最优模型; Ⅲ,首达时间依分布最优模型。     

纯跳跃马氏链切截后有关随机变量的矩及其性质

本文研究了纯跳跃马氏链切截后的几个问题: 1.给出了A_i(t),A_(im)(t),M_i(t)和M_(im)(t)的一类表达式和所满足的积分方程组,以及当t→∞时A_i(t),M_i(t) 的极限性质。 2.得到了A_i(t),A_(im)(t),M_i(t)和F_i(t,x)的拉氏变换所满足的方程组,以及它们解的存在唯一的充分条件。 3.给出了求Ai(t),A_(im)(t)和F_i(t,x) 的构造性定理所述结果对应用于实际问题是有益的,例如在某些更新维修问题中。     

马氏链首达时间反问题中矩的估计及其性能分析

提出了马氏链的反向问题中，在独立加性高斯有色随机噪声背景下，估计Ｍａｒｋｏｖ链首达时间各阶矩的统计方法。利用累积量的性质，得出了带噪样本的ｋ阶矩仅与噪声的方差有关，而与噪声的其它任意阶矩无关，并证明了用该方法得到的估计值具有无偏性和强相合性的统计性能。通过一个数值例子仿真了连续时间参数Ｍａｒｋｏｖ链模型的构造过程，得到的首达时间各阶矩的估计值及其分布函数的Ｌ－Ｓ变换比去噪处理前更接近无噪声情况，在理论和实验两方面验证了该方法的有效性。     

Optimal models with maximizing probability of first achieving target value in the preceding stages

Decision makers often face the need of performance guarantee with some sufficiently high probability. Such problems can be modelled using a discrete time Markov decision process (MDP) with a probability criterion for the first achieving target value. The objective is to find a policy that maximizes the probability of the total discounted reward exceeding a target value in the preceding stages. We show that our formulation cannot be described by former models with standard criteria. We provide the properties of the objective functions, optimal value functions and optimal policies. An algorithm for computing the optimal policies for the finite horizon case is given. In this stochastic stopping model, we prove that there exists an optimal deterministic and stationary policy and the optimality equation has a unique solution. Using perturbation analysis, we approximate general models and prove the existence of e-optimal policy for finite state space. We give an example for the reliability of the satellite sy     

扩展随机神经网络及其概率结构特性分析

在Ｇｅｌｅｎｂｅ随机神经网络（ＧＮＮ）模型基础上,提出扩展ＧＮＮ（ＥＧＮＮ）模型。考虑信号释放强度依赖于神经元兴奋水平的情形,给出了ＥＧＮＮ的平稳分布。讨论了平稳分布存在的条件。在较弱假设下,ＥＧＮＮ仍具有简洁的“积”形式平稳分布,比原ＧＮＮ增强了调节平稳分布概率结构特性的功能,且能够表达更多的智能和生物特性。例举了它的联想功能。