连续时间折扣矩最优模型及其与离散时间拟折扣矩最优模型的关系——Q 矩阵族未必保守的情形

本文是首次在转移率矩阵族为一般 Q 矩阵族(未必保守亦未必一致有界)的条件下,研究状态空间与决策集均为可数集的连续时间折扣矩最优模型(M_k-CTMDP);提出离散时间折扣依赖于状态与决策的拟折扣矩最优模型(β_k-GTMDP);并揭示二者之间的关系;给出在 f~∞下折扣总报酬 k 阶矩向量 μ_k(f)满足:kαμ_k(f)=kr(f)(?)μ_(k-1)(f)+Q(f)μ_k(f)及μ_k(f)=kP~(min)(kα,f)(r(f)(?)μ_(k-1)(f))的简洁表达式;给出报酬矩最优是矩最优方程组唯一有界解的一个很弱的充分条件与解法;给出矩最优策略存在的充要条件与若干性质.本文结果对 MDP 理论的发展与应用有重要意义,而且对跳跃型马氏过程的一类积分型泛函的研究与应用也颇有意义.     

平稳无后效流的特性及其应用

本文对平稳无后效流的特性作了进一步的探讨,给出了几个新的且易于验证的充要条件.并将所得的结果用于求一些排队系统,在统计平衡下顾客的实等待时间分布.     

连续时间首达目标模型（Ⅰ）：折扣矩最优模型

1.引言 连续时间首达目标模型有广泛的实际背景,它可应用于可靠性系统的优化问题,排队系统的优化控制问题,自动控制中的决策优化问题,等等。我们准备研究下列几个模型: Ⅰ,折扣矩最优模型; Ⅱ,考虑工作寿命的最优模型; Ⅲ,首达时间依分布最优模型。     

纯跳跃马氏链切截后有关随机变量的矩及其性质

本文研究了纯跳跃马氏链切截后的几个问题: 1.给出了A_i(t),A_(im)(t),M_i(t)和M_(im)(t)的一类表达式和所满足的积分方程组,以及当t→∞时A_i(t),M_i(t) 的极限性质。 2.得到了A_i(t),A_(im)(t),M_i(t)和F_i(t,x)的拉氏变换所满足的方程组,以及它们解的存在唯一的充分条件。 3.给出了求Ai(t),A_(im)(t)和F_i(t,x) 的构造性定理所述结果对应用于实际问题是有益的,例如在某些更新维修问题中。     

Optimal models with maximizing probability of first achieving target value in the preceding stages

Decision makers often face the need of performance guarantee with some sufficiently high probability. Such problems can be modelled using a discrete time Markov decision process (MDP) with a probability criterion for the first achieving target value. The objective is to find a policy that maximizes the probability of the total discounted reward exceeding a target value in the preceding stages. We show that our formulation cannot be described by former models with standard criteria. We provide the properties of the objective functions, optimal value functions and optimal policies. An algorithm for computing the optimal policies for the finite horizon case is given. In this stochastic stopping model, we prove that there exists an optimal deterministic and stationary policy and the optimality equation has a unique solution. Using perturbation analysis, we approximate general models and prove the existence of e-optimal policy for finite state space. We give an example for the reliability of the satellite sy     

连续时间折扣矩最优模型及其与离散时间拟折扣矩最优模型的关系——Q 矩阵族未必保守的情形

本文是首次在转移率矩阵族为一般 Q 矩阵族(未必保守亦未必一致有界)的条件下,研究状态空间与决策集均为可数集的连续时间折扣矩最优模型(M_k-CTMDP);提出离散时间折扣依赖于状态与决策的拟折扣矩最优模型(β_k-GTMDP);并揭示二者之间的关系;给出在 f~∞下折扣总报酬 k 阶矩向量 μ_k(f)满足:kαμ_k(f)=kr(f)(?)μ_(k-1)(f)+Q(f)μ_k(f)及μ_k(f)=kP~(min)(kα,f)(r(f)(?)μ_(k-1)(f))的简洁表达式;给出报酬矩最优是矩最优方程组唯一有界解的一个很弱的充分条件与解法;给出矩最优策略存在的充要条件与若干性质.本文结果对 MDP 理论的发展与应用有重要意义,而且对跳跃型马氏过程的一类积分型泛函的研究与应用也颇有意义.     

Some Properties of a Pure Jump Markov Chain after a Cut

Let X={X_t(ω),t≥0} be a pure jump Markov chain with minimal state space I={0,1,2,…} on a probability triple (Ω,F,P), The sample function X(·,ω) is right lower semi-continuous: We denote the transition matrix by p(t)=(p_(ij)(t)) and Q-matrix by Q=(q_(ij))=(p_(ij)~′(0)), i,j∈I, where 0≤sum from f≠i (q_ij)=-q_(ij)=q_i<∞. In this paper let q_i≠0 and. without loss of generality, p(X_n(ω)=i)=1. We define     

离散时间MDP矩最优模型——折扣依赖于历史的情形

本文在S、A(i)(i∈S)均匀可列集情形下,建立了折扣依赖于历史的矩最优模型。给出了折扣总报酬k阶矩在各类策略下的统一表达式;讨论了矩最优策略的结构与性质;证明了矩最优方程在给定条件下,存在唯一的有界解。