依状态独立的随机环境中的马氏链

本主要讨论了依状态独立的随机环境中的马氏链，并严格地证明了依状态独立的随机环境中的马氏链，如果在环境不退化的一般情形下，不是时齐马氏链，而环境退化必然是马氏链这个结论。     

肖争艳等： 绕积马氏链的状态分类

该文给出了绕积马氏链的特征数和状态的定义, 利用一般马氏链的理论讨论了随机环 境中的马氏链的各种状态的特征以及各类状态之间的联系, 还给出了在联合空间不可分解且 正则本质的条件下, 状态正则本质的充要条件. 最后举例说明了经典马氏链和随机环境中马氏链的状态的区别.     

马氏环境中马氏链函数加权和的强收敛性

给出了状态有限的单无限马氏环境中马氏链泛函加权和的强收敛性,得到了状态有限的单无限马氏环境中马氏链泛函加权和的强收敛性成立的一系列充分条件.     

马氏环境中的马氏链与马氏双链

本文研究了马氏环境中的马氏链,利用马氏双链的性质,得到了马氏环境中的马氏链回返于小柱集上的概率的若干估计式.     

从p—m链到随机环境中的马氏链

第一节引进了p一m链的概念,并用之构造了与它相应的随机环境中的马氏链和绕积马氏链、第二节引进了一系列与随机环境中的马氏链相关的概率特性函数,并得到了这些函数之间的一系列关系.这些结果是经典马氏链的相应结果的一般化,它们在随机环境中的马氏链的极限理论的研究中是很有用的。     

从p-m链到随机环境中的马氏链

第一节引进了p-m链的概念,并用之构造了与它相应的随机环境中的马氏链和绕积马氏链.第二节引进了一系列与随机环境中的马氏链相关的概率特性函数,并得到了这些函数之间的一系列关系.这些结果是经典马氏链的相应结果的一般化,它们在随机环境中的马氏链的极限理论的研究中是很有用的.     

马氏链集间转移的一类强大数定律

本文研究了马氏链从一个状态子集到另一个状态子集的转移概率的极限性质.利用Doob鞅收敛定理,获得了任意随机序列的强大数定律、马氏链泛函的强大数定律和强遍历定理.推广了马氏链传统转移概率的极限性质和强极限定理.     

在R上取值树指标马氏链的等价性质

本文参照Benjamini和Peres的离散状态树指标马氏链的定义,给出在R上取值树指标马氏链的定义,并给出其若干等价性质.     

二叉树上分支马氏链的等价性质

本文给出了二叉树上分支马氏链定义的离散形式,然后研究了它的两个等价性质.最后,我们指出在二叉树情况下,树指标马氏链就是一类特殊的分支马氏链.     

可列非齐次马氏链的若干极限定理

非齐次马氏链的极限定理曾被不少作者研究过,在他们的工作中分别对马氏链作了相应的限制(参见[1]—[9])。本文的主要工作是给出对任意非齐次马氏链均成立的一类关于状态和状态序偶出现频率的极限定理。在证明中本文提出了一种与传统方法不同的方法——分割单位区间法,其要点是在Wiener概率空间给出马氏链的一种实现,并定义适当的单调函数,然后应用单调函数导数存在定理来证明有关极限几乎处处存在。     

On a new method of Markov chain reduction

The practical usefulness of Markov models and Markovian decision process has been severely limited due to their extremely large dimension. Thus, a reduced model without sacrificing significant accuracy can be very interesting.

The homogeneous finite Markov chain's long-run behaviour is given by the persistent states, obtained after the decomposition in classes of connected states. In this paper we expound a new reduction method for ergodic classes formed by such persistent states. An ergodic class has a steady-state independent of the initial distribution. This class constitutes an irreducible finite ergodic Markov chain, which evolves independently after the capture of the event.

The reduction is made according to the significance of steady-state probabilities. For being treatable by this method, the ergodic chain must have the Two-Time-Scale property.

The presented reduction method is an approximate method. We begin with an arrangement of irreducible Markov chain states, in decreasing order of their steady state probability's size. Furthermore, the Two-Time-Scale property of the chain enables us to make an assumption giving the reduction. Thus, we reduce the ergodic class only to its stronger part, which contains the most important events having also a slower evolution. The reduced system keeps the stochastic property, so it will be a Markov chain     

Markov链在教育测量中的应用

将“问题解决”的分析、建模、求解和检验四个阶段作为随机过程的状态得到一Markov链.利用有关随机过程的知识对Markov链进行分类和求解.由此,对学生解决问题的能力进行测量,得到了一些合理结果.     

�����������������״̬���༰����

??In this paper, various concepts of states for Markov chains in random environments are introduced into the research field, and the relationships between these states are discussed. Especially, a partition of the state space is given. Also, the properties of those states are investigated. At last, some examples are given to illustrate the rationality of those states.     

一类特殊非齐次树上马氏链的若干强大数定律

首先给出了一类特殊非齐次树上可数状态马氏链的局部收敛定理,作为推论,得到了此类树上可数状态马氏链关于状态与状态序偶出现频率的若干极限性质,最后得到了这类特殊非齐次树上有限状态马氏链关于状态与状态序偶出现频率的强大数定律.     

Cayley 树指标可列Markov 链的强大数定律

本文研究了取值于可列状态空间的Cayley 树指标Markov 链状态与状态序偶发生频率的强大数定理, 所得结果推广了有限状态情形下相应的结果.     

A characterization for mixtures of semi-Markov processes

Mixtures of recurrent semi-Markov processes are characterized through a partial exchangeability condition of the array of successor states and holding times. A stronger invariance condition on the joint law of successor states and holding times leads to mixtures of Markov laws.     

Population Size Dependent Generalized Multitype Branching Processes

Abstract

In this paper, we introduce the population size dependent generalized multitype branching process. This is a Markovian model that allows us to study homogeneous multitype branching processes in a unified way. The basic properties for this model, transitions between its states, as well as the existence of a stationary limiting distribution, are investigated. Finally, we apply the obtained results to a new controlled multitype branching process.     

Exact formula for sensitivity analysis of Markov chains

Given a family of Markov chains whose transition matrices depend on a parameter vector, we given an exact formula for the gradient of the equilibrium distribution with respect to that parameter even in the case of multiple ergodic classes and transient states. This formula generalizes previous results in the ergodic case.     

随机环境中的马氏链状态分类

给出了随机环境中马氏链的特征数和状态的定义,讨论了状态间的传递性,自反性,对称性,是经典马氏链相应结果的一般化.并运用位势方法研究了状态间的关系,它们在极限理论的研究中非常有用.