不动点与Markov过程的稳定性

运用不动点方法与耦合技巧得到一般状态空间上Markov过程平稳分布存在唯一性和KRW概率距离下的稳定性判据.作为应用,讨论了扩散过程的稳定性.     

一类具有非线性发生率和Markov转换的SIS传染病模型

研究一类具有非线性发生率和Markov转换的SIS传染病模型.当Markov链为两个状态时,根据阈值的取值,研究该模型疾病灭绝和持久的性质,其结果可以推广到有限状态空间的Markov链的情形.最后,对主要结论进行了数据拟合.     

带依状态切换的扩散过程的稳定性

该文研究一类带依状态切换的扩散过程的稳定性. 应用耦合方法证明了这类过程的 Feller 连续性. 进一步, 在某些合理的条件下, 也证明了这类过程的强 Feller 连续性和指数遍历性. 最后, 对这类过程的正则性进行了简短讨论.     

Cayley 树指标可列Markov 链的强大数定律

本文研究了取值于可列状态空间的Cayley 树指标Markov 链状态与状态序偶发生频率的强大数定理, 所得结果推广了有限状态情形下相应的结果.     

一族带指数扰动的Markov链的亚稳态性(Ⅰ)

考虑有限状态空间上一可约Markov链及其指数扰动的不可约Markov链族,这是Freidlin-Wentzell理论的推广,首先是出于随机Ising模型、神经网络、模拟退火等方面的考虑,现证明一大类Markov链族都有亚稳态性,亚稳态就是可约Markov链的常返类,还仔细分析了高阶吸引子、高阶吸引域及其金字塔形结构,估计不同集合首达时的渐近指数量阶,首达时间除其平均值之后收敛到均值为1的指数分布.     

����״̬������Markov�л����ʱ��ϵͳ�ľ���ָ���ȶ���

考察一类Markov切换时变时滞随机系统的均方指数稳定性. 利用基于Liapunov函数和线性矩阵不等式的方法, 给出了使状态反馈控制系统能克服不确定性和随机干扰, 在均方意义下达到指数稳定的充分条件. 当Markov链遍历所有模态时, 给出了一个独立于Markov链模态集的增益矩阵, 使得状态反馈控制系统均方指数稳定     

关于可列马氏链状态出现频率延迟平均的强大数定律

对于齐次马氏链由有限状态推广到可列的情形,由于可列和与极限运算不能交换,与文中证明方法与有限情形不同.利用了二元函数延迟平均的强极限定理和条件期望的平滑性,研究可列齐次马氏链状态出现频率延迟平均的强大数定律.     

带泊松跳的线性Markov切换系统的随机微分博弈及在金融市场中的应用

研究带泊松跳的线性Markov切换系统的随机微分博弈问题,首先在有限时域内,借助动态规划原理和配方法,得到了Nash均衡解存在的条件等价于其相应的微分Riccati方程存在解,并给出了均衡解及最优性能泛函值函数的显式表达.然后延伸到无限时域进行分析,得到了Nash均衡解存在的条件等价于其相应的代数Riccati方程存在解.最后讨论了金融市场中的投资组合的最优化问题,假设风险资产的价格服从带Markov切换参数的跳扩散过程,两个投资者在相互竞争的情形下进行非零和随机微分投资博弈,利用上述结论得到了最优投资组合策略的解.     

离散时间Markov链的几何遍历速度

本文研究一般状态空间离散时间几何遍历Markov链的收敛速度.当状态空间中含有原子时,本文采用与可数状态空间类似的方法,即采用谱理论法研究几何遍历速度.对于不含原子的Markov链,先利用Nummelin分裂技术构造出含有原子的新Markov链,再建立新Markov链与原Markov链几何遍历速度的关系,最后由最小化条件和首次回返时的几何阶矩得到原Markov链几何遍历的收敛速度.进一步,本文将所得结果应用于研究Metropolis-Hastings算法.     

确定环形Markov链的Q-矩阵

给出了Markov链中任一状态集的逗留时间或击中时间的分布(混合指数分布),以及其分布的各阶微分与Q-矩阵之间的约束方程组.利用该约束关系及环形链结构的先验信息,采用Markov链反演方法证明了:对于有限状态环形Markov链,其Q-矩阵能由其中任意两个相邻状态的逗留时间和击中时间分布唯一决定,并给出了相应的算法.     

一类连续状态非线性分枝过程的离散逼近

本文考虑一类连续状态非线性分枝过程.直观上,这是一类带竞争且分枝速率与状态相依的连续状态分枝过程.我们可以用由Brown运动和Poisson随机测度驱动的随机微分方程的解来构造该类过程.本文的主要结果是构造一列离散状态Markov链,并在较弱的条件下,通过胎紧性结论以及构造无穷维乘积空间上的收敛序列的方法证明其在轨道空间上弱收敛于上述连续状态的非线性分枝过程.     

Markov链大偏差与矩阵谱

本文研究可数状态Markov链的大偏差及相关问题,通过一种比较与控制的方法,探讨减弱对不可约性要求的可能性.这种途径还让我们从不同角度刻画了大偏差速率函数,得到它们与过程平稳分布之间的一些本质联系.特别地,本文证明有限状态链一定满足大偏差原理,其速率函数的(局部)极小值与链的转移矩阵的主特征值和特征向量密切相关.     

基于Lévy过程混杂微分方程的随机部分镇定

本文基于L′evy噪声镇定混杂微分系统,推广Brown运动镇定的情形.同时,利用Markov链状态空间分为两集合方法,将混杂系统分为两部分:可观测部分和不可观测部分,基于可观测部分镇定整个混杂系统,给出该混杂系统镇定和失稳的充分条件.最后,讨论系统保守性问题.     

时滞不确定性Markov切换线性随机微分系统的指数鲁棒稳定性

研究了一类时滞不确定性Markov切换随机微分系统的均方指数鲁棒随机稳定性\bd 系统中的时滞是时变的, 不确定项结构为范数有界, Markov切换是连续时间、离散状态的时齐Markov过程{\bf\!.} 利用随机Lyapunov函数方法和LMI技术, 得到了几个判定系统均方指数鲁棒随机稳定性的充分性条件\bd 一个数值例子说明了判据的有效性和可行性.     

离散Markov切换系统的随机零和博弈及H_∞控制:噪声依赖状态与控制

针对噪声同时依赖于状态与控制的Ito型离散Markov切换系统的随机零和博弈问题,分别讨论了其在有限时域和无限时域情形的鞍点均衡策略.利用配方法,得到了随机零和博弈问题存在解的充分必要条件等价于相应的耦合Riccati差分(代数)方程存在解,并给出了最优解的显式形式.然后把所得的结果应用于相应的H_∞o控制问题,得到了H_∞控制策略的Riccati方程,最后给出了数值算例.     

BMAP的轨道分析和Q过程的伴随MAP

本文用轨道分析方法研究批量Markov到达过程(BMAP),有别于研究BMAP常用的矩阵解析方法.通过BMAP的表现(D_k,k=0,1,2,…),得到BMAP的跳跃概率,证明了BMAP的相过程是时间齐次Markov链,求出了相过程的转移概率和密度矩阵.此外,给定一个带有限状态空间的Q过程J,其跳跃点的计数过程记为N,证明了Q过程J的伴随过程X*=(N,J)是一个MAP,求出了该MAP的转移概率和表现(D_0,D_1),它们是通过密度矩阵Q来表述的.     

平均目标Markov决策规划算法——逐次逼近和分块逐次逼近

本文对于 F 有限离散平均目标 Markov 决策规划,引进一个与折扣目标相近的算子 T_f~λ(λ为参变量),由此得出平均模型的新逐次逼近法,并证明了这个算法的几何收敛速度。在此基础上对有限状态空间进行分块,逐次利用此算子,得出分块逐次逼近算法,并指出了其几何收敛速度。最后,利用T_f~λ中参变量λ的相对自由性,对λ进行讨论,选取其特殊情形,加速逼近速度。     

M/G/1排队系统的性能灵敏度分析

非Markov型排除系统经常被用来作为某些实际工程问题（如通讯网络）的研究模型,对于一般的M／G／1排队系统,本文通过研究其嵌入Markov链,讨论了系统的稳态性能灵敏度分析问题,并给出用嵌入Markov链的势能表示的稳态性能灵敏度公式,由于嵌入Markov链要比描述其系统状态的半Markov过程简单得多,故本文的结果对M／G／1排队系统的性能灵敏度仿真计算及系统的优化,都将带来极大的方便。     

带拯救的广义非线性Markov分枝模型的稳定性

该文考虑了一类带拯救的广义非线性Markov分枝模型.首先讨论了带拯救的广义非线性Markov分枝q-矩阵发生函数的性质,通过发生函数给出了过程的正则性和唯一性判别准则,得到了没有拯救情形下过程的灭绝概率和平均灭绝时间,并讨论了带有拯救情形下模型的稳定性和遍历性,得到了过程的常返性和遍历性的充分必要条件.最后,给出了遍历情形下该过程的平稳分布.     

模糊无限状态自动机及其收敛性

到目前为止,我们所研究的模糊或非模糊的自动机都是有限状态自动机.然而,关于无限状态自动机的定义及它的稳定性和收敛性都没有被讨论过.本文中,我们使用离散的反馈神经网络及网络输出空间划分方法,同时,在梯度更新算法中使用伪梯度方法,给出了模糊无限状态自动机收敛到模糊有限状态自动机的证明.