马氏决策向量过程模型的性质及其优越性定理

本文研究马尔可夫决策向量过程的性质,并证明其优越性定理.     

马尔可夫过程的与时间有关的函数

设（Ｘｔ）是有转移函数的马尔可夫过程,其中Ｘｔ取值于状态空间（Ｅｔ,ξ,ｔ≥０。设ｆｔ是（Ｅｔ,ξ）到状态空间（Ｅｔ,ξ是的可测变换。本文给出了使（ｆｔ（Ｘｔ）仍是有转移函数的马尔可夫过程的充分条件,对于有函数的马尔可夫过程族,也讨论了类似的问题。     

非平稳MDP平均模型及其滚动式算法

本文考虑可数状态空间非平稳马尔可夫决策过程（ＭＤＰ）的平均目标．首先,我们指出并改正了Ｐａｒｋ,ｅｔ,ａｌ［１］和Ａｌｄｅｎ,ｅｔａｌ［２］的错误,并在弱于Ｐａｒｋ,ｅｔａｌ［１］的条件下,借助于新建立的最优方程,证明了最优平均值的收敛性和平均最优马氏策略的存在性．其次,给出了ε（＞０）－平均最优马氏策略的滚动式算法．     

马尔可夫决策规划的现状和展望

§1.引言人类在征服自然、改造世界的过程中,最迷人的莫过于人能预测系统的未来,并能控制(至少影响)系统未来的发展,马尔可夫决策规划(Markov Decision Programming,简记为MDP)就是研究控制马尔可夫型随机系统未来发展的一门学科,也可以说它是研究马尔可夫型随机系统的最优序贯决策的一门学科.这种系统要在一系列的时刻点上(甚至是连续点上)都要作决策,在每个观察时刻,决策者根据观察到的系统状态,从它可用的行动(措施、方案等)集中选用其一(即作决策),这将导致两件事情发生:(i)将获得一定的效应;(ii)能确定     

SG（2,3）上布朗运动的唯一性

本文证明了ＳＧ（２,３）上的强马尔可夫过程在不考虑时间变换ｆ→ｃｔ下,由平移和旋转不变性     

离散时间服务台可修的排队系统MAP／PH（PH／PH）／1

本文研究离散时间可修排队系统,其中顾客的输入过程为离散马尔可夫到达过程（MAP）,服务台的寿命,服务台的顾客的服务时间和修理时间均为离散位相型（PH）变量,首先我们考虑广义服务过程,证明它是离散MAP,然后运用阵阵几何解理论,我们给出了系统的稳态队长分布和稳态等待时间分布,同时给出了系统的稳态可用度这一可靠性指标。     

基于马尔可夫决策过程的医疗检查预约优化模型

医技部门的医疗检查如电子计算机断层扫描（CT）、核磁共振成像设备（MRI）、X射线（X－rays）常常有如下三种病人类型：门诊病人、住院病人和急诊病人。针对不同病人类型的需求特点，运用马尔可夫决策过程原理和动态规划方法，建立了医疗检查设备的预约优化模型，并证明了模型的最优性质，得出了不同病人类型的最优预约策略。数值算例的结果表明：本文的预约策略不仅易于实施，而且，通过该模型获得的最大收益比按传统先来先预约的模式所获得的收益要大。     

马尔可夫骨架过程在种群动态学中的应用

本文借助于马尔可夫骨架过程（舱妒）方法研究了种群动态学中单种群种群数量的瞬时分布，并证明单种群种群数量在时刻t的瞬时分布是某一非负线性方程的最小非负解。     

时齐马尔可夫过程的停时变换(Ⅰ)

§1 引言关于马尔可夫过程的停时变换,已有不少文献进行研究,并得到它的很多应用,如[2,4-6,9—16].但是这些研究是不系统的,它们或考虑特殊马尔可夫过程的停时变换,或研究马尔可夫过程的特殊停时变换;而且这些研究绝大部分是在 Dynkin 的体系下进行的,而Dynkint 的马尔可夫过程与 Blumenthal,Getoor 定义的马尔可夫过程有很大区别,两者不等价,近年来对马尔可夫过程的研究又大都采用[1]的定义.由此可见,在[1]的体系下系统而全面地研究马尔可夫过程的停时变换,建立起停时变换的一般理论以概括各类特殊停时变换     

基于灰色马尔可夫模型的物流配送需求量预测研究

研究可以较准确地预测物流配送需求量的数学模型,以服务于政府及企业的物流规划及其决策.将灰色理论和离散状态的马尔可夫链相结合,用灰色马尔可夫链对物流配送需求量进行实证研究.针对灰色数据系列首先用GM模型进行趋势预测,然后利用马尔可夫状态转移概率矩阵预报方法对其预测值进行二次拟合,预测精度明显高于GM模型预测.     

部分可观察马尔可夫决策规划—首达目标模型

部分可观察马尔可夫决策规划──首达目标模型刘迪芬（湖南师范大学数学系，长沙４１００８１）刘建庸，刘克（中国科学院应用数学研究所，北京１０００８０）ＰＡＲＴＩＡＬＬＹＯＢＳＥＲＶＡＢＬＥＭＡＲＫＯＶＤＥＣＩＳＩＯＮＰＲＯＧＲＡＭＭＩＮＧ：ＦＩＲＳＴＰＡ...     

基于改进的灰色马尔可夫链模型的交通事故预测

交通事故预测是交通安全评价、规划和决策的基础.灰色预测适合于数据量少和波动小的系统对象,而马尔可夫链理论适用于预测随机波动大的动态过程.为克服一般灰色马尔可夫链模型运用的转移概率矩阵固定不变而影响预测精度的问题,本文建立了改进的灰色马尔可夫链模型.采用滑动转移概率矩阵方法,去掉最老数据并补充最新数据,从而建立新的一步转移概率矩阵.借助改进的灰色马尔可夫链模型,对全国2002-2004年交通事故10万人口死亡率进行了预测分析.结果表明,改进的灰色马尔可夫链模型比一般灰色马尔可夫链模型的预测范围更准确,预测精度更高.     

连续时间马尔可夫决策过程的折扣模型

本文考虑的是转移速率族任意且费用率函数可能无界的连续时间马尔可夫决策过程的折扣模型．放弃了传统的要求相应于每个策略的　Ｑ　－过程唯一等条件,而首次考虑相应每个策略的　Ｑ　－过程不一定唯一,　转移速率族也不一定保守,　费用率函数可能无界,　且允许行动空间非空任意的情形．　本文首次用"α－折扣费用最优不等式"更新了传统的α－折扣费用最优方程,并用"最优不等式"和新的方法,不仅证明了传统的主要结果即最优平稳策略的存在性,　而且还进一步探讨了（　∈＞０　　）－最优平稳策略,具有单调性质的最优平稳策略,　以及（∈≥０）　－最优决策过程的存在性,　得到了一些有意义的新结果．　最后,　提供了一个迁移率受控的生灭系统例子,　它满足本文的所有条件,　而传统的假设（见文献［１－１４］）均不成立．     

具有模糊报酬的多目标马尔可夫决策规划

给出一种模糊多目标马尔可夫决策规划的定义,即当报酬是模糊函数时的多目标马尔可夫决策规划,并解决求解这种规划的最优策略的方法以及这种多目标规划最优解的判决问题。     

拟对称Markov链泛函型中心极限定理

本文研究了一般的马尔可夫链特别是拟对称马尔可夫链．利用Lyons-Meyer-Zheng对称马尔可夫过程的鞅分解，建立了泛函型中心极限定理．推广到了一般平稳遍历马尔可夫过程。     

拟对称马尔可夫过程穿越次数估计

本文研究了马尔可夫过程穿越次数估计问题.利用向前向后鞅分解方法,获得了拟对称马尔可夫过程的穿越次数估计,将Lyons-Zheng的马尔可夫过程的穿越次数估计从对称情形推广到拟对称情形.     

马尔可夫链及其在股市分析中的应用

本文运用马尔可夫链理论预测股票价格分析股市,提出了股价运行周期和投资收益的最大化理论,并建立其随机过程模型,使决策的长期效益趋于最优,通过实例检验,证明了此模型的可行性和实用性.     

马尔可夫链在生长发育研究中的应用

本文以月经来潮过程为例,说明马尔可夫链在生长发育研究中的应用,并证明该过程是一个两状态的非齐次马尔可夫链,给出一个应用实例。     

拟马尔可夫过程的磨光优化算法及应用

通过对磨光法及马尔可夫过程的研究,马氏过程作为区间预测的一种方法,在很大程度上约束了它预测的科学性,另外,磨光法本身也是一种迭代的方法,对于拟合的精度还是难于控制,通过拟马尔可夫矩阵与磨光法相结合及优化工具,得到拟马尔可夫过程的磨光优化算法,实例表明:拟马尔可夫过程的磨光优化算法使修正磨光后的值逼近原数据值的程度较其它算法更好,而且,拟马尔可夫矩阵反应了从一种状态到另一种状态的转移程度,并且这种算法具有更好的推广和应用。     

马尔可夫跳过程的弱收敛

本文通过马尔可夫跳过程的嵌入链的收敛性表征马尔可夫跳过程的弱收敛。特别,得到了用无穷小特征表征的时齐马尔可夫跳过程的收敛定理及时齐马尔可夫跳过程的离散逼近。