马尔可夫决策规划综述

本文对马尔可夫决策规划(Markov Decision Programming,以下简记为 MDP)的起源、主要模型的发展概况、现状、与邻近学科的关系以及对未来发展的展望等作一综合性的介绍。     

基于改进灰色GM(1,1)马尔柯夫模型的煤矿事故百万吨死亡率预测

煤矿安全事故预防和控制是煤矿安全评价和决策的基础.灰色预测适合于时间短、数据量少和波动不大的系统对象,而马尔可夫链理论适用于预测随机波动大的动态过程.结合灰色预测GM(1,1)模型和马尔可夫链理论的优点,提出了一种改进的灰色马尔可夫GM(1,1)模型.利用改进的GM(1,1)模型进一步拟合煤矿人因失误事故的发展变化趋势,并以此为基础进行马尔柯夫预测,提高预测效果.以2000-2010年全国煤矿事故百万吨死亡率为例进行了预测分析,结果表明模型既能揭示煤矿人因失误事故百万吨死亡率变化的总体趋势,又能克服随机波动性数据对预测精度的影响,具有较强的工程实用性,并对煤矿人因失误安全事故的预测和控制有一定的实际意义.     

具脉冲混合时滞马尔可夫跳中立型随机神经网络系统指数稳定性

研究了具脉冲和混合时滞马尔可夫跳随机神经网络的鲁棒指数稳定性.通过构造合适Lyapunov-Krasovsii泛函,利用随机Lyapunov稳定性理论,给出并证明了该系统均方指数稳定性的充分条件,所有结果以线性矩阵不等式的形式给,数值算例表明无论脉冲是否发生在马尔可夫跳时刻,给出的稳定性标准都是有效的.     

从矩阵半张量积到逻辑控制系统

利用矩阵半张量积建立起来的逻辑系统控制理论已经成为控制论中不可忽视的一个新方向.本文的目的是对该理论从基本数学工具和分析方法到主要结果作一个综合性的介绍.首先介绍矩阵半张量积,并对其作了一个深入的探讨和评述.接着说明如何利用矩阵半张量积将逻辑表达式转化为代数表达式.继而较详细地介绍逻辑动态系统及其控制理论近年得到的一些主要成果,包括逻辑动态系统的拓扑结构,逻辑控制系统的能控性和能观性、稳定性与镇定、干扰解耦、最优控制、逻辑系统与逻辑控制系统的辨识.进而对逻辑系统从经典布尔逻辑到k值逻辑、多值逻辑和混合逻辑的推广作了比较细致的推演.这些结果构成了这一新学科的理论基础.此外,对相关概念、记号以及基本方法与工具作了统一的规范处理.然后,对目前的学科进展情形与其应用/潜在应用作了一个较为全面的整体介绍.对逻辑动态(控制)系统存在的未解问题与进一步的研究方向给出一个带有启发性的推介.最后,对学科发展的大方向提出一个个人的预测:逻辑控制系统与动力学控制系统的结合可望产生"信息-控制系统",它就是钱学森预言的"理论控制论",也是美国学科发展报告提出的下一代控制理论.     

谈高考中概率与统计的考查——以高考数学北京卷为例

1引言现代社会是信息化的社会,人们常常需要收集数据,根据所收集的数据提取有价值的信息,作出合理的决策.统计学是研究如何合理收集、整理、分析数据的学科,它可以为人们制定决策提供依据.概率论是研究随机现象规律的学科,它为统计学的发展提供了理论基础.概率与统计的基础知识成为一个未来公民的必备常识,概率与统计蕴含的独特的数学思想方法以及数据处理能力越来越影响着大家的生活.《普通高中数学课程标     

基于SLQ控制器的时滞微分系统的鲁棒镇定

该文基于随机线性二次控制问题, 讨论了多时滞、且具有马尔可夫跳变参数的微分系统的最优控制的鲁棒性及可镇定问题.应用了Lyapunov-Krasovskii型的泛函、伊藤(Ito)公式、及Schur补等工具, 分析了该随机多时滞、具有马尔可夫过程的微分系统的均方指数稳定性.得到了时滞相关与时滞无关的充分性的代数判据.     

马尔可夫市场中的一般多期均值-方差资产负债管理问题的时间一致策略

文章在多期均值-方差框架下研究一个带马尔可夫机制转换及跨期目标控制的一般资产负债管理问题.随机的风险资产收益率和外生负债增长率均依赖于有限多个服从离散时间马尔可夫链的金融市场状态.在投资过程中投资者不仅要考虑终端盈余的均值-方差效用,还需要同时关注中间目标效用的控制.以最大化每时刻盈余的均值-方差效用的加权总和为目标,文章构建了一般的多期均值-方差资产负债管理模型.在博弈论框架下,利用逆向归纳法,文章导出了问题的时间一致策略、均衡值函数及时间一致策略下每时刻盈余的期望和方差的解析表达式,并讨论了几种退化情形下的均衡结果.最后,文章通过数值例子揭示了机制转换、负债对均衡有效前沿的影响以及跨期目标控制对资产负债管理的作用.     

多目标马氏决策有愿望水平问题的解法

<正> 本文作者在1989年12月第四届全国多目标决策会议的论文中给出有限N阶段随机多目标决策问题的解法。但在实际问题中,决策者限于客观条件往往对每一个目标有一个主观的愿望水平,即每一个目标期望的值。在这个前提下,决策者在一系列的有限时刻点针对随机出现的状态选择一系列的决策,能达到整个系统总体综合目标最终时刻的最优的决策序列为最优序贯决策。     

基于灰色马尔可夫模型的节能设备故障预测研究

精准预测节能设备故障可以有效节约节能服务公司运营成本,直接关系到节能服务公司的节能项目管理.根据灰色系统理论,将灰色均值GM(1,1)模型与马尔可夫模型融合,通过灰色马尔可夫模型预测节能设备的故障状况.具体而言,首先通过灰色均值GM(1,1)模型预测节能设备的未来故障情况,然后通过马尔可夫状态转移矩阵确定未来节能设备故障的可能状态,最后基于预测值与实际值的比值关系修正预测结果,以实现对节能设备故障次数的精准预测.结果表明灰色马尔可夫模型提高了预测精度,为精准预测节能设备故障提供了一种新思路.     

不确定半马尔可夫跳变系统的滑模观测器设计

考虑了相位型半马尔可夫跳变系统的滑模观测器设计问题.利用补充变量法及模型转化,将有限相位型半马尔可夫过程转换为其伴随马尔可夫链.因此,相位型半马尔可夫跳变系统可等价地转换为其伴随马尔可夫跳变系统.针对这类系统设计了滑模观测器并给出了观测器可解的充分条件.最后,通过数值算例表明了文章给出方法的有效性.     

批量马尔可夫到达过程概述

批量马尔可夫到达过程(Batch Markovian Arrival Processes,BMAP)对平稳点过程类具有稠密性,能够描述许多到达过程,在计算机、可靠性、通信和库存等领域的随机建模中获得广泛应用,是一类非常重要的随机点过程.通过对BMAP理论主要文献的分析,系统介绍了BMAP的概念和主要性质,回顾了BMAP应用成果和拟合工作的发展,展望了BMAP理论的发展前景.     

广义零程无穷质点马氏过程的存在性和唯一性

Liggett在(1)中证明了Spitzer的零程无穷质点马氏过程的存在性和唯一性。Spitzer的零程无穷质点马氏过程描述了具有给定时间下质点仅受当时该位置上质点总数的影响,且同一时刻任一位置上最多只能发生一个质点转移这一性质的无穷不可区分质点的随机运动,本文讨论了在给定时间下质点仅受当时刻位置上质点总数的影响.但同一时刻任一位置上最多可以发生N个质点转移的随机模型,并给出且证明了对应的马尔可夫过程的存在性和唯一性定理。这包含(1)的结果为特例,本文是在严士健教授和陈木法老师的指导下完成的,特别是陈木法阅读文献(1)的笔记对本文有很大帮助,在此谨表谢意.     

随机折扣部分可观察马尔可夫决策规划

一、引言考虑一个部分可观察马尔可夫决策规划模型(简记为 POMDP),并引文[1]中所用的定义、记号(只将δ_N 换成∏,(?)换成 A)和有关结论.于是信息向量 π(t)与 π(t 1)有如下关系     

关于M|M|n排队系統中的А.Я.Хинчин假定

1°问题的提出.考虑一个M|M|n排队系统.即输入为带参数λ的Poisson流;服务时间分布是带参数β的负指数分布;有n个服务员,先来先服务的排队系统(关于排队论的一般知识可参看[1][2]或[3]).若用X(t)表示此系统在时刻t时的队长,则如所周知(参看[3]§34),X(t)是一个带有平稳转移概率的可数马尔可夫过程(关于带有平稳转移概率的可数马尔可夫过程的一般知识可参看[4]).它的Q矩阵(qij)是:     

概率

1.本单元知识点概率是研究随机现象规律的学科,它为人们认识客观世界提供重要的思维模式和解决问题的方法,同时为统计学的发展提供了理论基础.由于概率与实际生活密切相关,它能极好地培养数学应用的意识.本单元的学习重点包括:(1)在具体情境中加深对随机现象的认识,进一步理解概率的意义和概率与频率的区别;(2)通过实例,了解两个互斥事件的概率加法公式;(3)通过实例,理解古典概型及其概率计算公式,并会用列举法计算一些随机事件的     

SMAP／INDI／1单重休假随机服务系统的MSP方法

本文借助于马尔可夫骨架过程(MSP)方法研究了SMAP/INID/1单重休假随机服务系统的队长及等待时间等指标的瞬时分布.     

概率论和统计学的起源、发展、形成和现状

概率论和统计学是研究随机现象规律性的一门科学.前者从数学观点研究随机现象的基本性质;后者从搜集到的随机数据,估计或推断随机现象的基本特性.这两门学科已形成为——门理论严谨,应用广泛,发展迅速,方法独特的学科.     

跳扩散模型在保险公司投资策略中的应用

利用随机控制理论、HJB方程、最优决策理论等数学工具,研究保险公司保费收入的投资策略问题.假定保险公司盈余过程服从跳扩散过程,保险公司将(1-q)比例的资金投向金融资产,比例q向其它保险公司购买保险(再保险).在目标函数为终止时刻财富期望效用最大的情况下构建一个包含q的HJB方程,基于常利率和随机利率,分别验证了q的存在性,并给出了最优投资策略的显示解和各重要参数对最优投资策略的影响.     

基于有限射影平面上(ω,r,d)-CFF(N,T)系统的构作

在有限射影平面上利用有限射影平面的性质构作了(ω,r,d)-CFF(N,T)系统,并利用有限射影平面的性质计算了它的参数.最后利用一个有限点集构作了一个(ω,r,d)-DS(N,T)系统并计算了它的参数.     

具有马尔可夫增量的随机游动的最小值的局部极限定理（英文）

本文考虑具有马尔可夫增量的随机游动(半马尔可夫链)的最小值,提出一种Presman因式分解的方法,对其分布的渐进行为进行研究并给出了局部极限定理.该结果可以应用于对马尔可夫随机环境下的分支过程的生存概率的渐进行为进行估计.