机器学习中的最优化模型与对偶

数学最优化是以数学的方式来刻画和找出问题最优解的一门学科.机器学习利用数据构造预测方法,并对这些方法进行研究.介绍了机器学习中与支持向量机和稀疏重构相关的最优化模型.在此基础上,给出了三个典型最优化模型的对偶问题,并详细地讨论了对偶在求解这些问题中的应用.     

从数值最优化方法到学习最优化方法

传统最优化问题的求解方法主要是以梯度法为基础的数值最优化方法,它是解析与数值计算相结合的迭代求解方法,是一种基于固定模式的最优化方法.算法的迭代过程实质上是对迭代点进行非线性变换的过程,该非线性变换是通过一系列方向和步长来实现.对于最优化问题的每一个实例,都需要从头到尾执行整个算法,计算复杂度是固定的.一旦算法被程序实现,算法的效率(计算精度和复杂度)就被固定.人工智能解决问题的方法都具有学习功能.随着人工智能,特别是深度学习的兴起,学习类方法在一些领域取得了巨大的成功,如图像识别(特别是人脸识别、车牌识别、手写字符识别等)、网络攻击防范、自然语言处理、自动驾驶、金融、医疗等.本文从新的视角研究传统的数值最优化方法和智能优化方法,分析其特点,由此引出学习最优化方法,并对它们进行了对比,提出了学习最优化方法的设计思路.最后,以组合最优化为例,对该类方法的设计原理进行阐述.     

有限理性与多目标问题解的稳定性

文章对多目标最优化问题定义了理性函数,证明了大多数的最优化问题(在Baire分类意义上)都是结构稳定的,对ε-平衡也都是鲁棒的.     

线性约束三次规划问题的全局最优性必要条件和最优化算法

讨论了带线性不等式约束三次规划问题的最优性条件和最优化算法. 首先, 讨论了带有线性不等式约束三次规划问题的 全局最优性必要条件. 然后, 利用全局最优性必要条件, 设计了解线性约束三次规划问题的一个新的局部最优化算法(强局部最优化算法). 再利用辅助函数和所给出的新的局部最优化算法, 设计了带有线性不等式约束三 规划问题的全局最优化算法. 最后, 数值算例说明给出的最优化算法是可行的、有效的.     

有限理性下参数最优化问题解的稳定性

主要研究有限理性下参数最优化问题解的稳定性. 即在两类扰动即目标函数及可行集二者, 目标函数、可行集及参数三者分别同时发生扰动的情形下, 对参数最优化问题引入一个抽象的理性函数, 分别建立了参数最优化问题的有限理性模型M, 运用``通有'的方法, 得到了上述两种扰动情形下相应的有限理性模型M的结构稳定性及对\varepsilon-平衡(解)的鲁棒性, 即有限理性下绝大多数的参数最优化问题的解都 是稳定的, 并以一个例子说明所得的稳定性结果均是正确的.     

离散系统迭代学习型瞬时最优控制及作动器位置优化研究

以线性离散系统为研究对象,以瞬时最优化控制和智能算法中的迭代学习控制为基础,以系统响应期望值与实际值之差为反馈信号,以离散系统的二次型性能泛函为目标函数,提出了迭代学习型瞬时最优控制算法.该方法以瞬时最优化控制算法初始化控制信号,并采用迭代学习控制在线实时修正控制信号以提高主动控制的效果.针对迭代学习型瞬时最优化控制算法迭代的特性,采用范数方法给出了该算法收敛的充分条件.数值算例表明,迭代学习型瞬时最优控制算法较离散瞬时最优控制算法有较明显的优势.同时,基于改进遗传算法,对主动控制器位置优化进行了讨论.数值分析结果表明:部分楼层设置主动控制器且安装位置经过优化后,其控制效果可接近甚至优于全楼层设置主动控制器时的控制效果.     

两类体育教练评估模型的分析与比较

以2014年美国大学生数学建模竞赛B题为基础,讨论了部分获奖同学的解决方案,分析了两类体育教练评估模型,一类是综合评价模型,另一类是最优化模型,并对两类模型进行了比较。     

关于良定问题

本文应用有限理性模型M,对非线性问题的良定性进行了统一的研究,对最优化、多目标最优化、非合作博弈和广义博弈得到了一些新的良定性结果.     

M/E_k/1排队系统的最优流控制

通过两种经典方案,即非合作最优化方案和合作最优化方案,对M/E_k/1排队系统的最优流控制问题进行研究.在这两种方案下,给出了最优流控制的解,并对解的性质进行分析.     

《约束最优化计算方法》简评

约束最优化方法是近30年以来发展起来的新方法,它实际应用范围十分广泛,而且这个方法的发展越来越受到人们的重视。 《约束最优化计算方法》一书是由中科院计算中心赵风治教授著的,即将由科学出版社出版。 本书是以在计算机上实践过的,被证明行之有效的约束最优化方法为对象,系统地论述了约束最优化中常用的和新的方法,以及这些方法在计算机上实现的方案和框图,主要     

中国A股股票相邻两期β系数稳定性的Chow检验

本文用Chow检验方法研究了中国A股股票相邻两期的β系数是否稳定的问题。主要的发现有:1.对于个股而言,80%以上股票的β系数在上半年和下半年是稳定的。在扩展检验时期至相邻两年后,股票相邻两期的β系数稳定的概率有所降低,但是仍然高于60%;2.股票组合β系数稳定性的概率超过70%;3.股票组合的β系数在相邻两期稳定的概率与个股并无显著差异,并且,组合中的股票数量与组合的β系数在相邻两期是否稳定的概率并无显著的相关关系。     

具有马氏调制费率的复合Poisson风险模型的破产概率

对于给定的初始状态和初始分布 ,本文分别给出了条件破产概率 Ψi(u)和最终破产概率 Ψ(u)所满足的积分方程 ,并给出了零初始资产时破产概率 Ψ(0 )的明确表达式 .     

Ruin Probabilities in Cox Risk Models with Two Dependent Classes of Business

In this paper we consider risk processes with two classes of business in which the two claim-number processes are dependent Cox processes. We first assume that the two claim-number processes have a two-dimensional Markovian intensity. Under this assumption, we not only study the sum of the two individual risk processes but also investigate the two-dimensional risk process formed by considering the two individual processes separately. For each of the two risk processes we derive an expression for the ruin probability, and then construct an upper bound for the ruin probability. We next assume that the intensity of the two claim-number processes follows a Markov chain. In this case, we examine the ruin probability of the sum of the two individual risk processes. Specifically, a differential system for the ruin probability is derived and numerical results are obtained for exponential claim sizes.     

全概率公式的推广及应用

给出两种全概率公式的推广形式,从而弱化了全概率公式中事件列是互不相容的条件,最后给出相关的应用.     

谐和与随机噪声联合作用下Duffing振子的双峰稳态密度

研究Duffing振子在谐和与随机噪声联合作用下系统响应的双峰稳态概率密度问题．用多尺度法分离了系统的快变项,得到了系统慢变项满足的随机微分方程．用线性化方法求出了双峰稳态概率密度的表达式．数值模拟表明提出的方法是有效的．     

标准序列逻辑系统S_3中公式的概率真度理论

利用势为3的非均匀概率空间的无穷乘积在三值标准序列逻辑系统中引入了公式的概率真度概念,证明了全体公式的概率真度值之集在[0,1]中没有孤立点;利用概率真度定义了概率相似度和伪距离,进而建立了概率逻辑度量空间,证明了该空间中没有孤立点,为三值命题的近似推理理论提供了一种可能的框架.     

基于输入-输出数据的概率分布和数字特征

利用模糊推理建立了一种基于输入-输出数据构造联合概率密度函数的方法.首先,将一组单输入-单输出数据转换成模糊推理规则,通过选择适当的模糊蕴涵算子生成模糊关系,再利用这种模糊关系求出二维随机变量的联合概率密度函数.当将模糊蕴涵分别取为Larsen蕴涵和Mamdani蕴涵时,分别得到了两种具体的概率密度函数(称之为Lars...     

Doubling-Time Probability Densities For Growth Processes

The doubling-time probability density of a growth process is the probability density for the time it takes for the size to double. Doubling-time probability densities are useful in studying growth rates, for example, of organisms, populations, financial products, or chemical reactions. Three fundamental stochastic models of growth are investigated for their doubling-time probability densities. It is shown that two of the stochastic models have doubling-time probability densities which are inverse Gaussian. Although the third stochastic model’s doubling-time density does not have a simple analytical form, it is shown to be approximately inverse Gaussian under a reasonable hypothesis on the model’s parameters. Two data sets for doubling time, spruce seedling size and Texas Mega Millions Lottery jackpot, are fit to inverse Gaussian distributions.     

A Metric on Probabilities, and Products of Loeb Spaces

Two functions on finitely additive probability spaces that behavewell under products are introduced: discrepancy, which measureshow close one space comes to extending another, and bi-discrepancy,which is a pseudo-metric on the collection of all spaces ona given set, and a metric on the collection of complete spaces.These are then applied to show that the Loeb space of the internalproduct of two internal finitely additive probability spacesdepends only on the Loeb spaces of the two original internalspaces. Thus the notion of a Loeb product of two Loeb spacesis well defined. The Loeb operation induces an isometry fromthe nonstandard hull of the space of internal probability spaceson a given set to the space of Loeb spaces on that set, withthe metric of bi-discrepancy.     

A Markov Risk Model with Two Classes of Insurance Business

A Markov risk model with two classes of insurance business is studied. In this model, the two classes of insurance business are independent. Each of the two independent claim number processes is the number of jumps of a Markov jump process from time 0 to t, whichever has not independent increments in general. An integral equation satisfied by the ruin probability is obtained and the bounds for the convergence rate of the ruin probability are given by using a generalized renewal technique.