回归型支持向量机调节熵函数法的区间扩张研究

为减小由于二进制编码的舍入误差对该问题计算结果的影响,对求解回归支持向量机的一种调节熵方法进行了区间扩张,讨论了区间函数的相关定理与收敛性.对设计的区间算法做了收敛性证明,并给出了数值实验,验证了方法与算法的可行性和有效性.     

l~P-系数正则化Shannon采样学习算法收敛速度(英文)

研究l~P-系数正则化意义下Shannon采样学习算法的收敛速度估计问题.借助l~P-空间的凸性不等式给出了样本误差和正则化误差的上界估计,并给出了用K-泛函表示的逼近误差估计.将K-泛函的收敛速度估计转化为平移网络逼近问题,在此基础上给出了用概率表示的学习速度.     

求解最大团问题的熵正则化方法

最大团问题是组合优化的一个经典问题.在Motzkin和Straus的二次规划模型基础上,给出一种求解该问题的熵正则化算法.引进熵函数有两个目的,一是将问题的求解纳入信息论方法的框架,二是通过它的引进改善问题的凸性.几个标准考题的计算结果表明,该算法稳定有效.     

基于最大相关熵准则回归模型的大盘指数预测

大盘指数是衡量股票市场运行情况的“晴雨表”,是投资者洞察股票市场发展态势和制定投资策略的重要依据.大盘指数的变化趋势与经济发展状况、宏观经济政策、投资者心态等诸多复杂因素密切相关,具有明显的随机性和不确定性,这导致精准预测大盘指数的变化趋势成为一个富有挑战性的问题.文章基于最大相关熵准则,使用一种新的回归预测模型,该方法将实际输出与理想输出视为两个随机变量,并采用相关熵度量它们之间的相似程度,进而基于最大熵准则构建一种新的回归模型优化函数,用于指导回归系数的确定.在实际操作中,通常基于有限样本,采用高斯核函数的Parzen窗方法估计两个随机变量的相关熵,因此可借助高斯核函数的核宽调节,解决最小均方误差准则回归模型对异常数据和随机噪声敏感性问题,从而提升预测精度.基于实测数据的实验结果表明:与自回归模型、差分自回归模型以及深度学习方法等相比,文章所提方法能有效降低异常数据对预测精度的影响,预测误差小,鲁棒性强.     

优化算法的复杂度分析

优化算法的收敛性分析是优化中很重要的一个领域,然而收敛性并不足以作为比较不同算法效率的标准,因此需要另外一套衡量优化问题难易程度以及优化算法效率高低的理论,这套理论被称为优化算法的复杂度分析理论.本文共分为5个部分.第1节介绍复杂度分析的背景和理论框架,给出复杂度分析的定义、方法和例子,并总结本文中的复杂度结论.第2节介绍光滑优化问题的复杂度分析,给出不同优化问题的复杂度上界和下界,并给出加速梯度法收敛性分析的框架.第3节介绍非光滑优化问题的复杂度上界,介绍次梯度法、重心法、椭球法和近似点梯度法的复杂度分析.第4节介绍条件梯度法的复杂度分析,介绍条件梯度法的复杂度上界和下界,以及加速条件梯度法的框架.第5节介绍随机优化算法的复杂度分析,比较随机优化算法在凸和非凸问题下收敛的置信水平和复杂度.     

参变极值问题的信息凝聚分布与Boltzmann极大熵函数

该文利用Ｂｏｌｔｚｍａｎｎ 熵概念给出了参变极值问题最优解的一种积分极限表达式和极值函数的极大熵函数,讨论了它们一致收敛性的要求并给出了极大熵函数一致收敛的一个充分条件,将之应用到全局最优解问题得到了全局最优解和最优值的一种显表示,最后还探讨了极大熵函数在一类双层规划问题求解中的应用．     

非光滑凸规划的割平面法及其在组合优化中的应用

本文利用次梯度构造了一种割平面 ,将非光滑凸规划松驰为光滑规划 ,给出了一种非光滑凸规划的割平面法 ,并证明了其收敛性 ,通过在组合优化中的应用说明该算法是有效的 .     

一类非光滑凸优化问题的邻近梯度算法

考虑求解目标函数为光滑损失函数与非光滑正则函数之和的凸优化问题的一种基于线搜索的邻近梯度算法及其收敛性分析,证明了在梯度局部Lipschitz连续条件下该算法是R-线性收敛的,并在非光滑部分为稀疏块LASSO正则函数情况下给出了误差界条件成立的证明,得到了线性收敛率.最后,数值实验结果验证了方法的有效性.     

反凸规划的分枝定界方法

考虑了一种带有反凸约束的凸规划问题,发展了一种锥分枝定界方法,并给出收敛性条件.     

Armijo线性搜索下Hager-Zhang共轭梯度法的全局收敛性

Hager和Zhang^[4]提出了一种新的非线性共轭梯度法(简称 HZ 方法), 并证明了该方法在 Wolfe搜索和 Goldstein 搜索下求解强凸问题的全局收敛性.但是HZ方法在标准Armijo 搜索下求解非凸问题是否全局收敛尚不清楚.该文提出了一种保守的HZ共轭梯度法,并且证明了这种方法在 Armijo 线性搜索下求解非凸优化问题的全局收敛性.此外,作者给出了一些 数值结果以检验该方法的有效性.     

路径跟踪方法求解无界非凸区域上的不动点问题

给出了求解一类无界非凸区域上不动点问题的路径跟踪方法.在适当的条件下,给出了不动点存在性的构造性证明,从而得到了路径跟踪方法的全局收敛性结果.研究结果为计算无界非凸区域上不动点问题提供了一种全局收敛性方法.     

一种抽样二阶随机算法

本文针对机器学习中的大规模优化问题,将Lissa算法和SSN算法结合起来,给出一种抽样二阶随机算法(SSN-Lissa),并在目标函数是光滑且强凸的条件下,证明该算法的线性收敛性.数值例子表明SSN-Lissa算法比Lissa算法和SSN算法更有效.     

一类线性规划问题的区间调节熵算法

本文将熵函数的思想和区间分析相结合,构造了一类线性规划问题的区间调节熵算法,讨论了调节熵函数的区间扩张及其收敛阶,以及相关的区域删除检验原则,证明了算法的收敛性,给出了数值算例.理论与数值结果表明该方法是可靠和有效的.     

非凸优化带松弛步的对称ADMM局部线性收敛率分析

基于对称交替方向乘子法(ADMM),结合松弛步技巧,该文提出一种带松弛步的对称ADMM用于求解两分块线性约束非凸优化问题.同时,新算法乘子更新步采用不同的松弛因子.常规假设下,给出新算法子序列的收敛性证明.误差界条件下,分析并获得由新算法产生的迭代点列以线性收敛的速率局部趋于问题稳定点,相应增广拉格朗日函数序列亦线性收敛.最后,初步试验结果表明新算法是有效的.     

凸二次整数规划的随机水平值逼近算法

对凸二次整数极小化问题提出了一种随机水平值逼近算法,该算法应用了重点取样技术,并利用极小化相对熵的思想来更新取样密度．对算法的渐近收敛性进行了证明,给出了数值实验的结果．     

凸度量空间中拟压缩映象具误差的Ishikawa型迭代序列的收敛性

对凸度量空间中非线性拟压缩映象具误差的Ishikawa型迭代序列的收敛性问题证明了几个新的收敛性定理,结果不仅改进和推广了L.B.Ciric,Q.H.Liu,H.E.Rhoades,H.K.Xu等人的相应结果,而且对Rhoades-Naimplally-Singh所提出的公开问题,在凸度量空间的框架下给出了肯定的答复.     

一种双层规划的光滑化目标罚函数算法

论文研究了一种双层规划的光滑化目标罚函数算法,在一些条件下,证明了光滑化罚优化问题等价于原双层规划问题,而且,当下层规划问题是凸规划问题时, 给出了一个求解算法和收敛性证明.     

求解凸随机规划的Monte Carlo模拟方法

基于对目标函数和约束函数的同时抽样,给出求解凸随机规划的Monte CaLrlo模拟的算法及其收敛性.将得到的结果和算法应用到以半偏差为约束的投资组合优化问题,并且给出相应的数值试验.     

一种双层规划的光滑化目标罚函数算法（英文）

论文研究了一种双层规划的光滑化目标罚函数算法,在一些条件下,证明了光滑化罚优化问题等价于原双层规划问题,而且,当下层规划问题是凸规划问题时,给出了一个求解算法和收敛性证明.     

一类DC规划问题的分支定界算法

本文针对一类带有箱子和线性不等式约束的特殊DC规划问题,提出了一种分支定界算法.首先将原问题转化为其等价问题,然后利用目标函数的特点将等价问题松弛为凸规划问题,通过求解一系列凸规划问题得到原问题的最优解,最后给出算法的收敛性证明.数值实验表明该算法是可行有效的.