变步长轴向搜索法在非凸情形的性质

§1.引言变步长轴向搜索法亦称变步长坐标方向法,它作为一个最优化方法,其特点是:不采用一维搜索,且各方向的步长按照搜索的成功或失败而独立地增加或缩减.它可以作为缓慢而可靠的方法来使用,也可作为Rosenbrock方法的基本组成部分.由于它的上述特点,特别是各个方向的步长独立变化的特点,它不能被纳入[3]中定步长下山法的框架,因而给它的理论分析带来了困难.文[4]对变步长轴向搜索法在目标函数为凸性的情形下的收敛性给出了证明,其中对目标函数的下降量采用了特殊的估计手段.本文在[4]的基础上,在     

变步长轴向搜索法的分析

变步长轴向搜索法是指在搜索过程中各个方向之步长可随时变化的轴向搜索法,长期以来它只是一种经验方法。本文在这一方法中引入下山门槛,给出目标函数下降量的细致的估计,证明了这一方法对可微的目标函数具有收敛性。     

双层规划问题的一种模式搜索Filter方法

双层规划在工程设计和经济管理中应用广泛,结合模式搜索方法和Filter方法提出了一种解决双层规划问题的算法—模式搜索Filter方法.算法以Filter法思想构造接受准则,以模式搜索提供迭代方向和步长,能够有效的解决一类双层规划问题.     

求解图像分割CV模型的BB算法

给出图像分割的一种新算法——BB算法.该方法的优点在于利用迭代过程中当前点和前一点的信息确定搜索步长,从而更有效地搜索最优解.为此,首先通过变分水平集方法将CV模型转化为最优化问题;其次,将BB算法引入该优化问题进行求解;然后,对BB算法进行收敛性分析,为该算法应用在CV模型中提供了理论依据;最后将该方法与已有的最速下降法、共轭梯度法的分割结果进行比较.结果表明,跟其他两种方法相比,BB算法在保证较好分割效果的前提下,提高了算法的速度和性能.     

Rosenbrock方法的分析

Rosenbrock方法作为不计算导数又不使用一维搜索的一种实用最优化方法,其要点是将变步长轴向搜索与方向旋转结合起来。在本文中,以理论分析为引导,对Rosenbrock方法的算法模型从下列方面进行若干修正:引入下山门槛,方向旋转时检验适当的条件,方向旋转后步长向量的适当调整。在建立目标函数下降量的估计之后,我们证明了Rosenbrock方法的此种算法模型在没有凸性限制下的收敛性。     

数值最优化的弧搜索方法

非线性最优化算法主要包括两个步骤:一是利用目标函数和约束函数的导数或相关信息来确定搜索方向,二是利用一维搜索和信赖域方法来确定沿搜索方向步长.一维直线搜索在各种教科书及参考文献中被广泛地讨论过,而另一种搜索方法弧搜索方法,在某些情况下更有效却鲜为人知.本文讨论弧搜索方法的一些细节及在各种最优化问题中的应用,并指出弧搜索技术比直线搜索对某些问题更具优越性.     

无约束最优化线搜索一般模型及BFGS方法的整体收敛性

本文给出了无约束最优化的算法中线性搜索的可接受的步长选择律的一种一般形式，它概括了大多数已有的步长律为其特例，并且研究了它基本性质，最后证明了此线性搜索一般模拟相结合的无约束优化的ＢＦＧＳ算法的整体收敛性。     

非单调多步曲线搜索方法的收敛性

提出一种求解无约束优化问题的非单调多步曲线搜索方法.此方法具有如下特点:(1)算法在产生下一个迭代点时不仅利用了当前迭代点的信息,而且还可能利用前m个迭代点的信息.这就是多步法;(2)下降方向和步长同时确定,而不是先找到方向,再由线性搜索寻找步长.这就是曲线搜索技术;(3)采用非单调搜索技巧.在较弱的条件下,我们证明了此方法的收敛性.     

面向全局优化基于分形的混合混沌优化算法

Julia集具有分形结构,一旦确定吸引域边界上任一点,就可通向任一个吸引周期点的吸引域.Newton-Raphson法利用此性质可计算方程所有根,并可精确计算BFGS法和共轭梯度法中下降方向步长,将两种算法分别与混沌优化算法结合,因而从新的视角建立一种融合分形理论的混合混沌优化算法.研究表明,所提出算法的计算效率高于利用Wolf一维不精确搜索求得步长的混合算法,而且混合混沌BFGS算法的优化能力优于混合混沌共轭梯度算法,也说明BFGS的局部搜索能力比共轭梯度法强.     

一类新型DL共轭梯度法研究

提出了求解无约束优化问题的新型DL共轭梯度方法. 同已有方法不同之处在于,该方法构造了一种修正的Armijo线搜索规则,它不仅能给出当前迭代步步长, 而且还能同时确定计算下一步搜索方向时需要用到的共轭参数值. 在较弱的条件下, 建立了算法的全局收敛性理论. 数值试验表明,新型共轭梯度算法比同类方法具有更好的计算效率.     

精确线搜索下一种新的混合共轭梯度法

本文对于大规模无约束优化问题提出了一种新的混合β_k公式,从而提出了一种具有充分下降性的混合共轭梯度法.利用精确线搜索步长规则,在适当的假设下证明了新算法的全局收敛性.     

正基与一类直接搜索法

本文对非线性规划中的一类直接搜索法给出了一个统一的收敛定理,这类方法被称为定步长下山法,它包括了轴向搜索法、Hooke-Jeeves方法以及对Hooke-Jeeves方法所作的简化与变形(文中给出)作为特例,从而这些算法的收敛性质均能根据上述统一的收敛定理得到,除了这些以外,单纯形调优法也能用同样的想法来进行分析,这由作者在另一文中给出,为了上述目的,本文还对代数中的正基作了若干研究。     

考虑已往探索值的一个一维凸函数优化的快速新算法

1.概述 一维无约束最优化问题,早有许多研究.对于复杂的函数或函数不能用显式表达时,在不求导数的解法(即直接搜索法)中,较基本的有熟知的0.618法(黄金分割法),抛物线法等,一维搜索法则略加变化,例如DSC法(Davies,Swann and Compey Method),Powell法,或者二者的混合DSC-Powell法。通常分两阶段:第一阶段,用增加步长或等步长来括住函数的最小值;第二阶段,用重复第一阶段的方法或用抛物线法逼近最优     

退化约束的既约变尺度法

既约梯度法是求解线性等式与变量非负约束的非线性规划问题的有效方法,它的优点是降低问题的维数.变尺度方法是求解无约束优化问题的快速方法.文[1]将上述两种方法结合起来,给出了约束非退化并采用精确一维搜索的既约变尺度法,并证明了算法的收敛性与超线性收敛速度.但从计算的实现上来说,必须考虑使用非精确搜索的算法.为了使算法的适应范围更加广泛,也需要放弃约束非退化的假设.本文在满足上述两个要求下给出了退化约束条件下并采用非精确一维搜索的既约变尺度法,证明了算法的全局收敛性与超线性的收敛速度.     

一种求解非线性约束优化问题的无罚函数无滤子的方法

借助于强次可行方向法的思想和滤子法的思想,给出了一种求解非线性约束优化问题的无罚函数无滤子的方法.方法借助于广义投影技术产生搜索方向,直接通过原目标函数和约束违反度函数作为搜索函数来产生步长,有效地避免了消耗计算成本的恢复阶段.最后在适当的假设条件下,给出了算法的全局收敛性和有效性.     

基于BP模型的优化方法研究及其应用

首先根据BP算法的基本原理,推导出了BP模型中输出对输入的偏导.然后基于已有数据,利用BP模型进行拟合,保留训练后的BP模型的权值和阈值.在此基础上,利用变步长梯度法实现了BP模型的最优化.本文是对BP模型优化方法的一种新的理论探讨.     

基于梯度的自适应快速布谷鸟搜索算法

针对标准布谷鸟搜索(CS)算法存在全局搜索和局部搜索能力不平衡的缺点, 提出一种基于梯度的自适应快速布谷鸟搜索(GBAQCS)算法. 在改进的算法中, 针对偏好随机游动的步长, 在利用目标函数的梯度决定步长方向的基础上, 首先提出自适应搜索机制平衡了算法的全局搜索和局部搜索能力; 其次提出快速 搜索策略, 充分利用当前鸟巢信息进行精细化搜索, 从而提高算法的搜索精度和收敛速度. 实验结果表明, 相比其他算法, 所提出的改进策略使算法的全局搜索和局部搜索能力保持了相对的平衡, 并提高了算法的收敛性能.     

DFP算法的全局收敛性分析

1引言理论分析和大量数值试验表明，在求解（1．1）的各种算法中，拟Newton法是效果最好的一类方法．DFP算法是最早提出的拟Newton法，它首先由Davidon［2］给出并由Fletcher和Powell【3］修改DFP算法的计算步骤如下：算法1．1．1”．取二R”，BIE＊”“”对称正定，k：＝1．2”．计算gb＝7八kh），若gb—0，则终止，得解kk．否则，转入下一步．3O．dk——BK‘gb．4“．进行线搜索确定步长aa．在上面的算法中，步长0。的确定有两种方式：其一，精确线搜索，即。。满足：其M，非精确线搜索．本文考察WOlfe线搜索，即a＆满足：其中o…     

梯度法简述

梯度法是一类求解优化问题的一阶方法。梯度法形式简单、计算开销小,在大规模问题的求解中得到了广泛应用。系统地介绍了光滑无约束问题梯度法的迭代格式、理论框架。梯度法中最重要的参数是步长,步长的选取直接决定了梯度法的收敛性质与收敛速度。从线搜索框架、近似技巧、随机技巧和交替重复步长四方面介绍了梯度步长的构造思想及相应梯度法的收敛性结果,还对非光滑及约束问题的梯度法、梯度法加速技巧和随机梯度法等扩展方向做了简要介绍。     

结合Armijo步长搜索的一类新的记忆梯度算法及其收敛特征

对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.在去掉迭代点列有界和Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Armijo线搜索下的FR、PR、HS共轭梯度法和超记忆梯度法更稳定、更有效.