具有精确线性搜索的改进共轭梯度法

其中g_k=f(x_k),β_k为参数.β_k的不同选法形成了各种共轭梯度法,其中Fletcher-Reeves法(简记为FR法)是理论较完整的一个方法,对水平集有界的二阶连续可微函数,Powell和Baali分别在精确和不精确线搜索下证明了其全局收敛性.Polak-Ribiere法     

非线性优化算法理论中一个极限的应用

1引 言 在非线性最优化算法理论中,求解优化问题 min f(x)一般采用迭代形式 x_(k+1)=x_k+λ_kd_k,k=0,1,…,其中λ_k为搜索步长,d_k为搜索方向,λ_k、d_k的适当选取能使算法具有全局收效性: lim inf‖g_k‖=0,其中g_k=f(x_k),{x_k}由算法产生。 步长λ_k的选取实质上是一个对一元函数f(x_k+λd_k)进行线搜索的过程。很多线搜索能保证函数充分递减,即 f(x_k)-f(x_k+λ_kd_k)≥σ(|g_k~Td_k|)/(‖d_k‖) , (1)     

一类非单调算法的收敛性质

1.搜索步长和搜索方向对于无约束最优化问题(?)f(x),其中f:R~n→R~1,f∈C~1,一般采用形如x_(k+1)=x_k+λ_kd_k(k=1,2,…)的迭代算法来求解,这里λ_k为搜索步长,d_k为搜索方向.     

带参数共轭梯度法簇的全局收敛性

共轭梯度法是最优化中最常用的方法之一,广泛地应用于求解大规模优化问题,其中参数β_k的不同选取可以构成不同的共轭梯度法.给出了一类含有三个参数的共轭梯度算法,这种算法能够在给定的条件下证明选定的β_k在每一步都能产生一个下降方向,同时在强Wolfe线搜索下,这种算法具有全局收敛性.     

非线性最优化线搜索终止规则的综述

一、引言在非线性最优化领域中,对于优化问题其中 f:R→R~1,f∈C~1,约束集 R(?)R~n,一般采用形如 x_(k+1)=x_k+λ_(kpk),k=0,1,…,的迭代算法来求解,这里 p_k 表示搜索方向,λ_k 为搜索步长.p_k 一般选为下降方向,即▽f(x_k)~Ypk<0,p_k 选定后,λ_k 的选取至关重要,如果λ_k 选得不合理,有时连收敛性都难以保证;反之,即使在较弱的条件下也会获得比较满意的结果.λ_k的选取过程实质上是一个搜索过程,我们先将 n 元函数,看成是沿方向 p_k 的一无函数 h_k(λ)f(x_k+λ_(pk)),再对 h_k(λ)实施线搜索.大多数线搜索要求其有下降性质:     

一类非单调算法的收敛性质

1.搜索步长和搜索方向对于无约束最优化问题(?)f(x),其中f:R~n→R~1,f∈C~1,一般采用形如x_(k 1)=x_k λ_kd_k(k=1,2,…)的迭代算法来求解,这里λ_k为搜索步长,d_k为搜索方向.     

基点为超球多项式零点的Hermite-Fejr算子

为f(x)关于基点{x_k}_k~n=1的Hermite-Fejer插值多项式,简记为H-F算子.它具有如下性质: H_(2n-1)(f,x_k)=f(x_k),H′_(2n-1)(f,x_k)=0. 考虑[-1,1]下以权(1-x)~α(1 x)~β的正交多项式P~(α,β)(x)零点为基点的H-F     

Huang族矩阵产生的所有变尺度法(重开始)具有n步超线性敛速

我们考察无约束问题min f(x),其中函数f(x)是n维空间E~n上连续可微函数.由Huang族矩阵产生的变尺度法(n步重开始)是部下的选代过程(见参考文献[1])其中u_k=t_1,_kr_k+t_2,_kH_k~Te_k,v_k=t_3,_kr_k+t_4,_kH_k~Te_k,r_k=x_k+1-x_k,e_k=f＇(x_k+1)-f＇(x_k).选择不同的参数ρ,ti,_k(i=1,2,3,4)就得各种变尺度算法. 在文献[1]中,曾对ρ=0,1的几个特殊的算法,分别证明了上述算法(A)具有     

关于Grnwald插值算子及其应用

本文研究了基于Jacobi多项式J_n~((α,β))(x)(0<α,β<1)的零点{x_k}_1~n的Grnwald插值多项式G_n(f;x)=sum from k=1 to n (f(x_k)l_k~2(x)),证明了G_n(f;x)在(-1,1)内的任一闭子区间上一致收敛于连续函数f(x);从而拓广了Grnwald所得结果。     

Wolfe步长规则下约束优化问题的共轭梯度投影算法

本文研究了约束优化问题min x∈Ωf(x).利用共轭梯度算法与GLP梯度投影思想相结合的方法,构造了一个新的共轭梯度投影算法,并在Wolfe线搜索下获得了该算法的全局收敛性结果.     

一个修正HS共轭梯度法及其收敛性

It is well-known that the direction generated by Hestenes-Stiefel (HS) conjugate gradient method may not be a descent direction for the objective function. In this paper, we take a little modification to the HS method, then the generated direction always satisfies the sufficient descent condition. An advantage of the modified Hestenes-Stiefel (MHS) method is that the scalar βkH Sffikeeps nonnegative under the weak Wolfe-Powell line search. The global convergence result of the MHS method is established under some mild conditions. Preliminary numerical results show that the MHS method is a little more efficient than PRP and HS methods.     

改进HS共轭梯度算法及其全局收敛性

１．引 言 １９５２年 Ｍ．Ｈｅｓｔｅｎｅｓ和Ｅ．Ｓｔｉｅｆｅｌ提出了求解正定线性方程组的共轭梯度法［１］．１９６４年Ｒ．Ｆｌｅｔｃｈｅｒ和Ｃ．Ｒｅｅｖｅｓ将该方法推广到求解下列无约束优化问题： ｍｉｎｆ（ｘ）,ｘ∈Ｒｎ,（１）其中ｆ：Ｒｎ→Ｒ１为连续可微函数,记ｇｋ＝ ｆ（ｘｋ）,ｘｋ∈ Ｒｎ． 若点列｛ｘｋ｝由如下算法产生：其中 βｋ＝［ｇＴｋ（ｇｋ－ｇｋ－１）］／［ｄＴｋ－１（ｇｋ－ｇｋ－１）］．（Ｈｅｓｔｅｎｅｓ－Ｓｔｉｅｆｅｌ）　　（４）则称该算法为 Ｈｅｓｔｅｎｅｓ—Ｓｔｉｅｆｅｌ共轭梯度算…     

谱HS投影算法求解非线性单调方程组

借助谱梯度法和HS共轭梯度法的结构, 建立一种求解非线性单调方程组问题的谱HS投影算法. 该算法继承了谱梯度法和共轭梯度法储存量小和计算简单的特征, 且不需要任何导数信息, 因此它适应于求解大规模非光滑的非线性单调方程组问题. 在适当的条件下, 证明了该算法的收敛性, 并通过数值实验表明了该算法的有效性.     

结合Armijo步长搜索的一类新的记忆梯度算法及其收敛特征

对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.在去掉迭代点列有界和Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Armijo线搜索下的FR、PR、HS共轭梯度法和超记忆梯度法更稳定、更有效.     

Hub-and-Spoke型运输网络改善方法及其应用

Hub-and-Spoke(本文简称为HS)网络形式被广泛采用于多个领域,其在实践中显现的缺陷也为学术界所重视。本文采用运输车辆空驶吨公里作为评判标准,以"中途点停靠"(pickup stopover)的形式改善HS型运输网络。通过解析法获得HS运输网络结合中途点停靠运输模式的适用条件,并以我国公路快速货运业干线运输组织为对象加以实证分析。相比于运筹学领域优化计算方法而言,这种针对HS运输网络改善方法的可行性论证过程简单而实用。     

The convergence rate of a three-term HS method with restart strategy for unconstrained optimization problems

Although the Hesteness and Stiefel (HS) method is a well-known method, if an inexact line search is used, researches about its convergence rate are very rare. Recently, Zhang, Zhou and Li [Some descent three-term conjugate gradient methods and their global convergence, Optim. Method Softw. 22 (2007), pp. 697–711] proposed a three-term Hestenes–Stiefel method for unconstrained optimization problems. In this article, we investigate the convergence rate of this method. We show that the three-term HS method with the Wolfe line search will be n-step superlinearly and even quadratically convergent if some restart technique is used under reasonable conditions. Some numerical results are also reported to verify the theoretical results. Moreover, it is more efficient than the previous ones.     

A modified Hestenes–Stiefel projection method for constrained nonlinear equations and its linear convergence rate

The Hestenes–Stiefel (HS) method is an efficient method for solving large-scale unconstrained optimization problems. In this paper, we extend the HS method to solve constrained nonlinear equations, and propose a modified HS projection method, which combines the modified HS method proposed by Zhang et al. with the projection method developed by Solodov and Svaiter. Under some mild assumptions, we show that the new method is globally convergent with an Armijo line search. Moreover, the R-linear convergence rate of the new method is established. Some preliminary numerical results show that the new method is efficient even for large-scale constrained nonlinear equations.     

三项混合共轭梯度算法及其收敛性

本文对求解无约束优化问题提出一类三项混合共轭梯度算法,新算法将Hestenes- stiefel算法与Dai-Yuan方法相结合,并在不需给定下降条件的情况下,证明了算法在Wolfe线搜索原则下的收敛性,数值试验亦显示出这种混合共轭梯度算法较之HS和PRP的优势．     

凸约束伪单调方程组的无导数投影算法

基于HS共轭梯度法的结构,本文在弱假设条件下建立了一种求解凸约束伪单调方程组问题的迭代投影算法.该算法不需要利用方程组的任何梯度或Jacobian矩阵信息,因此它适合求解大规模问题.算法在每一次迭代中都能产生充分下降方向,且不依赖于任何线搜索条件.特别是,我们在不需要假设方程组满足Lipschitz条件下建立了算法的全局收敛性和R-线收敛速度.数值结果表明,该算法对于给定的大规模方程组问题是稳定和有效的.     

一个充分下降的改进HS共轭梯度法

共轭梯度法是求解大规模无约束优化问题最有效的方法之一.对HS共轭梯度法参数公式进行改进,得到了一个新公式,并以新公式建立一个算法框架.在不依赖于任何线搜索条件下,证明了由算法框架产生的迭代方向均满足充分下降条件,且在标准Wolfe线搜索条件下证明了算法的全局收敛性.最后,对新算法进行数值测试,结果表明所改进的方法是有效的.