修正HS共轭梯度法在大规模信号重构问题中的应用

本义研究了压缩感知在大规模信号恢复问题中应用的问题.利用修正HS共轭梯度法及光滑化方法,获得了具有较好重构效果的算法.数值实验表明用修正HS共轭梯度法解决大规模信号恢复问题是可行的.     

谱HS投影算法求解非线性单调方程组

借助谱梯度法和HS共轭梯度法的结构, 建立一种求解非线性单调方程组问题的谱HS投影算法. 该算法继承了谱梯度法和共轭梯度法储存量小和计算简单的特征, 且不需要任何导数信息, 因此它适应于求解大规模非光滑的非线性单调方程组问题. 在适当的条件下, 证明了该算法的收敛性, 并通过数值实验表明了该算法的有效性.     

一类具有非单调线搜索的混合共轭梯度算法

提出一类求解无约束最优化问题的混合共轭梯度算法,新算法有机地结合了DY算法和HS算法的优点,并采用非单调线搜索技术在较弱条件下证明了算法的全局收敛性.数值实验表明新算法具有良好的计算效能.     

Wolfe线搜索下一类记忆梯度算法的全局收敛性（英文）

在本文中,首先我们提出一个记忆梯度算法,并讨论其在Wolfe线搜索下的下降性和全局收敛性.进一步地,我们将此算法推广到更一般的情形.最后,我们对这类记忆梯度方法的数值表现进行测试,并与PRP, FR, HS, LS, DY和CD共轭梯度法进行比较,数值结果表明这类算法是有效的.     

一个充分下降的改进HS共轭梯度法

共轭梯度法是求解大规模无约束优化问题最有效的方法之一.对HS共轭梯度法参数公式进行改进,得到了一个新公式,并以新公式建立一个算法框架.在不依赖于任何线搜索条件下,证明了由算法框架产生的迭代方向均满足充分下降条件,且在标准Wolfe线搜索条件下证明了算法的全局收敛性.最后,对新算法进行数值测试,结果表明所改进的方法是有效的.     

结合Armijo步长搜索的一类新的记忆梯度算法及其收敛特征

对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.在去掉迭代点列有界和Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Armijo线搜索下的FR、PR、HS共轭梯度法和超记忆梯度法更稳定、更有效.     

修正Hestenes-Stiefel共轭梯度算法

本文探讨了Hestenes－Stiefel（HS）共轭梯度算法的收敛性条件．在无充分下降性条件下，证明了一种修正的HS共轭梯度算法的整体收敛性．     

三项混合共轭梯度算法及其收敛性

本文对求解无约束优化问题提出一类三项混合共轭梯度算法,新算法将Hestenes- stiefel算法与Dai-Yuan方法相结合,并在不需给定下降条件的情况下,证明了算法在Wolfe线搜索原则下的收敛性,数值试验亦显示出这种混合共轭梯度算法较之HS和PRP的优势．     

GIHS-TSFNN并行学习算法及其应用研究

针对传统T-S模糊神经网络的随机初始网络参数导致网络学习速度慢、易陷入局部解以及运算精度低等缺陷,提出了一种应用佳点集的改进和声搜索算法(GIHS)优化T-S模糊神经网络的并行学习算法.首先应用佳点集择优构造更加高质量的初始和声库,然后搜索过程中进行参数动态调整,并且每次迭代产生多个新解,充分利用和声记忆库的信息,以提高算法的全局搜索能力和收敛速度.其次,将GIHS算法与T-S神经网络相结合构建并行学习算法,实现两种算法的并行交互集成,得到了最优参数配置以提高T-S模糊神经网络的泛化能力.最后将该算法应用到农业干旱等级预测中以解决旱情评估问题.仿真实验表明,GIHS算法性能优于基本HS和IHS算法,且与T-S模糊神经网络、HS算法优化的T-S模糊神经网络和IHS算法优化的T-S模糊神经网络相比,具有更高的预测准确度.     

凸约束伪单调方程组的无导数投影算法

基于HS共轭梯度法的结构,本文在弱假设条件下建立了一种求解凸约束伪单调方程组问题的迭代投影算法.该算法不需要利用方程组的任何梯度或Jacobian矩阵信息,因此它适合求解大规模问题.算法在每一次迭代中都能产生充分下降方向,且不依赖于任何线搜索条件.特别是,我们在不需要假设方程组满足Lipschitz条件下建立了算法的全局收敛性和R-线收敛速度.数值结果表明,该算法对于给定的大规模方程组问题是稳定和有效的.     

A modified conjugate gradient method based on the self-scaling memoryless BFGS update

Numerical Algorithms - There are many conjugate gradient methods to solving unconstrained optimization problems. Compared with the conjugate gradient method, the accelerated conjugate gradient...     

Descent Perry conjugate gradient methods for systems of monotone nonlinear equations

Numerical Algorithms - In this paper, we present a family of Perry conjugate gradient methods for solving large-scale systems of monotone nonlinear equations. The methods are developed by combining...     

Two families of scaled three-term conjugate gradient methods with sufficient descent property for nonconvex optimization

Numerical Algorithms - In this paper, we present two families of modified three-term conjugate gradient methods for solving unconstrained large-scale smooth optimization problems. We show that our...     

Goldstein线搜索下混合共轭梯度法的全局收敛性

本文结合FR算法和DY算法,给出了一类新的杂交共轭梯度算法,并结合Goldstein线搜索,在较弱的条件下证明了算法的收敛性．数值实验表明了新算法的有效性．     

Error bounds for linear complementarity problems of S-QN matrices

Numerical Algorithms - It is well-known that conjugate gradient algorithms are widely applied in many practical fields, for instance, engineering problems and finance models, as they are...     

Accurate error estimation in CG

Numerical Algorithms - In practical computations, the (preconditioned) conjugate gradient (P)CG method is the iterative method of choice for solving systems of linear algebraic equations Ax = b...     

A new family of conjugate gradient methods

In this paper we develop a new class of conjugate gradient methods for unconstrained optimization problems. A new nonmonotone line search technique is proposed to guarantee the global convergence of these conjugate gradient methods under some mild conditions. In particular, Polak–Ribiére–Polyak and Liu–Storey conjugate gradient methods are special cases of the new class of conjugate gradient methods. By estimating the local Lipschitz constant of the derivative of objective functions, we can find an adequate step size and substantially decrease the function evaluations at each iteration. Numerical results show that these new conjugate gradient methods are effective in minimizing large-scale non-convex non-quadratic functions.     

A three-parameter family of nonlinear conjugate gradient methods

In this paper, we propose a three-parameter family of conjugate gradient methods for unconstrained optimization. The three-parameter family of methods not only includes the already existing six practical nonlinear conjugate gradient methods, but subsumes some other families of nonlinear conjugate gradient methods as its subfamilies. With Powell's restart criterion, the three-parameter family of methods with the strong Wolfe line search is shown to ensure the descent property of each search direction. Some general convergence results are also established for the three-parameter family of methods. This paper can also be regarded as a brief review on nonlinear conjugate gradient methods.

     

在Armijo型线搜索下共轭梯度法簇的全局收敛性

本文我们讨论了一簇共轭梯度法，它可被看作是FR法和DY法的凸组合．我们提出了两种Armijo型线搜索，并在这两种线搜索下，讨论了共轭梯度法簇的全局收敛性．