由FR共轭梯度法控制的两类优化算法的全局收敛性

１引言 考虑无约束优化问题其中ｆ：Ｒｎ→Ｒ是一阶可微函数．求解（１）的非线性共轭梯度法具有如下形式：其中ｇｋ＝　ｆ（ｘｋ）,ａｋ是通过某种线搜索获得的步长,纯量βｋ的选取使得方法（２）—（３）在ｆ（ｘ）是严格凸二次函数且采用精确线搜索时化为线性共轭梯度法［１］．比较常见的βｋ的取法有Ｆｌｅｔｃｈｅｒ－Ｒｅｅｖｅｓ（ＦＲ）公式［２］和Ｐｏｌａｋ－Ｒｉｂｉｅｒｅ－Ｐｏｌｙａｋ（ＰＲＰ）公式［３－４］等．它们分别为其中　　　取欧几里得范数．对于一般非线性函数,ＦＲ方法具有较好的理论收敛性［５－６］,而…     

基于非线性尺度不变性的CCG法

１．引言 ＣＧ法对于变量个数很多的问题,是很有用的．１９７０年后它有了许多改进和发展,ＣＣＧ法以正定圆锥函数为基础［１］,它的一般方法是：设圆锥函数为 ２］其中： Ｖ＝ Ｖ（ｘ）＝１＋ ａＴｘ ≠ ０;, ｒ ∈Ｒ１为常量; ａ,ｇ ∈ Ｒｎ为常向量;ｘ ∈ Ｒｎ为变向量;Ａ∈Ｒｎ×ｎ为对称正定矩阵．算法［１］：预先给出初始近似点ｘ０∈ Ｒｎ及初始搜索方向 ｐ０;满足：其中“Ｉ”是单位矩阵, Ｖ０＝ Ｖ（ｘ０）＝ １＋ ａｔｘ０及记号“”是函数的梯度．迭代格式为： ｘｋ＋１＝ ｘｋ ＋λｋｐｋ,ｋ＝ ０,１,２,…（３…     

求解不等式约束最优化问题的MBF—ODE方法

１引言考虑用基于修正内罚函数的常微分方程（ＭＢＦ－ＯＤＥ）方法求解下列不等式约束极小化问题：其中ｆi∈ｃ２：Ｒ,ｉ=0,１,…,ｍ．求解无约束极小化问题的ＯＤＥ的一般形式是其中,φ（ｘ）∈Ｃ１：ΩＲｎ→Ｒ;ｓ（ｘ）∈Ｃ１：ΩＲｎ→Ｒｎ且满足φ（ｘ）＞０,ｓＴ（ｘ）ｆ（ｘ）＜０,ｆ（ｘ）∈Ｃ１：Ｒｎ→Ｒ为目标函数．为便于用ＯＤＥ方法求解（１．ｌ）,可藉助于罚函数将（１．ｌ）变换为无约束极小化问题（见［７］．但由于经典罚函数（ＣＢＦ）在计算上有较大的困难,我们采用修正内罚函数（ＭＢＦ）．其基本思想是用…     

Boundedness of the Maximal Operator on Lipα（R^n）（0〈α〈1）

§１．　ＩｎｔｒｏｄｕｃｔｉｏｎＡｌｏｃａｌｌｙｉｎｔｅｇｒａｂｌｅｆｕｎｃｔｉｏｎｆ（ｘ）ｂｅｌｏｎｇｓｔｏＬｉｐα（Ｒｎ）,ｉｆｔｈｅｒｅｉｓａｃｏｎｓｔａｎｔＣ,ｓｕｃｈｔｈａｔｆｏｒｅｖｅｒｙｘ,ｙ∈Ｒｎ｜ｆ（ｘ）－ｆ（ｙ）｜≤Ｃ｜ｘ－ｙ｜α　　ＴｈｅｓｍａｌｌｅｓｔｃｏｎｓｔａｎｔＣｓａｔｉｓｆｉｅｓａｂｏｖｅｉｓｃａｌｌｅｄＬｉｐｓｃｈｉｔｚｎｏｒｍｏｆｆａｎｄｉｓｄｅｎｏｔｅｄｂｙｙｆｙ∧α．Ｂｙ［１］,ｆ∈Ｌｉｐα（Ｒｎ）ｅｑｕｉｖａｌｅｎｔｔｏｆ∈εα,２,ｗｈｅｒｅεα,２＝…     

巧用函数单调性解赛题

函数ｆ（ｘ）在区间［ａ,ｂ］上单调增加（或单调减少）,又ｃ、ｄ∈［ａ,ｂ］上,若ｆ（ｃ）＝ｆ（ａ）,则有ｃ＝ｄ．１　求代数式的值例１　已知ｘ、ｙ∈［－π４,π４］,ａ∈Ｒ,且　ｘ３＋ｓｉｎｘ－２ａ＝０４ｙ３＋ｓｉｎｙｃｏｓｙ＋ａ＝０则ｃｏｓ（ｘ＋２ｙ）＝　　．（１９９４年全国高中数学竞赛题）解　由已知条件,可得　　ｘ３＋ｓｉｎｘ＝２ａ（－２ｙ）３＋ｓｉｎ（－２ｙ）＝２ａ故可设函数ｆ（ｔ）＝ｔ３＋ｓｉｎｔ,则有ｆ（ｘ）＝ｆ（－２ｙ）＝２ａ．由于函数ｆ（ｔ）＝ｔ３＋ｓｉｎｔ,在［－π２,π２］上是单…     

高维空间中半线性波动方程的Sobolev指数

ＧｕｓｔａｖｏＰｏｎｃｅ与ＴｈｏｍａｓＣ．Ｓｉｄｅｒｉｓ［４］猜测对一些具有特殊非线性项的半线性波动方程，如ｕｔ－△ｕ＝ｕｋ（Ｄｕ）α（ｘ∈Ｒｎ，ｋ∈Ｚ＋，ｌ＝｜α｜２），其中Ｓｏｂｏｌｅｖ指数会在ｎ２与（ｎ２＋１）之间．文［４］中，在ｘ∈Ｒ３时，回答了这一问题．本文在ｎ３维空间中，得到了半线性波动方程ｕｔ－△ｕ＝ｕｋ（Ｄｕ）α（ｘ∈Ｒｎ，ｋ∈Ｚ＋，ｌ＝｜α｜２）的Ｓｏｂｏｌｅｖ指数为ｍａｘ｛ｎ２＋１２，（ｎ２－１）·ｌ－３ｌ－１＋２｝，此数确实在区间［ｎ２＋１２，ｎ２＋１］中．     

抽象算子在偏微分方程中的应用(Ⅱ)

Ｔｈｅｏｒｅｍ１　Ｌｅｔｍ∈Ｎａｎｄｍ１,Ｐ（ｘ）ｂｅａｎａｒｂｉｔｒａｒｙｏｒｄｅｒｐａｒｔｉａｌｄｉｆｆｅｒｅｎｔｉａｌｏｐｅｒａ－ｔｏｒ．Ｔｈｅｎｆ（ｘ,ｔ）,φｊ（ｘ）∈Ｊ．（ＷｈｅｒｅＪｓｔａｎｄｆｏｒｔｈｅｓｅｔｏｆａｎａｌｙｔｉｃｆｕｎｃｔｉｏｎｉｎｔｈｉｓｐａｐｅｒ）ｔ＋Ｐ（ｘ）ｍｕ＝ｆ（ｘ,ｔ）ｊｕｔｊｔ＝０＝φｊ（ｘ）　　ｘ∈Ｒｎ,ｔ∈Ｒ１ｊ＝０,１,２,…,ｍ－１．ｕ（ｘ,ｔ）＝∫ｔ０（ｔ－τ）ｍ－１（ｍ－１）！ｅ－（ｔ－τ）Ｐ（ｘ）ｆ（ｘ,τ）ｄτ＋ｅ－…     

一类序保持系统解的收敛性

本文研究微分方程组ｘｉ＝Ｆｉ（ｘ１，…ｘｎ）（ｘ∈Ｒｎ＋）解的收敛性．如果该系统满足下列条件：（ｉ）Ｆ（Ｏ）Ｏ；（ｉ）Ｆｉ（ｘ１，…ｘｎ）关于ｘｋ是单调增的（ｋ≠ｉ）；（ｉｉ）Ｆ（ｘ＊ｇ（ｓ））ｈ（ｓ）＊Ｆ（ｘ）（０ｓ１），这里ｘ＊ｙ＝（ｘ１ｙ１，…ｘｎｙｎ），ｇ，ｈ：［０，１］→［０，１］ｎ满足ｇｉ（０）＝ｈｉ（０）＝Ｏ，ｇｉ（１）＝ｈｉ（１）＝１，Ｏ＜ｇｉ（ｓ），ｈｉ（ｓ）＜１，ｓ∈（０，１）；（ｉｖ）系统的每个解在Ｒｎ＋中有界，则每个解收敛于奇点．本文还把这一结果推广到离散的序保持动力系统．     

1999年全国高中联赛第三题的简解

题目　已知当ｘ∈［０,１］时,不等式ｘ２ｃｏｓθ－ｘ（１－ｘ）＋（１－ｘ）２ｓｉｎθ＞０恒成立,试求θ的取值范围．这是１９９９年全国高中数学联合竞赛试题第三题,下面给出一种有别于“标准答案”的简单解法．解　若对一切ｘ∈［０,１］,恒有ｆ（ｘ）＝ｘ２ｃｏｓθ－ｘ（１－ｘ）＋（１－ｘ）２ｓｉｎθ＞０,则　ｓｉｎθ＝ｆ（０）＞０,ｃｏｓθ＝ｆ（１）＞０,∴　２ｋπ＜θ＜２ｋπ＋π２,ｋ∈Ｚ．（１）又　ｆ（ｘ）＝（１＋ｓｉｎθ＋ｃｏｓθ）ｘ２－（１＋２ｓｉｎθ）ｘ＋ｓｉｎθ＝（１＋ｓｉｎθ＋ｃｏｓθ）［…     

一类离散型奇异积分算子

设｛αｋ｝∞ｋ＝－∞为正数缺项序列，满足ｉｎｆｋαｋ＋１／ｄｋ＝α＞１，Ω（ｙ′）为Ｂｅｓｏｖ空间Ｂ０，１１（Ｓｎ－１）上的函数，其中Ｓｎ－１为Ｒｎ（ｎ２）上的单位球面．本文证明：若∫Ｓｎ－１Ω（ｙ′）ｄσ（ｙ′）＝０，则离散型奇异积分ＴΩ（ｆ）（ｘ）＝∑∞ｋ＝－∞∫Ｓｎ－１ｆ（ｘ－αｋｙ′）Ω（ｙ′）ｄσ（ｙ′）和相关的极大算子ＴΩ（ｆ）（ｘ）＝ｓｕｐＮ∑∞ｋ＝Ｎ∫Ｓｎ－１ｆ（ｘ－αｋｙ′）Ω（ｙ′）ｄσ（ｙ′）均在Ｌ２（Ｒｎ）上有界．上述结果推广了Ｄｕｏａｎｄｉｋｏｅｔｘｅａ和ＲｕｂｉｏｄｅＦｒａｎｃｉａ［１］在Ｌ２情形下的一个结果     

谱HS投影算法求解非线性单调方程组

借助谱梯度法和HS共轭梯度法的结构, 建立一种求解非线性单调方程组问题的谱HS投影算法. 该算法继承了谱梯度法和共轭梯度法储存量小和计算简单的特征, 且不需要任何导数信息, 因此它适应于求解大规模非光滑的非线性单调方程组问题. 在适当的条件下, 证明了该算法的收敛性, 并通过数值实验表明了该算法的有效性.     

三项混合共轭梯度算法及其收敛性

本文对求解无约束优化问题提出一类三项混合共轭梯度算法,新算法将Hestenes- stiefel算法与Dai-Yuan方法相结合,并在不需给定下降条件的情况下,证明了算法在Wolfe线搜索原则下的收敛性,数值试验亦显示出这种混合共轭梯度算法较之HS和PRP的优势．     

一种混合的HS-DY共轭梯度法

本文在HS方法和DY方法的基础上,综合两者的优势,提出了一种求解无约束优化问题的新的混合共轭梯度法.在Wolfe线搜索下,不需给定下降条件,证明了算法的全局收敛性.数值试验表明,新算法较之HS方法和PR方法更加有效.     

结合Armijo步长搜索的一类新的记忆梯度算法及其收敛特征

对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.在去掉迭代点列有界和Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Armijo线搜索下的FR、PR、HS共轭梯度法和超记忆梯度法更稳定、更有效.     

修正HS共轭梯度法在大规模信号重构问题中的应用

本义研究了压缩感知在大规模信号恢复问题中应用的问题.利用修正HS共轭梯度法及光滑化方法,获得了具有较好重构效果的算法.数值实验表明用修正HS共轭梯度法解决大规模信号恢复问题是可行的.     

Two modified HS type conjugate gradient methods for unconstrained optimization problems

Based on the modified secant equation, we propose two new HS type conjugate gradient formulas. Their forms are similar to the original HS conjugate gradient formula and inherit all nice properties of the HS method. By utilizing the technique of the three-term HS method in Zhang et al. (2007) [15], without the requirement of truncation and convexity of the objective function, we show that one with Wolfe line search and the other with Armijo line search are globally convergent. Moreover, under some mild conditions, the linear convergence rate of the two modified methods is established. The numerical results show that the proposed methods are efficient.     

凸约束伪单调方程组的无导数投影算法

基于HS共轭梯度法的结构,本文在弱假设条件下建立了一种求解凸约束伪单调方程组问题的迭代投影算法.该算法不需要利用方程组的任何梯度或Jacobian矩阵信息,因此它适合求解大规模问题.算法在每一次迭代中都能产生充分下降方向,且不依赖于任何线搜索条件.特别是,我们在不需要假设方程组满足Lipschitz条件下建立了算法的全局收敛性和R-线收敛速度.数值结果表明,该算法对于给定的大规模方程组问题是稳定和有效的.     

求解约束优化问题的记忆梯度Goldstein-Lavintin-Polyak投影算法

给求解无约束规划问题的记忆梯度算法中的参数一个特殊取法,得到目标函数的记忆梯度G o ldste in-L av in tin-Po lyak投影下降方向,从而对凸约束的非线性规划问题构造了一个记忆梯度G o ldste in-L av in tin-Po lyak投影算法,并在一维精确步长搜索和去掉迭代点列有界的条件下,分析了算法的全局收敛性,得到了一些较为深刻的收敛性结果.同时给出了结合FR,PR,HS共轭梯度算法的记忆梯度G o ldste in-L av in tin-Po lyak投影算法,从而将经典共轭梯度算法推广用于求解凸约束的非线性规划问题.数值例子表明新算法比梯度投影算法有效.     

A Linear Hybridization of Dai-Yuan and Hestenes-Stiefel Conjugate Gradient Method for Unconstrained Optimization

Conjugate gradient methods are interesting iterative methods that solve large scale unconstrained optimization problems. A lot of recent research has thus focussed on developing a number of conjugate gradient methods that are more effective. In this paper, we propose another hybrid conjugate gradient method as a linear combination of Dai-Yuan (DY) method and the Hestenes-Stiefel (HS) method. The sufficient descent condition and the global convergence of this method are established using the generalized Wolfe line search conditions. Compared to the other conjugate gradient methods, the proposed method gives good numerical results and is effective.     

A descent hybrid conjugate gradient method based on the memoryless BFGS update

In this work, we present a new hybrid conjugate gradient method based on the approach of the convex hybridization of the conjugate gradient update parameters of DY and HS+, adapting a quasi-Newton philosophy. The computation of the hybrization parameter is obtained by minimizing the distance between the hybrid conjugate gradient direction and the self-scaling memoryless BFGS direction. Furthermore, a significant property of our proposed method is that it ensures sufficient descent independent of the accuracy of the line search. The global convergence of the proposed method is established provided that the line search satisfies the Wolfe conditions. Our numerical experiments on a set of unconstrained optimization test problems from the CUTEr collection indicate that our proposed method is preferable and in general superior to classic conjugate gradient methods in terms of efficiency and robustness.