线性不等式约束的广义非线性互补问题的仿射内点信赖域方法

提供了一种新的非单调内点回代线搜索技术的仿射内点信赖域方法解线性不等式约束的广义非线性互补问题(GCP).基于广义互补问题构成的半光滑方程组的广义Jacobian矩阵,算法使用l_2范数作为半光滑方程组的势函数,形成的信赖域子问题为一个带椭球约束的线性化的二次模型.利用广义牛顿方程计算试探迭代步,通过内点映射回代技术确保迭代点是严格内点,保证了算法的整体收敛性.在合理的条件下,证明了信赖域算法在接近最优点时可转化为广义拟牛顿步,进而具有局部超线性收敛速率.非单调技术将克服高度非线性情况加速收敛进展.最后,数值结果表明了算法的有效性.     

线性不等式约束的广义非线性互补问题的仿射内点信赖域方法

提供了一种新的非单调内点回代线搜索技术的仿射内点信赖域方法解线性不等式约束的广义非线性互补问题(GCP).基于广义互补问题构成的半光滑方程组的广义Jacobian矩阵,算法使用l2范数作为半光滑方程组的势函数,形成的信赖域子问题为一个带椭球约束的线性化的二次模型.利用广义牛顿方程计算试探迭代步,通过内点映射回代技术确保迭代点是严格内点,保证了算法的整体收敛性.在合理的条件下,证明了信赖域算法在接近最优点时可转化为广义拟牛顿步,进而具有局部超线性收敛速率.非单调技术将克服高度非线性情况加速收敛进展.最后,数值结果表明了算法的有效性.     

半定优化与半光滑牛顿算法

本文讨论半光滑牛顿算法的基本概念与其在求解半定优化问题中的应用．特别地，该算法可用于求解线性或非线性半定互补问题．本文同时综述最近在矩阵方程，增广拉格朗日公式和半定优化稳定性方面的、源于半光滑牛顿算法的理论成果．     

积分算子方程的连续型配置方法

1．引言由于对积分算子方程来说，配置法比Galerkin法具计算量小的优点（少算一重积分），故配置法更受人们重视．但已有的文献几乎都是将配置空间取作非连续的分片多项式样条空间，以得到某种超收敛结果（如［1，2］）．这种方法存在下列不足：（a）光滑核Volterra积分方程与光滑核Fredholm积分方程具完全不同的收敛性质［1］，且需用不同的方法获得其加速收敛结果（比较［31与［4］），尽管Volterra积分方程在理论上被看作是Fredholm积分方程的特殊情形；（b）光滑核Volterra积分方程的配置解不具任何超收敛性，其迭代配置解也只在结点…     

仿射变换内点信赖域方法求解变分不等式问题

本文研究了求解非线性约束变分不等式问题(VIP)的一个新的算法.利用KKT条件的非光滑方程形式,得到了与VIP等价的简单约束优化问题.提出了求解VIP的一类结合回代线搜索技巧的仿射变换内点信赖域算法.在较弱的条件下证明了算法具有整体收敛性,进一步在某些正则条件下,证明了算法具有超线性收敛速度.     

熵正则化方法与指数(乘子)罚函数法之间的关系

由于极大极小问题在许多科学与工程中有着重要应用,特别是形如max的函数频繁地出现在各类数值分析和优化问题中,因此对于求解该类问题的算法研究长久不衰,这些算法一般分为两大类：一类是直接法,其算法设计仅以有效地求解原问题（P）为目的;另一类是间接法,其算法以找一个能够替代不可微max函数φ（x）的光滑函数为目的,故这类算法被称为光滑化方法,文[1,2]中的熵正则化方法就属于光滑化方法范畴。     

一种求解不等式约束优化问题的光滑化算法

利用光滑函数建立了不等式约束优化问题KT条件的一个扰动方程组,提出了一个新的内点型算法.该算法在有限步终止时当前迭代点即为优化问题的一个精确稳定点.在一定条件下算法具有全局收敛性,数值试验表明该算法是有效的.     

求解非线性互补问题的内点正算法

针对非线性互补问题,提出了与其等价的非光滑方程的内点正算法,并在一定条件下证明了该算法的收敛性定理。数值结果表明,该算法是十分有效的。     

无约束非光滑优化问题的信赖域算法及收敛性

1．引言考虑下列无约束非光滑优化问题：其中f为R”上的局部LIPSChitZ函数．本文将11·112简记为11·l．信赖域算法是通过求解一系列子问题3＊B（二，凸）：来求解问题（1）的，其中拉x，·）为j在x点的一阶近似，B为nxn阶对称阵．下面给出信赖域的基本算法TRA：步1·给定...     

一类线性约束凸规划的内椭球算法

1引言自从1984年Karmarkar的著名算法——梯度投影算法发表以来,由其理论上的多项式收敛性及实际计算的有效性,使得内点算法成为近十几年来优化界研究的热点（［1］）．通过中外学者的深入研究,线性规划与凸二次规划的内点算法研究已取得了不少成果（［2」、［3〕）．这些算法大致可分为四种类型：梯度投影算法、仿射尺度算法、路径跟踪法和势函数减少法吸3］、〔9〕）．近来,人们开始着手将这些方法推广到非线性规划中的凸规划问题、线性互补问题和非线性互补问题（【6」、［7」、〔sj、［10」、Ill〕）．例如：文［8」对一类凸可分规…     

一类超线性收敛的广义拟Newton算法

１引言考虑无约束最优化问题其中目标函数ｆ（ｘ）二阶连续可微,记ｆｋ＝ｆ（ｘ）,当充分小时,有如下近似关系：它们对二次函数皆严格成立．考虑选代其中Ｂ（Ｇ的近似）已知,为某种线搜索确定的步长．对Ｂ修正产生Ｂ,即Ｕ为待定ｎ阶矩阵．若要求Ｂ＋满足关系即Ｂ满足拟Ｎｅｗｔｏｎ方程,由它可导出许多著名的拟Ｎｅｗｔｏｎ算法［１－［４］）．若要求Ｂ满足关系则可导出伪Ｎｅｗｔｏｎ－δ族校正公式,它不再是Ｈｕａｎｇ族成员［６］．从信息资源的利用看,（１．６）仅利用了与信息,（１．７）仅利用了与信息．一般而言,较多的信…     

Convergence Rates of Digital Diffusion Network Algorithms for Global Optimization with Applications to Image Estimation

Motivated by the recent developments in digital diffusion networks, this work is devoted to the rates of convergence issue for a class of global optimization algorithms. By means of weak convergence methods, we show that a sequence of suitably scaled estimation errors converges weakly to a diffusion process (a solution of a stochastic differential equation). The scaling together with the stationary covariance of the limit diffusion process gives the desired rates of convergence. Application examples are also provided for some image estimation problems.     

A type of efficient feasible SQP algorithms for inequality constrained optimization

In this paper, motivated by Zhu et al. methods [Z.B. Zhu, K.C. Zhang, J.B. Jian, An improved SQP algorithm for inequality constrained optimization, Math. Meth. Oper. Res. 58 (2003) 271-282; Zhibin Zhu, Jinbao Jian, An efficient feasible SQP algorithm for inequality constrained optimization, Nonlinear Anal. Real World Appl. 10(2) (2009) 1220-1228], we propose a type of efficient feasible SQP algorithms to solve nonlinear inequality constrained optimization problems. By solving only one QP subproblem with a subset of the constraints estimated as active, a class of revised feasible descent directions are generated per single iteration. These methods are implementable and globally convergent. We also prove that the algorithms have superlinear convergence rate under some mild conditions.     

Nonlinear wavelet methods for high-dimensional backward heat equation

The backward heat equation is a typical ill-posed problem. In this paper, we shall apply a dual least squares method connecting Shannon wavelet to the following equation ut (x, y, t) = u xx (x, y, t) + uyy (x, y, t), x ∈ R, y ∈ R, 0 ≤ t 1, u(x, y, 1) = (x, y), x ∈ R, y ∈ R. Motivated by Regińska's work, we shall give two nonlinear approximate methods to regularize the approximate solutions for high-dimensional backward heat equation, and prove that our methods are convergent.     

A class of improved conjugate gradient methods for nonconvex unconstrained optimization

In this paper, based on a new class of conjugate gradient methods which are proposed by Rivaie, Dai and Omer et al. we propose a class of improved conjugate gradient methods for nonconvex unconstrained optimization. Different from the above methods, our methods possess the following properties: (i) the search direction always satisfies the sufficient descent condition independent of any line search; (ii) these approaches are globally convergent with the standard Wolfe line search or standard Armijo line search without any convexity assumption. Moreover, our numerical results also demonstrated the efficiencies of the proposed methods.     

基于信赖域技术的非单调超记忆梯度算法

基于信赖域技术和修正拟牛顿方程,结合Zhang H.C.非单调策略,设计了新的求解无约束最优化问题的非单调超记忆梯度算法,分析了算法的收敛性和收敛速度.数值实验表明算法是有效的,适于求解大规模问题.     

A Class of Nonmonotone Conjugate Gradient Methods for Unconstrained Optimization

In this paper, we introduce a class of nonmonotone conjugate gradient methods, which include the well-known Polak–Ribière method and Hestenes–Stiefel method as special cases. This class of nonmonotone conjugate gradient methods is proved to be globally convergent when it is applied to solve unconstrained optimization problems with convex objective functions. Numerical experiments show that the nonmonotone Polak–Ribière method and Hestenes–Stiefel method in this nonmonotone conjugate gradient class are competitive vis-à-vis their monotone counterparts.     

线性约束最优化问题的一族次可行方向法

本文给出线性约束最优化问题的一族算法．方法具有如下特点：１）初始迭代点可以任意选取；２）一旦有某一个迭代点进入可行域，方法将成为一族可行方向法；３）算法避开不易处理的罚函数和罚参数．文中采用一种最优性控制函数将初始化阶段和最优化阶段有机地结合起来，正是这种技巧保证了算法的全局收敛性     

Dogleg路径信赖域方法

本文提出一类新的解无约束最优化问题的信整域方法。这类方法是通过对一般对称矩阵的Bunch-Parlett分解来产生搜索路径。它们既可以解目标函数是二次可微的也可以解目标函数是非二次可微的最优化问题，并且在由算法得到点列的任意聚点上，二次连续可微的目标函数的Hesse阵都是正定或半正定的。我们证明在一些较弱的条件下，算法是整体收敛的；对一致凸函数，是二次收敛的。一些数值结果表明这种新的方法是非常有效的。     

Two Modified Polak–Ribière–Polyak-Type Nonlinear Conjugate Methods with Sufficient Descent Property

In this article, we propose a new conjugate gradient type formula for computing unconstrained optimization problems. Its form is similar to the original PRP formula and it inherits all nice properties of the PRP method. By utilizing the technique of the three-term PRP method in Zhang [20 L. Zhang , W.J. Zhou , and D.H. Li ( 2006 ). A descent modified Polak-Ribiére-Polyak conjugate gradient method and its global convergence . IMA J. Numer. Anal. 26 : 629 – 640 .[Crossref], [Web of Science ®] , [Google Scholar]] and modified PRP method in Yu [17 G.H. Yu ( 2007 ). Nonlinear self-scaling conjugate gradient methods for large-scale optimization problems. Thesis of Doctors Degree, Sun Yat-Sen University . [Google Scholar]], we propose two modified methods of the new formula. The two modified methods all can generate sufficient descent directions which is independent of the line search used. Under some mild conditions, the global convergence and the linearly convergent rate of the two modified methods are established. The numerical results show that the proposed methods are efficient.