一种改进的随机次梯度方法的快速收敛性

1引言考虑如下优化问题: min f(x)=sum from i=1 to m f_i(x),s.t. x∈X (1)其中,f_i∶R~n→R是凸函数且f_i不可微,X是R~n上的非空闭凸子集．解(1)的主要方法     

凸可行问题的平行近似次梯度投影算法

对凸可行问题提出了包括上松弛的平行近似次梯度投影算法和加速平行近似次梯度投影算法．与序列近似次梯度投影算法相比, 平行近似次梯度投影算法(每次迭代同时运用多个凸集的近似次梯度超平面上的投影)能够保证迭代序列收敛到离各个凸集最近的点． 上松弛的迭代技术和含有外推因子的加速技术的应用, 减少了数据存储量, 提高了收 敛速度. 最后在较弱的条件下证明了算法的收敛性, 数值实验结果验证了算法的有效性和优越性.     

改进的ε—次梯度捆集法及其收敛性

提出了一个基于ε－次梯度捆集法的求解非凸非光滑问题的捆集算法,证明了其收敛性,并通过一些较困难的优化问题,验证了算法的计算效率和数值稳定性。     

凸可行问题的块迭代次梯度投影算法

本文,针对由非线性不等式系统构成的凸可行问题,提出了序列块迭代次梯度投影算法和平行块迭代次梯度投影算法.将非线性不等式系统分成若干个子系统,然后将当前迭代点在子系统各个子集上的次梯度投影的凸组合作为当前迭代点在这个子系统上的近似投影.在较弱条件下证明了两种算法的收敛性.     

特定约束凸规划的族次梯度投影算法Ⅱ

本文讨论［４］提出的族次梯度投影算法的收敛性．     

一种计算EM步长的方法

本文使用ＥＭ算法解决某些完全数据下的参数估计问题，使用Ｆｉｓｈｅｒ公式计算ＥＭ步长，避免了求解非线性方程和计算条件期望。对区间型数据，成败型数据和重复测量模型，使用上述方法得到ＥＭ步长的计算公式。     

一种新修正的求解变分不等式的双次梯度外梯度算法

当可行集为一光滑凸函数的下水平集时, 本文提出一种修正的双次梯度外梯度算法(MTSEGA)用于求解Hilbert空间中单调且Lipschitz连续的变分不等式. MTSEGA在每步迭代过程中仅需计算向半空间的两次投影及一次映射的值. 在与已知算法相同的假设条件下, 证明了新算法产生的序列能弱收敛到相关问题的一个解.     

两分块非凸优化Peaceman-Rachford分裂序列二次规划双步长算法

本文研究大规模两分块非凸约束优化的分解降维算法,提出Peaceman-Rachford (PR)分裂序列二次规划双步长求解方法.本文主要工作和贡献如下:(1)借助PR分裂算法思想将传统二次规划(quadratic programming, QP)子问题的增广Lagrange问题分解为两个小规模QP子问题;(2)通过求解小规模QP产生搜索方向;(3)以增广Lagrange函数为效益函数,沿搜索方向先后进行Armijo线搜索产生双迭代步长,在较弱的条件下保证了算法的全局收敛性、强收敛性和合理的迭代复杂性,克服了Maratos效应;(4)提出乘子新的对称型修正技术;(5)基于一类数学模型和电力系统经济调度模型以及?₂正则二分类问题,对算法进行大量中等规模的比较数值实验,验证了算法的有效性.     

一种新的求解变分不等式的惯性双次梯度外梯度算法（英文）

当可行集为一光滑凸函数的下水平集时,文献[Optimization,2020,69(6):1237-1253]提出了一种惯性双次梯度外梯度算法来求解Hilbert空间中的单调且Lipschitz连续的变分不等式问题.该算法在每次迭代中仅需向一个半空间计算两次投影,并得到了算法的弱收敛结果.本文通过使用黏性方法以及在惯性步采用新的步长来修正该算法.在适当的假设条件下证明了新算法所生成的序列能强收敛到变分不等式的一个解.此外,新算法在每次迭代中也仅需向半空间计算两次投影.     

Incremental Gradient Algorithms with Stepsizes Bounded Away from Zero

We consider the class of incremental gradient methods for minimizing a sum of continuously differentiable functions. An important novel feature of our analysis is that the stepsizes are kept bounded away from zero. We derive the first convergence results of any kind for this computationally important case. In particular, we show that a certain -approximate solution can be obtained and establish the linear dependence of on the stepsize limit. Incremental gradient methods are particularly well-suited for large neural network training problems where obtaining an approximate solution is typically sufficient and is often preferable to computing an exact solution. Thus, in the context of neural networks, the approach presented here is related to the principle of tolerant training. Our results justify numerous stepsize rules that were derived on the basis of extensive numerical experimentation but for which no theoretical analysis was previously available. In addition, convergence to (exact) stationary points is established when the gradient satisfies a certain growth property.     

一个修正的PVT算法

对Fkshima(1998）所提出的PVT算法给出一种修正算法，称为修正PVT算法，这一修正算法对PVT原算法中的并行步中的停止准则和同步步骤作了修正。修正PVT算法的停止条件对PVT原算法的停止条件弱，因此更适用于并行计算，并且计算时间比PVT原算法少。     

一种修正的Laplace-同伦摄动算法

在NDLT-HPM(非线性分布Laplace-同伦摄动算法)的基础上,通过引入参数h,提出了一种修正的NDLT-HPM(简称MNDLT-HPM),参数的引入使得求解更加灵活,且能调节和控制级数解的收敛域,克服了NDLT-HPM在嵌入参数p=1处级数解可能不收敛的局限性,使得级数解可以有效地收敛至精确解,从而获得足够精确的解析近似解,两个数值实例表明了该解法的优越性和精确性.     

互补问题的一个修改算法

本文给出了一个修改的路径跟踪预测校正非内点算法 ,同时给出了一个新的中心路邻域的表示 .并在此基础上给出了全局和局部收敛性 ,最后给出的数值结果验证了其有效性     

一个改进的SQP型算法

本文建立非线性等式和不等式约束规划问题的一个序列二次规划(SQP)型算法.算法的每次迭代只需解一个确实可解的二次规划，然后对其解进行简单的显式校正，便可产生关于罚函数是下降的搜索方向，克服Maratos效应.在适当的假设条件下，还论证了算法的全局收敛性和超级收敛性.     

矩阵填充的硬阈值修正算法

提出了使用硬阈值进行矩阵填充的修正算法.算法通过对迭代矩阵进行对角修正来完成矩阵填充,并给出了算法的收敛性分析.最后通过数值实验比较了修正算法与硬阈值算法填充的数值结果,显示出了新算法的优越性.     

修正的SQP型并行变量分配算法

Ferris 和Mangasarian 提出求解最优化问题的PVD(并行变量分配)算法, 此算法是把变量分为主要变量和辅助变量, 分配到p个处理机上, 每个处理机除了负责更新本处理机的主要变量外, 同时还沿着给定的方向更新辅助变量, 使算法的鲁棒性和灵活性得到了很大的提高. 该文基于文献[6]提出一种修正的SQP型PVD算法, 构造其搜索方向是下降方向和可行方向的组合, 并对此方向给予一个高阶修正, 使此算法很好地防止 Maratos 效应发生, 而且能够克服在求解子问题时出现约束不相容的情况. 在合适的条件下, 推导出此算法具有全局收敛性.     

一种改进的Fuzzy-HMMS算法及其收敛性

对D at T ran和M ichae lW agner等人提出的FCM-FE-HMM S算法作了进一步的补充和改进,提出了改进的FCM-FE-HMM S算法,并给出了算法收敛性分析,得出在给定初值的情况下该算法将收敛到一个局部最优解。     

无约束最优化的一个修正的类BFGS算法

利用前一步得到的曲率信息代替xk到xk+1段二次模型的曲率给出一个具有和BFGS类似的收敛性质的类BFGS算法,并揭示新算法与自调比拟牛顿法的关系.从试验函数库CUTE中选择标准试验函数,对比标准BFGS算法及其它改进BFGS算法进行数值试验.试验结果表明这个新算法的表现有点象自调比拟牛顿算法.     

改进的非线性整数规划算法

通过对LUUS随机搜索算法的分析，本文首次提出了一种改进的随机定向搜索法（MRDISA）通过实例计算，说明该算法的优点是最优解的可靠性不受初始值X^(0)和初始搜索范围R^(0)的影响，并可用于求解高维约束非线性整数规划问题。