二层前传神经网络中在线梯度法的收敛性

本文给出了一般情况下二层前传神经网络中的在线梯度法的收敛性定理,并将其应用于一些常用的活化函数和能量函数。     

带惩罚项与随机输入的BP神经网络在线梯度学习算法的收敛性

本文对三层BP神经网络中带有惩罚项的在线梯度学习算法的收敛性问题进行了研究,在网络训练每一轮开始执行之前,对训练样本随机进行重排,以使网络学习更容易跳出局部极小,文中给出了误差函数的单调性定理以及该算法的弱收敛和强收敛性定理。     

Elman网络梯度学习法的收敛性

考虑有限样本集上Elman网络梯度学习法的确定性收敛性．证明了误差函数的单调递减性．给出了一个弱收敛性结果和一个强收敛结果,表明误差函数的梯度收敛于0,权值序列收敛于固定点．通过数值例子验证了理论结果的正确性．     

Pi-sigma神经网络的带动量项的异步批处理梯度算法收敛性

本文将动量项引入到训练Pi-sigma神经网络的异步批处理的梯度算法中,有效的改善了算法的收敛效率,并从理论上对该算法的收敛性进行研究,给出了误差函数的单调性定理及该算法的弱收敛和强收敛性定理.计算机仿真实验亦验证了带动量项的异步批处理梯度算法的有效性和理论分析的正确性.     

由FR共轭梯度法控制的两类优化算法的全局收敛性

１引言 考虑无约束优化问题其中ｆ：Ｒｎ→Ｒ是一阶可微函数．求解（１）的非线性共轭梯度法具有如下形式：其中ｇｋ＝　ｆ（ｘｋ）,ａｋ是通过某种线搜索获得的步长,纯量βｋ的选取使得方法（２）—（３）在ｆ（ｘ）是严格凸二次函数且采用精确线搜索时化为线性共轭梯度法［１］．比较常见的βｋ的取法有Ｆｌｅｔｃｈｅｒ－Ｒｅｅｖｅｓ（ＦＲ）公式［２］和Ｐｏｌａｋ－Ｒｉｂｉｅｒｅ－Ｐｏｌｙａｋ（ＰＲＰ）公式［３－４］等．它们分别为其中　　　取欧几里得范数．对于一般非线性函数,ＦＲ方法具有较好的理论收敛性［５－６］,而…     

一类共轭梯度法的全局收敛性

共轭梯度法是求解大规模元约束优化同题的一种有效方法，本文提出一种新的共轭梯度法，证明了在推广的Wolfe线搜索条件下方法具有全局收敛性。最后对算法进行了数值试验，试验结果表明该算法具有良好的收敛性和有效性。     

一种修正的HS共轭梯度法及全局收敛性

<正>1引言考虑无约束极小化问题:(?),(1)其中f(x)连续可微,其梯度函数用g(x)表示.共轭梯度法求解(1)的常用迭代格式为:x_(k+1)=x_k+α_kd_k,(2)(?)(3)其中g_k=▽f(x_k),α_k≥0是由某种线搜索得到的步长因子;d_k为搜索方向,β_k为标量,β_k的不同选择产生了不同的共轭梯度法.著名的β_k公式有:     

非线性最优化的广义梯度投影法

梯度投影法已有许多有效算法,但这些算法还存在三个问题:1)为了保证算法的收敛性,在算法的每一迭代步,需要选取δ-主动约束集,计算量较大.2)在迭代过程中,需要跟踪主动约束集.3)只能处理非线性不等式约束问题.本文讨论非线性等式与不等式约束的优化问题,给出了一个广义梯度投影法,证明了算法的收敛性并且完满地解决了上述三个问题.本文算法结构简单且其处理技巧有普遍意义.     

三项记忆梯度法及其投影算法的收敛性分析

对于无约束优化问题,提出了一类新的三项记忆梯度算法．这类算法是在参数满足某些假设的条件下,确定它的取值范围,从而保证三项记忆梯度方向是使目标函数充分下降的方向．在非单调步长搜索下讨论了算法的全局收敛性．为了得到具有更好收敛性质的算法,结合Solodov and Svaiter(2000)中的部分技巧,提出了一种新的记忆梯度投影算法,并证明了该算法在函数伪凸的情况下具有整体收敛性．     

改进的共轭梯度法及其收敛性

本文对无约束最优化问题提出一类改进的共轭梯度法。该算法采用一类非精确线搜索,扩大了迭代参数的选取范围,并在目标函数连续可微的条件下,证明了算法的全局收敛性。     

CONVERGENCE OF ONLINE GRADIENT METHOD WITH A PENALTY TERM FOR FEEDFORWARD NEURAL NETWORKS WITH STOCHASTIC INPUTS

Online gradient algorithm has been widely used as a learning algorithm for feedforward neural network training. In this paper, we prove a weak convergence theorem of an online gradient algorithm with a penalty term, assuming that the training examples are input in a stochastic way. The monotonicity of the error function in the iteration and the boundedness of the weight are both guaranteed. We also present a numerical experiment to support our results.     

CONVERGENCE OF GRADIENT METHOD WITH MOMENTUM FOR BACK-PROPAGATION NEURAL NETWORKS

In this work, a gradient method with momentum for BP neural networks is considered. The momentum coefficient is chosen in an adaptive manner to accelerate and stabilize the learning procedure of the network weights. Corresponding convergence results are proved.     

一种新的记忆梯度法及其收敛性

本文提出一种新的无约束优化记忆梯度算法,算法在每步迭代时利用了前面迭代点的信息,增加了参数选择的自由度,适于求解大规模无约束优化问题.分析了算法的全局收敛性.数值试验表明算法是有效的.     

线性约束规划拓广的既约梯度法及其收敛性

本文首先给出由线性等式和不等式以及部分变量非负组成的约束集的一个新的转轴运算。它是以往转轴运算的推广。然后,以此为基础,建立该约束条件下的非线性规划的一个拓广的既约梯度法,它是既约梯度法的广泛推广和改进。算法不需增加任何松驰变量,以致提高问题的维数,扩大问题的规模;方法直接对原问题进行求解。本文算法对一般线性约束规划具有广泛的实用性,其处理技巧带有普遍意义。在非退化假设下,本文算法具有全局收敛性。     

一类激励-抑制型时滞神经网络模型解的收敛性

本文考虑一类激励-抑制型时滞神经网络模型解的收敛性.利用分析的方法并结合平面系统的几何特性,得出初值φ=(ψ,Ψ)∈R2,在响应区间[a,b]的端点a和b处不振动时,解(z(t),y(t))→(0,0)(t→+∞).     

一种改进的共轭梯度法及全局收敛性

本文在DY共轭梯度法的基础上对解决无约束最优化问题提出一种改进的共轭梯度法.该方法在Wolfe线搜索下能够保证充分下降性,并在目标函数可微的条件下,证明了算法的全局收敛性.大量数值试验表明,该方法是很有效的.     

一个共轭梯度方法全局收敛性的判别准则

本文建立了一个共轭梯度方法全局收敛性的判别准则,基于这一准则证明了一类三参数共轭梯度法的全局收敛性及DY方法的一个变形的全局收敛性.     

改进HS共轭梯度算法及其全局收敛性

１．引 言 １９５２年 Ｍ．Ｈｅｓｔｅｎｅｓ和Ｅ．Ｓｔｉｅｆｅｌ提出了求解正定线性方程组的共轭梯度法［１］．１９６４年Ｒ．Ｆｌｅｔｃｈｅｒ和Ｃ．Ｒｅｅｖｅｓ将该方法推广到求解下列无约束优化问题： ｍｉｎｆ（ｘ）,ｘ∈Ｒｎ,（１）其中ｆ：Ｒｎ→Ｒ１为连续可微函数,记ｇｋ＝ ｆ（ｘｋ）,ｘｋ∈ Ｒｎ． 若点列｛ｘｋ｝由如下算法产生：其中 βｋ＝［ｇＴｋ（ｇｋ－ｇｋ－１）］／［ｄＴｋ－１（ｇｋ－ｇｋ－１）］．（Ｈｅｓｔｅｎｅｓ－Ｓｔｉｅｆｅｌ）　　（４）则称该算法为 Ｈｅｓｔｅｎｅｓ—Ｓｔｉｅｆｅｌ共轭梯度算…     

A NEW GRADIENT PROJECTION METHOD AND ITS CONVERGENCE

In this paper, by using a new projection, we construct a variant of Zhang's algorithm and prove its convergence. Specially, the variant of Zhang's algorithm has quadratic termination and superlinear convergence rale under certain conditions. Zhang's algorithm hasn't these properties.