前馈神经网络权值学习综合算法

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛.为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法与GaussNewton法相结合,并引入熵误差函数,构建基于GaussNewton NL2SOL法的前馈神经网络.仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性.     

基于GaussNewton-NL2SOL法的前馈神经网络及应用

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛.为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法,并与GaussNewton法相结合,构建基于GaussNewton-NL2SOL法的前馈神经网络.仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性.     

前馈神经网络的二阶学习算法

前馈神经网络是神经网络中应用最广的一种。但由于神经网络采用Ｂ－Ｐ算法，收敛速度慢。在分析了神经网络算法原理的基础上，提出了一种基于变质量法的优化训练算法。仿真证明，这种算法能够大大提高神经网络的收敛速度。     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法—向后传播算法(Backpropagation(BP)Algorithm)算法存在一些不足。为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法。通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell(DFP)、BroydenFletcher Goldfarl Shanno(BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多。     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法-向后传播算法(Backpropagation (BP) Algorithm)算法存在一些不足.为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法.通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell (DFP)、Broyden Fletcher Goldfarl Shanno (BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多.     

前馈神经网络的逐层优化学习算法

提出了求解前馈神经网络的逐层优化学习算法，首先对输出层权值进行优化，然后再对隐层权值进行优化，如此交替迭代直至求出最优解。在分层优化过程中，对节点激池数进行了线性，同时为防止由于线性化造成较大的误差，在目标函数中加入惩罚项。     

分区前馈神经网络及其算法

基于鲎小眼间侧向抑制的Hartline Ratliff模型，文中将自组织网络与BP网络相结合，提出了一种分区前馈神经网络，并给出其具体学习，仿真算法.该网络结构能反映人脑多网络结构，并行处理信息的特点，因而具有学习快速，一定程度上克服局部极小和适合并行计算的特点.计算机仿真的算例证明，即使在患行计算机学习时间也可以减少到以往的50%以下，而与传统的前馈神经网络具有相同的泛化能力.     

激励函数可调的前馈神经网络在线学习算法

针对标准ＢＰ算法的不足,提出了一种激励函数可调的前馈神经网络在线学习算法。该方法去除了样本的预处理过程,以在线方式训练前馈神经网络,同时修正网络的权重,阈值与激励函数。,上于避免了神经元的输出饱和现象,算法的收敛速度明显提高,并在一定程度上防止了局部极小解的出现。仿真结果证明了这种算法的有效性。     

前馈神经网络的一个新的混沌学习算法

利用混沌运动的遍历性特点,将logistic 映射与BP算法相结合,给出一个多层前馈网络的新的混沌学习算法。仿真结果表明,本算法取得了良好的效果。     

一类训练前馈神经网络的梯度算法及收敛性

为加速网络训练,给出学习率的一种更广泛的选取方式,并从理论上证明这类新的变学习率的梯度学习算法的收敛性和训练过程中误差函数的单调递减性.     

一种新的基于目标反传的前馈式神经网络训练算法

提出了一种基于目标反传的前馈式神经网络训练算法,该算法将网络的目标输出信息反传到网络的每一个隐层上,于是将神经网络的训练问题转化为求解一系列线性方程组和线性不等式组的问题,数值实验结果表明本文提出的方法与传统的BP算法相比提高了网络的训练速度.     

基于权值e指数信息熵的前馈网络修剪算法

针对神经网络结构设计的难点,定义神经网络连接权值的e指数信息熵,该熵克服了Shannon熵固有的缺点,但与Shannon熵对不确定性的描述具有相同的效果.将其作为惩罚项引入神经网络学习的目标函数中训练神经网络,由于熵函数特有的属性,对神经网络中小的连接进行惩罚而对大的连接进行鼓励,从而使神经网络中小的权值迅速收敛到零值附近.通过删除零值附近的权连接进而达到简化神经网络结构的目的.典型非线性函数逼近的仿真试验结果表明,该修剪算法在保证其逼近性能的同时,可以简化神经网络结构.     

一种基于因素贡献率的自适应前馈网络算法

前馈网络具有很强的信息处理能力，但是实际应用中的样本量有限，训练出来的网络效果不太理想，本文提出一种自适应前馈网络算法，通过调节参数α向量，使网络结构按精确度和推广能力来综合考虑，若训练出来的网络满足先决条件，就认为网络规模是合适的，此算法不仅能删除隐层中的节点也能删掉输入层中若干总贡献率小的节点，从而避免了维数灾难，并给出一种调整剩余权重的算法，避免重新训练，文中讨论了网络结构的重要性，并用该方法进行仿真实验，结果证明了自适应前馈网络算法具有较强的建模能力。     

求解线性互补问题的神经网络方法

研究了线性互补问题.基于解的充分必要条件,提出了求解它的一个神经网络模型;构造了恰当的Liapunov函数,给出了该模型稳定和大范围渐近收敛的充分条件;研究了其全局指数稳定性,并用数值实例说明了该模型的可行性和有效性.该模型不需要设定网络参数,可用来求解一类非单调的互补问题.     

一种新的前馈神经网络删剪算法

前馈神经网络中隐层神经元的个数与它的学习和泛化能力密切相关.通过广义逆矩阵算法解决最小二乘问题改进神经网络自构行学习算法,得到一种新的前馈神经网络删剪算法.将新算法用于已经训练好的大型网络,能删剪“冗余”的隐层神经元,得到一个最精简的神经网络.此精简的神经网络不需要重新训练仍能保持原有的性能,并且泛化能力很好.仿真实例说明此算法的有效性和可行性.     

求解二次规划的一个基于梯度的新神经网络

根据问题自身的结构特点，通过将其转化为等价的方程，提出了求解凸二次规划的一个基于梯度的新神经网络模型．严格证明了它是Liapunov稳定的，并且渐近收敛于原问题的精确解．讨论了其全局指数稳定性，该模型不需要选择自反馈或辅助联结权矩阵，且网络规模小于原问题．模拟实验表明新模型不仅可行，而且有效。     

多感官群集智能算法及其在前向神经网络训练方面的应用

针对连续域函数优化问题,提出了一种新的全局极大值搜索方法--多感官群集智能算法(multi-sense swarm intelligence algorithm,MSA). 受鱼群算法(artificial fish-swarm algorithm,AFA)和FS算法(free search algorithm,FSA)的启发,MSA的搜索机制将大范围勘察和小范围精确搜索相结合,个体在使用视觉信息快速逼近局部较优解的同时,利用嗅觉信息避免群体过于集中并引导个体向全局较优解方向移动. 仿真结果证明:MSA鲁棒性较强,全局收敛性好,收敛速度较快,收敛精度较高. 最后,将该方法应用于前向神经网络训练,结果表明满足应用要求.     

用多层前馈网络进行三维储层参数反演的方法

地震反演的主要任务是依据地震资料并综合利用地质、测井等资料得到地下地层的详细信息。三维地震反演需要处理庞大的地震数据体 ,同时在反演过程中既要考虑模型和测井的约束 ,又要考虑地震在横向上的连续性。将地震反演看作是地震数据到储层参数的模糊映射 ,并利用神经网络建立了这种映射关系。针对网络收敛速度慢、学习时间长等缺陷 ,提出了一种学习率自适应调整算法。该算法使每个权都有自己的学习率 ,使网络的训练速度大幅度提高。利用该方法进行地震反演 ,抛开了褶积模型的限制 ,也无须已知地震子波。外推过程是在三维空间内进行的 ,所得的储层参数数据体保持了横向上合理自然的连续性。对该数据体进行三维可视化解释 ,可以直接描述储层的空间展布。