基于BP神经网络的动态稳健参数设计

传统的动态稳健参数设计方法(田口方法)虽然在工业生产实践中展现了极大的方便,但是其本身也存在较大的改进空间.当调节变量不存在时,传统的田口方法难以实现;此外,田口方法只能根据所选取的参数水平得到最优参数组合,而这种所谓的最优结果有时并不符合实际的需要.首先构建BP神经网络模型,利用训练后的BP神经网络获得参数设计中质量特性、噪声因子以及各参数间的动态关系;然后,利用超拉丁方抽样,计算信号与特性参数间的斜率,并由此将动态稳健参数设计的寻优问题转化为相应的非线性规划问题;最后,利用次序二次规划(SQP)算法解决并优化动态稳健参数的设计。此外,我们选取了一个简单的数据案例对本文提出的方法的有效性进行了说明.     

一种快速且全局收敛的BP神经网络学习算法

目前误差反向传播(BP)算法在训练多层神经网络方面有很多成功的应用.然而,BP算法也有一些不足:收敛缓慢和易陷入局部极小点等.提出一种快速且全局收敛的BP神经网络学习算法,并且对该优化算法的全局收敛性进行分析和详细证明.实证结果表明提出的算法比标准的BP算法效率更高且更精确.     

小微企业信用风险评估的IDGSO-BP集成模型构建研究

针对传统BP神经网络在小微企业信用风险评估实际应用中,随机初始权值和阈值导致网络学习速度慢、易陷入局部解以及运算结果误差较大等缺陷,借助群智能萤火虫(GSO)算法,提出一种基于改进离散型萤火虫(IDGSO)算法的BP神经网络集成学习算法的小微企业信用风险评估IDGSO-BP模型。该模型以BP神经网络为基本框架,在学习过程中引入离散型萤火虫算法,优化设计神经网络的网络结构与连接权值,得到一组相对合适的权值与阈值,再进行新一轮网络训练,以“均平方误差最小”为评价准则,产生网络的输出结果,以此建立小微企业信用风险评估模型。其仿真实验结果表明,该模型在收敛速度及运算精度方面较传统BP神经网络模型、遗传GA-BP模型及连续GSO-BP模型有较明显优势。因此,IDGSO-BP模型可以有效提高小微企业信用风险评估的准确性。     

BP网络的一种改进学习方法

章分析了传统BP学习方法的缺陷，给出了一种改进的学习方法，并用非线性函数tg△x和(e^△x-1)代替传统的线性函数△x进行网络学习和参数调整．仿真表明，该算法能有效克服网络陷入局部极小的困境，并大大提高收敛速度．     

多层神经网络的一个快速算法

本文对文[4]提出的前馈式多层神经网络的单参数动态搜索（SPDS）算法进行了深入的分析，给出了实现快速一维搜索的两个方案，从而实现了多层神经网络更为快速的学习训练．     

GA-BP嵌套算法的理论及应用

分析了BP算法、遗传算法以及GA-BP-APARTING算法的特点,提出了GA-BP-NESTING算法.在人工神经网络的在线学习和离线学习方式下,分别对BP算法、GA算法、GA-BP-APARTING算法和GA-BP-NESTING算法进行了比较研究,研究发现:第一,网络初始权值的赋值对人工神经网络训练影响很大;第二,离线学习方式下GA-BP-NESTING算法效果最佳.     

基于AHP和动量BP神经网络的工程项目承包商选择模型

运用BP神经网络技术,采用动量BP算法,构建了基于动量BP神经网络的工程项目承包商选择模型,并将AHP的评价结果作为学习样本,对BP神经网络模型进行训练和测试.结果表明,基于AHP和动量BP神经网络的工程项目承包商选择模型是可行的,该模型具有较高的自组织、自适应和自学习能力以及较强的容错功能,能够为一般的工程项目承包商选择活动提供有效的参考和依据.     

基于BP算法的信用风险评价模型研究

本文利用神经网络技术建立基于 BP算法的信用风险评价模型 ,为我国某商业银行 12 0家贷款企业进行信用风险评价 ,按照企业的信用等级分为“信用好”、“信用中等”和“信用差”三个小组 .仿真结果表明 ,本文所建立的神经网络信用风险评价模型的分类准确率高于传统的参数统计分类方法——线性判别分析法的分类准确率 .文中还详细给出神经网络信用风险评价模型的网络构建方法及基于 BP网络的学习算法和步骤 .     

变尺度快速二阶非线性优化算法在神经网络辨识中的应用

神经网络是非线性系统建模与辨识的重要方法 ,反向传播 (BP)算法常常用在神经网络的权值训练中 ,但是 BP算法的收敛速度慢 .本文提出一种变尺度二阶快速优化方法 ,在这种方法中用二阶插值法来优化搜索学习速率 ,然后将这一方法应用于神经网络的辨识中 ,仿真研究表明新算法有更快的收敛速度和更好的收敛精度 .     

基于NFA-BP算法的企业经营状况评价模型

针对萤火虫算法(FA)易出现过早收敛,陷入局部最优的缺点,引入小生境技术,提出一种小生境萤火虫优化算法(NFA),通过测试后,利用其搜索BP神经网络的参数.最后建立基于小生境萤火虫优化BP算法的企业经营状况评价模型,并与传统的BP神经网络模型进行对比,仿真结果表明,基于NFA-BP算法的经营状况评价模型的正确识别率高于传统的BP模型,是一种有效的评价模型.     

关于DNA序列分类问题的模型

本文提出了一种将人工神经元网络用于 DNA分类的方法 .作者首先应用概率统计的方法对 2 0个已知类别的人工 DNA序列进行特征提取 ,形成 DNA序列的特征向量 ,并将之作为样本输入 BP神经网络进行学习 .作者应用了 MATLAB软件包中的 Neural Network Toolbox(神经网络工具箱 )中的反向传播 ( Backpropagation BP)算法来训练神经网络 .在本文中 ,作者构造了两个三层 BP神经网络 ,将提取的 DNA特征向量集作为样本分别输入这两个网络进行学习 .通过训练后 ,将 2 0个未分类的人工序列样本和 1 82个自然序列样本提取特征形成特征向量并输入两个网络进行分类 .结果表明 :本文中提出的分类方法能够以很高的正确率和精度对 DNA序列进行分类 ,将人工神经元网络用于 DNA序列分类是完全可行的     

一种简单神经Mealy机的构造

构造一种新型神经Mealy机,神经Mealy机具有一定的学习能力,它主要通过学习来获得(von Newman)计算机结构,可以较好地避免普通计算机那样损毁一条电路就带来灾难性后果的情况.其本质是将递归神经网络通过BP优化算法,对Mealy机进行模拟得到,并通过实验对该网络的学习性能进行研究分析.基于形式文法和自动机的等价性,用神经网络来实现文法推导.先采用神经网络对样本集进行学习,这些样本可由一个经典Mealy机生成,然后从训练完的神经网络提取出自动机.     

Artificial Bee Colony training of neural networks: comparison with back-propagation

The Artificial Bee Colony (ABC) is a swarm intelligence algorithm for optimization that has previously been applied to the training of neural networks. This paper examines more carefully the performance of the ABC algorithm for optimizing the connection weights of feed-forward neural networks for classification tasks, and presents a more rigorous comparison with the traditional Back-Propagation (BP) training algorithm. The empirical results for benchmark problems demonstrate that using the standard “stopping early” approach with optimized learning parameters leads to improved BP performance over the previous comparative study, and that a simple variation of the ABC approach provides improved ABC performance too. With both improvements applied, the ABC approach does perform very well on small problems, but the generalization performances achieved are only significantly better than standard BP on one out of six datasets, and the training times increase rapidly as the size of the problem grows. If different, evolutionary optimized, BP learning rates are allowed for the two layers of the neural network, BP is significantly better than the ABC on two of the six datasets, and not significantly different on the other four.     

Optimization of manufacturing systems using a neural network metamodel with a new training approach

In this study, two manufacturing systems, a kanban-controlled system and a multi-stage, multi-server production line in a diamond tool production system, are optimized utilizing neural network metamodels (tst_NNM) trained via tabu search (TS) which was developed previously by the authors. The most widely used training algorithm for neural networks has been back propagation which is based on a gradient technique that requires significant computational effort. To deal with the major shortcomings of back propagation (BP) such as the tendency to converge to a local optimal and a slow convergence rate, the TS metaheuristic method is used for the training of artificial neural networks to improve the performance of the metamodelling approach. The metamodels are analysed based on their ability to predict simulation results versus traditional neural network metamodels that have been trained by BP algorithm (bp_NNM). Computational results show that tst_NNM is superior to bp_NNM for both of the manufacturing systems.     

Convergence of Online Gradient Method with Penalty for BP Neural Networks

Online gradient method has been widely used as a learning algorithm for training feedforward neural networks. Penalty is often introduced into the training procedure to improve the generalization performance and to decrease the magnitude of network weights. In this paper, some weight boundedness and deterministic con- vergence theorems are proved for the online gradient method with penalty for BP neural network with a hidden layer, assuming that the training samples are supplied with the network in a fixed order within each epoch. The monotonicity of the error function with penalty is also guaranteed in the training iteration. Simulation results for a 3-bits parity problem are presented to support our theoretical results.     

BP-GA混合优化策略在人力资源战略规划中的应用

采用混合优化策略训练神经网络,进而实现地区人力资源数据的时间序列预测.神经网络,尤其是应用反向传播(back propagation,简称BP)算法训练的神经网络,被广泛应用于预测中.但是BP神经网络训练速度慢、容易陷入局部极值.遗传算法(genetic algorithm,简称GA)具有很好的全局寻优性.因而提出将BP和GA结合起来的混合优化策略训练神经网络,来实现人力资源数据预测.与BP算法相比,数值计算结果表明预测精度高、速度快,为地区人力资源数据的时间序列预测研究提供了一条新的途径.     

粒子群优化模糊神经网络在语音识别中的应用

针对模糊神经网络训练采用BP算法比较依赖于网络的初始条件,训练时间较长,容易陷入局部极值的缺点,利用粒子群优化算法(PSO)的全局搜索性能,将PSO用于模糊神经网络的训练过程.由于基本PSO算法存在一定的早熟收敛问题,引入一种自适应动态改变惯性因子的PSO算法,使算法具有较强的全局搜索能力.将此算法训练的模糊神经网络应用于语音识别中,结果表明,与BP算法相比,粒子群优化的模糊神经网络具有较高的收敛速度和识别率.