采用优化极限学习机的多变量混沌时间序列预测

基于优化极限学习机理论, 提出一种多变量混沌时间序列预测方法. 该方法利用复合混沌和混沌变尺度算法对极限学习机的模型参数进行搜索和优化, 以提高极限学习机的泛化性能; 然后利用优化后的极限学习机对Rossler耦合系统的多变量混沌时序进行一步和多步预测, 并且与同类算法进行了比较, 结果表明了该方法的有效性, 且算法具有较强的抗噪能力; 最后讨论了预测结果和隐层神经元数目的关系.     

基于优化核极限学习机的风电功率时间序列预测

针对时间序列预测,在单隐层前馈神经网络的基础上,基于进化计算的优化策略,提出了一种优化的核极限学习机(optimized kernel extreme learning machine,O-KELM)方法.与极限学习机(extreme learning machine,ELM)方法相比,核极限学习机(kernel extreme learning machine,KELM)方法无须设定网络隐含层节点的数目,以核函数表示未知的隐含层非线性特征映射,通过正则化最小二乘算法计算网络的输出权值,它能以极快的学习速度获得良好的推广性.在KELM的基础上,分别将遗传算法、模拟退火、微分演化三种进化算法用于模型的结构输入选择、正则化系数以及核参数的优化选取,以进一步提高网络的性能.将O-KELM方法应用于标准Mackey-Glass混沌时间序列预测及某地区的风电功率时间序列预测实例中,在同等条件下,还与优化的极限学习机(optimized extreme learning machine,O-ELM)方法进行比较.实验结果表明,所提出的O-KELM方法在预测精度上优于O-ELM方法,表明了其有效性.     

基于SFLA优化BP神经网络的语音信号分类

BP神经网络是一种多层前馈网络,数据经过网络的输入层、隐含层逐层处理后,由输出层进行输出,通过和期望输出的对比进行反向传播,调整网络参数使输出不断逼近期望输出;在使用BP神经网络对语音特征信号进行分类的过程中,会出现BP神经网络易陷入局部最优解、学习收敛速度慢的问题;针对此问题提出一种基于SFLA优化BP神经网络权值和阀值的方法,引入SFLA算法优化网络权值和阀值,利用SFLA优化后的BP网络模型进行语音特征信号分类;仿真结果表明,经SFLA优化后的BP神经网络与未优化的神经网络相比,不仅训练速度快, 而且误差小,语音特征信号分类的正确率平均提高1.31%。     

基于改进RBF神经网络的变形场插值算法研究

传统的物体表面力学变形场计算方法存在计算量大,无法计算边缘点变形等问题;提出一种改进的萤火虫算法优化RBF神经网络的变形插值方法,利用阈值约束RBF神经网络隐含层结点数,运用可变步长萤火虫算法优化RBF神经网络隐含层节点的中心和宽度,采用递推最小二乘法计算隐含层到输出层之间的权值,建立物体表面位移神经网络插值模型;为提高位移插值精度,在训练和测试的输入中增加坐标组合数据;应用于混凝土梁三点弯实验,仿真结果表明,该算法比常用的神经网络算法有更快的仿真速度和更高的预测精度,可用于土工材料表面变形场的快速、准确的计算。     

基于多层正则极限学习机的煤矿突水光谱判别方法

为了快速而准确地判别煤矿突水水源类型,提出了一种构建多层正则极限学习机(M-RELM)模型的方法,该模型融合了非线性特征提取和分类学习。以激光诱导荧光(LIF)技术获取水样荧光光谱,作为模型的输入;以改进的自动编码器(AE)提取荧光光谱特征,形成模型隐含层的特征空间。为了减少光谱中噪声和异常对分类结果的影响,对极限学习机(ELM)算法进行了正则化优化,根据是否利用未知样本构造训练集,进行L2范数正则极限学习机(L2-RELM)或基于图的流形正则极限学习机(GM-RELM)优化,实现监督或半监督的分类学习。通过不同功能的隐含层之间进行传播,构建了多层正则化模型,完成了预训练和训练两个过程的融合。以淮南区域煤矿突水水样为实验对象,与支持向量机(SVM)和单隐含层极限学习机进行性能比较。在含有混合水的样集上,该模型的平均测试准确率可达到94%以上,训练时间为0.2s左右。在含有未知样本的所有水样集上,相比于L2-RELM模型,采用基于图的流形正则优化的GM-RELM模型的测试准确率可提升2%左右。实验结果表明,M-RELM模型更能适应煤矿突水水源的判别要求。     

基于SOM和RBF网络的软测量方法研究

针对氢粉碎过程中钕铁硼粉碎状态不可知,为有效预测合金的反应状态,提出了一种基于自组织特征映射(SOM)神经网络和径向基函数(RBF)神经网络结合构建的网络模型。在该模型中,SOM神经网络作为聚类网络,采用无教师学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,作为径向基函数的中心;RBF神经网络作为基础网络,采用高斯函数作为径向基函数实现从输入到隐含层的非线性映射,输出层则采用有教师学习算法训练网络的权值,从而实现输入层到输出层的线性映射。并以钕铁硼氢粉碎过程合金中氢含量为检测对象,运用上述方法在MATLAB平台上建立了合金中氢含量预测模型,并完成了仿真验证。     

基于Cholesky分解的增量式RELM及其在时间序列预测中的应用

针对应用于混沌时间序列预测的正则极端学习机(RELM)网络结构设计问题,提出一种基于Cholesky分解的增量式RELM训练算法.该算法通过逐次增加隐层神经元的方式自动确定最佳的RELM网络结构,并以Cholesky分解方式计算其输出权值,有效减小了隐层神经元递增过程的计算代价.混沌时间序列预测实例表明,该算法可有效实现最佳RELM网络结构的自动确定,且计算效率高.利用该算法训练后的RELM预测模型具有预测精度高的优点,适用于混沌时间序列预测. 关键词： 神经网络 极端学习机 混沌时间序列 时间序列预测     

具有选择与遗忘机制的极端学习机在时间序列预测中的应用

针对训练样本贯序输入时的极端学习机 (ELM)训练问题,提出一种具有选择与遗忘机制的极端学习机 (SF-ELM),并研究了其在混沌时间序列预测中的应用. SF-ELM以逐次增加新训练样本的方式实现在线训练,通过引入遗忘因子以减弱旧训练样本的影响,同时以泛化能力为判断依据,对其输出权值进行选择性递推更新. 混沌时间序列在线预测实例表明,SF-ELM是一种有效的ELM在线训练模式. 相比于在线贯序极端学习机,SF-ELM具有更快的在线训练速度和更高的在线预测精度,因此更适于混沌时间序列在线预测. 关键词： 混沌时间序列 时间序列预测 神经网络 极端学习机     

基于极端学习机的多变量混沌时间序列预测

针对多变量混沌时间序列预测问题, 提出了一种基于输入变量选择和极端学习机的预测模型. 其基本思想是 对多变量混沌时间序列进行相空间重构后, 采用互信息方法选择与预测输出统计相关最高的重构输入变量, 借助极端学习机的通用逼近能力建立多变量混沌时间序列的预测模型. 为进一步提高预测精度, 采用模型选择算法选择具有最小期望风险的极端学习机预测模型. 基于Lorenz, Rössler多变量混沌时间序列及Rössler超混沌时间序列的仿 真结果证明所提方法的有效性.     

一种风电功率混沌时间序列概率区间简易预测模型

本文基于极限学习机构建了一种简易模型以直接输出风电功率概率区间.同时,为优化模型训练过程中输出区间的性能,本文基于对数据集区间带偏差信息的分析构建了一种新的优化准则,并采用量子细菌觅食优化算法以获取问题的最优解,提高模型泛化能力.对比分析两个风电场在不同置信水平和不同优化准则下的概率预测结果,仿真表明本文模型具有更高的可靠性和更窄的区间带宽,可为风电并网安全稳定运行提供决策支持.     

基于光谱和改进极限学习机的土壤含盐量分析

研究盐碱地的性质、组成,对于生态环境具有重要意义。传统的含盐量测定方法大多基于化学分析,因其成本高、效率低的缺点使得应用于大面积土地的可行性很低。极限学习机（ELM）作为一种基于前馈神经网络构建的机器学习系统,在许多研究中作为一种光谱处理方法被成功运用。为了改进传统的盐碱地含盐量检测方法,采用光谱学结合改进的极限学习机（ELM）模型的方法对盐碱地进行研究。根据镇赉县采集得到的62个土壤表层样本得到对应的光谱反射率和含盐量数据,提出了基于随机值改进粒子群优化算法（RVIPSO-MELM）优化的多层极限学习机模型。首先使用主成分分析提取光谱数据特征,并使用ELM算法对光谱数据建立分类模型,引入改进的粒子群优化算法以提高精度和速度。该模型结合了具有随机值的多层ELM（RV-MELM）和改进PSO算法的多层ELM（IPSO-MELM）二者的优点,在运用启发式算法搜索最优值的同时还具有随机性,提高了模型优化速度,同时以提高模型性能为目的对隐含层之间参数进行优化和选择。并且该模型可以推广到多层,对隐含层之间的参数的两种选择方法,根据经验公式计算和使用改进的启发式算法搜索,进行了提高模型性能和优化时间的讨论,实践结果表明,选择第一层参数使用改进粒子群优化算法,确定随后的隐含层之间参数选择,使用经验公式进行计算得到一种更具现实意义的方法模型。模型在进行启发式搜索最优值之前,利用蒙特卡罗方法确定一个较好的初值,使得模型能保持较高准确率的条件下,优化速度进一步提高。相比于传统方法,这种光谱分析结合ELM的模型节省时间和经济成本,有一定推广意义。     

近红外光谱定量分析的改进ELM算法

极限学习机理论(extreme learning machine, ELM)作为一种新的化学计量学方法,在近红外光谱定量分析中的应用研究,已引起学术界的高度重视。然而,由于光谱数据维数较高,建立ELM模型时需要大量的隐节点,导致隐含层输出矩阵维数高且存在高度共线性,用现有的Moore-Penrose广义逆算法求取隐含层输出矩阵与待测性质间的回归模型往往会存在病态问题。基于ELM建立光谱波长变量与性质之间的回归模型,提出以ELM模型隐含层输出矩阵作为新的变量,采用作者最新提出的基于变量投影重要性的改进叠加PLS算法(stacked partial least squares regression algorithm based on variable importance in the projection,VIP-SPLS),建立新变量与待测性质间的回归模型。VIP-SPLS算法充分利用了每个隐节点的输出信息,能有效解决高维共线性问题,同时具有模型集成的优点,从而改进了ELM模型的性能。将提出的改进ELM算法(improved ELM,iELM)应用于标准近红外光谱数据集,结果表明iELM模型的精度相对于现有的PLS模型和ELM模型分别显著提升了29.06%和27.47%。     

改进的QGA-ELM算法水稻叶面积指数反演模型

为了通过植被指数（VI）准确、可靠的获取不同施肥梯度、不同品种的水稻叶面积指数（LAI）,提出了一种基于改进的QGA-ELM算法应用于水稻LAI反演。首先通过8折交叉验证确定极限学习机(ELM)最佳的隐含层神经元个数与隐含层激活函数类型,再通过引入组合动态旋转角策略、单点混沌交叉操作、混沌变异操作、确定性选择策略、量子灾变操作对量子遗传算法（QGA）进行改进,最后使用改进后的QGA算法优化ELM神经网络输入层到隐含层的连接权值和隐含层的阈值。为了验证该模型普适性和有效性,依次建立多元线性回归、BP、ELM、QGA-ELM、改进的QGA-ELM算法5种模型,并在不同数据集上进行反演效果比较,结果表明：（1）对比QGA-ELM算法和改进的QGA-ELM算法进化过程,改进的算法能有效提升模型寻优能力,避免算法早熟,且能寻得更优结果。（2）对比五种算法在不同数据集上的反演效果,验证了NDVI,RVI与LAI之间主要为非线性关系,且ELM神经网络模型反演效果要优于BP神经网络模型和多元线性回归模型。（3）对比五种算法在不同数据集上的反演效果,改进的QGA-ELM算法绝大部分情况下拥有最高的反演精度和最低的误差,改进后的算法反演精度得到了明显提升,泛化性能也得到了增强。（4）改进的QGA-ELM算法在各种施肥梯度上均具有最高反演精度和最低误差,且精度较高,能为不同生长状况水稻LAI反演提供依据。（5）五种模型对庆和香LAI反演精度均要高于龙稻18,而改进的QGA-ELM算法在不同水稻品种上依然具有较高的反演精度,且在不同水稻品种上反演精度相差极小,远低于其他四种模型,能很好适应不同水稻品种LAI反演要求,极大提升模型的稳定性性,为不同水稻品种反演提供参考意义。     

基于波形叠加极限学习机的近红外光谱药品鉴别

近红外光谱药品鉴别作为识别假冒伪劣药品的一种有效技术手段,已被广泛应用到各大医疗行业和药品监督管理机构,并结合模式识别建模方法在基层药品打假中得到较好的推广。由于传统建模方法很难满足药品鉴别中大规模、多分类、快速建模等问题,因此采用一种基于波形叠加极限学习机(SWELM(CS))分类方法对光谱数据进行鉴别。通过选用极限学习机(ELM)作为光谱药品分类器,使得分类模型具有快速学习能力以及对训练样本不敏感的特点;由于极限学习机的连接权值和隐层神经元阈值是随机生成导致网络稳定性差,因此结合布谷鸟搜索算法优化分类模型参数;采用反双曲线正弦函数与Morlet小波函数叠加的激励函数代替ELM原有的单一激励函数改善了分类模型的收敛速度和稳健性。通过上述改进方法使得SWELM(CS)具有对训练样本不敏感性,布谷鸟参数优化的分类稳定性、波形叠加函数的强收敛性与信号特征提取能力。该方法为核函数提供的信号特征提取及拟合的思想,可推广到其他学习算法中以获取更高的分类准确度及稳定性。该实验选定西安杨森制药厂生产的249个近红外光谱药品样本作为研究的主要对象,重点研究光谱药品的二分类和多分类实验,实验证明SWELM(CS)分类器相比BP神经网络、标准ELM以及粒子群优化ELM等传统分类器算法具有更高的分类准确度、分类稳定性及更小的训练样本敏感性。     

基于角度优化的鲁棒极端学习机算法

针对数据集样本中带有噪声和离群点问题,提出了一种基于角度优化的鲁棒极端学习机算法。该方法利用鲁棒激活函数角度优化的原则,首先降低了离群点对分类算法的影响,从而保持数据样本的全局结构信息,达到更好的去噪效果。其次,有效的避免隐层节点输出矩阵求解不准的问题,进一步增强极端学习机的泛化性能。通过应用在普遍图像数据库上的实验结果表明,这种提出的算法与其他算法相比具有更强的鲁棒性和较高的识别率。     

加速神经网络势能面的构建:一种杂化的训练算法

Machine learning approaches have been promising in constructing high-dimensional potential energy surfaces (PESs) for molecules and materials. Neural networks (NNs) are one of the most popular such tools because of its simplicity and efficiency. The training algorithm for NNs becomes essential to achieve a fast and accurate fit with numerous data. The Levenberg-Marquardt (LM) algorithm has been recognized as one of the fastest and robust algorithms to train medium sized NNs and widely applied in recent NN based high quality PESs. However, when the number of ab initio data becomes large, the efficiency of LM is limited, making the training time consuming. Extreme learning machine (ELM) is a recently proposed algorithm which determines the weights and biases of a single hidden layer NN by a linear solution and is thus extremely fast. It, however, does not produce sufficiently small fitting error because of its random nature. Taking advantages of both algorithms, we report a generalized hybrid algorithm in training multilayer NNs. Tests on H+H₂ and CH₄+Ni(111) systems demonstrate the much higher efficiency of this hybrid algorithm (ELM-LM) over the original LM. We expect that ELM-LM will find its widespread applications in building up high-dimensional NN based PESs.