基于指数加权-核在线序列极限学习机的混沌系统动态重构研究

利用指数加权在线核序列极限学习机(exponential weighted online sequential extreme learning machine with kernel, EW-KOSELM)辨识算法,开展了针对混沌动力学系统的动态重构研究. EW-KOSELM算法将核递归最小二乘(kernel recursive least squares, KRLS)算法直接延伸至在线ELM (extreme learning machine)框架中,通过引入遗忘因子削弱了旧数据的影响,并基于"固定预算(fixed-budget, FB)"内存技术,应对在线核学习算法所固有的规模不断增长的计算困难.将所提辨识算法应用于Duffing-Ueda振子的混沌动力学系统数值仿真实例中,对基于FB-EW-KOSELM的辨识模型与原系统的动态性能进行了定性与定量的分析校验,定性校验准则是基于对比辨识模型与原系统吸引子(轨迹嵌入)、庞加莱映射、分岔图、极限环完成的,定量校验准则包括对比辨识模型与原系统的李雅普诺夫指数与关联维.进一步将其分别应用于来自测量蔡氏电路产生双涡卷吸引子与螺旋吸引子的实测数据实验及某一实际混沌电路所产生的时间序列中,对于具有低信噪比的实测电压或电流数据还需进行了小波降噪预处理.通过分析辨识模型重构吸引子,实验结果表明,FB-EW-KOSELM算法具有良好的动态重构性能,能精确地再生出展示混沌动态行为的过程非线性模型,且具有与原混沌系统非常接近的动态不变性指标.     

基于多层正则极限学习机的煤矿突水光谱判别方法

为了快速而准确地判别煤矿突水水源类型,提出了一种构建多层正则极限学习机(M-RELM)模型的方法,该模型融合了非线性特征提取和分类学习。以激光诱导荧光(LIF)技术获取水样荧光光谱,作为模型的输入;以改进的自动编码器(AE)提取荧光光谱特征,形成模型隐含层的特征空间。为了减少光谱中噪声和异常对分类结果的影响,对极限学习机(ELM)算法进行了正则化优化,根据是否利用未知样本构造训练集,进行L2范数正则极限学习机(L2-RELM)或基于图的流形正则极限学习机(GM-RELM)优化,实现监督或半监督的分类学习。通过不同功能的隐含层之间进行传播,构建了多层正则化模型,完成了预训练和训练两个过程的融合。以淮南区域煤矿突水水样为实验对象,与支持向量机(SVM)和单隐含层极限学习机进行性能比较。在含有混合水的样集上,该模型的平均测试准确率可达到94%以上,训练时间为0.2s左右。在含有未知样本的所有水样集上,相比于L2-RELM模型,采用基于图的流形正则优化的GM-RELM模型的测试准确率可提升2%左右。实验结果表明,M-RELM模型更能适应煤矿突水水源的判别要求。     

采用优化极限学习机的多变量混沌时间序列预测

基于优化极限学习机理论, 提出一种多变量混沌时间序列预测方法. 该方法利用复合混沌和混沌变尺度算法对极限学习机的模型参数进行搜索和优化, 以提高极限学习机的泛化性能; 然后利用优化后的极限学习机对Rossler耦合系统的多变量混沌时序进行一步和多步预测, 并且与同类算法进行了比较, 结果表明了该方法的有效性, 且算法具有较强的抗噪能力; 最后讨论了预测结果和隐层神经元数目的关系.     

多元混沌时间序列的多核极端学习机建模预测

多元混沌时间序列广泛存在于自然、经济、社会、工业等领域. 对多元混沌时间序列进行建模预测有助于人类更好地管理, 控制与决策. 针对多元混沌时间序列的建模预测问题, 本文提出一种基于多核极端学习机的预测方法. 首先对多元混沌时间序列进行相空间重构, 将多元混沌时间序列序列的时间相关性转化为空间相关性. 提出一种结合多核学习算法与核极端学习机模型的多核极端学习机建立相空间中输入输出数据的非线性映射. 多核极端学习机模型结合了多核学习算法的数据融合能力以及核极端学习机的训练简便优势. 基于Lorenz混沌时间序列预测和San Francisco河流月径流量预测的仿真实验表明, 与其他常见混沌时间序列预测方法相比, 本文提出的基于多核极端学习机的多元混沌时间序列预测方法具有更小的预测误差.     

近红外光谱定量分析的改进ELM算法

极限学习机理论(extreme learning machine,ELM)作为一种新的化学计量学方法,在近红外光谱定量分析中的应用研究,已引起学术界的高度重视。然而,由于光谱数据维数较高,建立ELM模型时需要大量的隐节点,导致隐含层输出矩阵维数高且存在高度共线性,用现有的Moore-Penrose广义逆算法求取隐含层输出矩阵与待测性质间的回归模型往往会存在病态问题。基于ELM建立光谱波长变量与性质之间的回归模型,提出以ELM模型隐含层输出矩阵作为新的变量,采用作者最新提出的基于变量投影重要性的改进叠加PLS算法(stacked partial least squares regression algorithm based on variable importance in the projection,VIP-SPLS),建立新变量与待测性质间的回归模型。VIP-SPLS算法充分利用了每个隐节点的输出信息,能有效解决高维共线性问题,同时具有模型集成的优点,从而改进了ELM模型的性能。将提出的改进ELM算法(improved ELM,iELM)应用于标准近红外光谱数据集,结果表明iELM模型的精度相对于现有的PLS模型和ELM模型分别显著提升了29.06%和27.47%。     

基于Cholesky分解的增量式RELM及其在时间序列预测中的应用

针对应用于混沌时间序列预测的正则极端学习机(RELM)网络结构设计问题,提出一种基于Cholesky分解的增量式RELM训练算法.该算法通过逐次增加隐层神经元的方式自动确定最佳的RELM网络结构,并以Cholesky分解方式计算其输出权值,有效减小了隐层神经元递增过程的计算代价.混沌时间序列预测实例表明,该算法可有效实现最佳RELM网络结构的自动确定,且计算效率高.利用该算法训练后的RELM预测模型具有预测精度高的优点,适用于混沌时间序列预测. 关键词： 神经网络 极端学习机 混沌时间序列 时间序列预测     

基于UV-Vis检测养殖水体中化学需氧量含量研究

采用紫外可见光谱(UV-Vis)与极限学习机算法检测水体化学需氧量(chemical oxygen demand,COD)含量研究。采集135份水样进行紫外可见波段全光谱扫描,结合变量标准化(standard normal variate,SNV),多元散射校正(MSC)和一阶微分(1st D)对原始数据进行预处理,然后采用竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)、随机青蛙(Random frog)算法和遗传算法进行特征波长选择。基于全光谱建立了偏最小二乘回归(partial least squares,PLS)和基于特征波长建立了极限学习机算法(extreme learning machine,ELM)模型。结果表明:使用CARS提取的9个特征波长建立的ELM模型的预测效果最优,决定系数R~2为0.82,预测均方根误差RMSEP为14.48mg·L~(-1),RPD值为2.34。说明使用CARS变量选择算法获取UV-Vis光谱特征波长,应用极限学习机建模,可以准确、快速的检测养殖水体中COD含量,为实现养殖水体COD的动态快速检测以及水体其他微量物质含量参数检测打下基础。     

区间极限学习机结合遗传算法用于红外光谱气体浓度反演的研究

提出一种新的有效的FTIR光谱气体浓度反演的方法。该方法将区间划分的思想用于红外光谱波长优化筛选,即将红外光谱在给定波长范围内划分为若干个子区间,在每个子区间中利用遗传算法(genetic algorithm,GA)优化后的极限学习机(extreme learning machine,ELM)建立浓度预测模型,根据每个子区间测试集均方根误差RMSE和相关系数R2的大小评价模型的泛化性能,筛选出最优子区间组合建立预测模型。通过含干扰组分(CO2,N2O)的CO气体的FTIR光谱对提出的算法进行了验证,在波段为2 140~2 220cm-1范围内利用区间法筛选出的最优组合作为变量,应用GA-ELM建立的浓度反演模型,其决定系数R2为0.987 4,均方根误差RMSE为154.996 3,建模时间仅为0.8s,表明该算法(Interval-GA-ELM,iGELM)的应用不仅缩短了建模时间,而且在干扰组分存在的情况下,依然可以准确筛选出特征波长,从而提高了模型稳定性和预测精度,为大气污染气体遥测分析提供了行之有效的方法。     

基于仿生优化算法的水稻叶绿素含量反演模型

用光谱信息精准、高效地检测水稻叶片叶绿素含量,对诊断和优化水稻叶片氮素营养、开发和优化稻田氮素追肥系统、监测和评价水稻病虫害具有重要的实际意义。针对单纯采用机器学习模型反演水稻叶片叶绿素含量模型精确性和稳定性差的问题,以粳稻吉粳88为研究对象,通过网格试验获得分蘖期等关键生育期的叶片表型高光谱数据和相对叶绿素含量。选取核极限学习机（KELM）为基础建模模型,提出了一种先依据基础KELM建模效果选择预处理方法后,再利用仿生优化算法对所选预处理组合所对应的KELM模型的训练过程进行优化的新思路,以提高模型预测精度。首先,对光谱数据的各类预处理方法展开研究,通过对4类预处理方法进行全排列组合共得到72种预处理组合。利用连续投影算法（SPA）选择特征波段输入KELM模型以筛选较优预处理组合。依据建模效果,预处理组合CWT+MMS,CWT+MSC+SG+SS和CWT+SS所对应KELM的测试集决定系数（R2_p）较高,分别为0.850,0.835和0.828。其次,为使KELM模型在保证稳定性和泛化性的前提下性能达到最优,引入哈里斯鹰优化算法（HHO）,通过模拟鹰群在捕食时的合作行为和追逐策略,自动最优调节上述三种KELM模型参数,使得HHO-KELM模型R2_p分别为0.957,0.867和0.858,模型精度得到有效提升,最高提升10.7%。通过研究,证明了HHO算法优化机器学习模型反演水稻叶片叶绿素含量的可行性,为东北粳稻叶绿素含量的测定和评估提供了有力的参考和借鉴。     

具有增加删除机制的正则化极端学习机的混沌时间序列预测

针对正则化极端学习机的隐层具有随机选择的特性,提出了一种增加删除机制来自适应地确定正则化极端学习机的隐层节点数. 这种机制以对优化目标函数影响的大小作为评价隐层节点优劣的标准,从而淘汰那些比较“差”的节点,将那些比较“优”的节点保留下来,起到一个优化正则化极端学习机隐层节点数的目的. 与已有的只具有增加隐层节点数的机制相比较,本文提出的增加删除机制在减少正则化极端学习机隐层节点数、增强其泛化性能、提高其实时性等方面具有一定的优势. 典型混沌时间序列的实例证明了具有增加删除机制的正则化极端学习机的有效性和可行性. 关键词： 混沌时间序列 人工神经网络 极端学习机     

自然循环流动不稳定性的多目标优化极限学习机预测方法

极限学习机是近年来提出的一种前向单隐层神经网络训练算法,具有训练速度快、不会陷入局部最优等优点,但其性能会受到随机选取的输入权值和阈值的影响.针对这一问题,提出一种基于多目标优化的改进极限学习机,将训练误差和输出层权值的均方最小化同时作为优化目标,采用带精英策略的快速非支配排序遗传算法对极限学习机的输入层到隐层的权值和阈值进行优化.将该算法应用于摇摆工况下自然循环系统不规则复合型流量脉动的多步滚动预测,分析了训练误差和输出层权值对不同步长预测效果的影响.仿真结果表明,优化极限学习机预测误差可以用较小的网络规模获得很好的泛化能力.为流动不稳定性的实时预测提供了一种准确度较高的途径,其预测结果可以作为核动力系统操作员的参考.     

具有选择与遗忘机制的极端学习机在时间序列预测中的应用

针对训练样本贯序输入时的极端学习机 (ELM)训练问题,提出一种具有选择与遗忘机制的极端学习机 (SF-ELM),并研究了其在混沌时间序列预测中的应用. SF-ELM以逐次增加新训练样本的方式实现在线训练,通过引入遗忘因子以减弱旧训练样本的影响,同时以泛化能力为判断依据,对其输出权值进行选择性递推更新. 混沌时间序列在线预测实例表明,SF-ELM是一种有效的ELM在线训练模式. 相比于在线贯序极端学习机,SF-ELM具有更快的在线训练速度和更高的在线预测精度,因此更适于混沌时间序列在线预测. 关键词： 混沌时间序列 时间序列预测 神经网络 极端学习机     

基于流形学习的极端学习机及其在人脸识别中的应用

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用,然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响,当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力,针对这一问题本文提出一种基于流形学习的极端学习机,该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响,为验证所提方法的有效性,实验使用普遍应用的图像数据,实验结果表明本文所提算法能够显著提高ELM的泛化性能。     

基于高斯过程的混沌时间序列单步与多步预测

针对混沌时间序列单步和多步预测,提出基于复合协方差函数的高斯过程 (GP)模型方法.GP模型的确立由协方差函数决定,通过对训练数据集的学习,在证据最大化框架内,利用矩阵运算和优化算法自适应地确定协方差函数和均值函数中的超参数.GP模型与神经网络、模糊模型相比,其可调整参数很少.将不同复合协方差函数的GP模型应用在混沌时间序列单步及多步提前预测中,并与单一协方差函数的GP、支持向量机、最小二乘支持向量机、径向基函数神经网络等方法进行了比较.仿真结果表明,基于不同复合协方差函数的GP方法能精确地预测混沌时间序 关键词： 高斯过程 混沌时间序列 预测 模型比较     

基于周期性截断灰色系统的电力负荷预测

电力负荷预测是电力系统调度和电力生产计划制定的重要依据。电力负荷时间序列有着明显的周期性特征。传统的电力负荷预测主要侧重于预测方法的研究,而忽略了电力负荷数据周期性特性的分析,影响了预测的准确性。针对电力负荷时间序列的周期性特征,提出了一种基于周期性截断的灰色系统模型来进行电力负荷预测。该模型利用周期性截断来反映负荷数据的周期性特征,提高了预测的精度。仿真采用EUNITE Network的公开负荷数据进行算法性能的测试,并与一些主流的电力负荷预测算法：BP神经网络、极限学习机、自回归模型以及传统的灰色系统模型做比较。仿真结果表明,周期性截断的灰色系统负荷预测的归一化均方误差和绝对平均误差是最小的。周期性截断的灰色系统为电力系统负荷预测提供了一种新的有效方法。     

基于极端学习机的多变量混沌时间序列预测

针对多变量混沌时间序列预测问题, 提出了一种基于输入变量选择和极端学习机的预测模型. 其基本思想是 对多变量混沌时间序列进行相空间重构后, 采用互信息方法选择与预测输出统计相关最高的重构输入变量, 借助极端学习机的通用逼近能力建立多变量混沌时间序列的预测模型. 为进一步提高预测精度, 采用模型选择算法选择具有最小期望风险的极端学习机预测模型. 基于Lorenz, Rössler多变量混沌时间序列及Rössler超混沌时间序列的仿 真结果证明所提方法的有效性.     

潜变量机器学习方法在咖啡NIR定量分析中的应用

采用近红外（NIR）光谱快检技术实现对咖啡蛋白质的定量检测,研究支持向量机（SVM）和极限学习机（ELM）等机器学习方法在建模分析中的实用性。结合潜变量分析技术,建立潜变量SVM（LV-SVM）模型和潜变量ELM（LV-ELM）模型,通过调试潜变量个数和机器学习关键参数的联合优选,实现数据降维和机器学习关键参数的同过程优化。运用定标-验证-测试机制,利用定标集样本建立咖啡蛋白质的NIR分析模型,随参数变动形成三维随动优选结构的建模预测结果,结合验证集样本对模型进行联合优选,然后将优化模型应用于测试集样本进行模型评价。LV-SVM建模优选的验证集预测均方根误差为6.797,对应的测试集预测均方根误差为8.384。LV-ELM建模优选的验证集预测均方根误差为6.118,对应的测试集预测均方根误差为7.837。与常规偏最小二乘（PLS）方法相比较,LV-SVM和LV-ELM方法均取得更好的预测结果,验证了潜变量机器学习方法在近红外定量分析中的应用优势,该方法有望应用于不同类型的咖啡各成分含量检测。