具有选择与遗忘机制的极端学习机在时间序列预测中的应用

针对训练样本贯序输入时的极端学习机 (ELM)训练问题,提出一种具有选择与遗忘机制的极端学习机 (SF-ELM),并研究了其在混沌时间序列预测中的应用. SF-ELM以逐次增加新训练样本的方式实现在线训练,通过引入遗忘因子以减弱旧训练样本的影响,同时以泛化能力为判断依据,对其输出权值进行选择性递推更新. 混沌时间序列在线预测实例表明,SF-ELM是一种有效的ELM在线训练模式. 相比于在线贯序极端学习机,SF-ELM具有更快的在线训练速度和更高的在线预测精度,因此更适于混沌时间序列在线预测. 关键词： 混沌时间序列 时间序列预测 神经网络 极端学习机     

基于模糊边界模块化神经网络的混沌时间序列预测

提出一种模糊边界模块化神经网络（FBMNN）的混沌时间序列预测方法,该方法先对混沌时间序列观测点重构的相空间进行模块化划分,划分点的选取由遗传算法自动寻优.然后定义一个模糊隶属度函数,在划分边界一侧按照一定的模糊隶属度设定模糊边界带,通过模糊化处理,解决了各模块划分点附近预测结果的跳跃问题.最后每一模块,及其模糊边界的样本点都对应一个递归神经网络进行训练,通过预测合成模块输出结果.该方法对三个混沌时间序列基准数据集Mackey-Glass,Lorenz,Henon进行实验,结果表明该方法有效地提高了混沌时间序列预测效果. 关键词： 模糊边界 模块化神经网络 混沌时间序列 预测     

基于在线最小二乘支持向量机回归的混沌时间序列预测

提出了一种基于在线最小二乘支持向量机（LS-SVM）回归的混沌时间序列的预测方法.与离线支持向量机相比，在线最小二乘支持向量机预测方法即使当混沌系统的参数随时间变化时仍然有效.以Chen's混沌系统、Rssler混沌系统、Hénon映射及脑电(EEG)信号四种混沌时 间序列为例评估本文提出的预测方法，结果验证了其混沌时间序列预测的有效性. 关键词： 混沌时间序列 预测 在线学习 支持向量机     

基于Cholesky分解的增量式RELM及其在时间序列预测中的应用

针对应用于混沌时间序列预测的正则极端学习机(RELM)网络结构设计问题,提出一种基于Cholesky分解的增量式RELM训练算法.该算法通过逐次增加隐层神经元的方式自动确定最佳的RELM网络结构,并以Cholesky分解方式计算其输出权值,有效减小了隐层神经元递增过程的计算代价.混沌时间序列预测实例表明,该算法可有效实现最佳RELM网络结构的自动确定,且计算效率高.利用该算法训练后的RELM预测模型具有预测精度高的优点,适用于混沌时间序列预测. 关键词： 神经网络 极端学习机 混沌时间序列 时间序列预测     

基于混合神经网络和注意力机制的混沌时间序列预测

为提高混沌时间序列的预测精度,提出一种基于混合神经网络和注意力机制的预测模型(Att-CNNLSTM),首先对混沌时间序列进行相空间重构和数据归一化,然后利用卷积神经网络(CNN)对时间序列的重构相空间进行空间特征提取,再将CNN提取的特征和原时间序列组合,用长短期记忆网络(LSTM)根据空间特征提取时间特征,最后通过注意力机制捕获时间序列的关键时空特征,给出最终预测结果.将该模型对Logistic,Lorenz和太阳黑子混沌时间序列进行预测实验,并与未引入注意力机制的CNN-LSTM模型、单一的CNN和LSTM网络模型、以及传统的机器学习算法最小二乘支持向量机(LSSVM)的预测性能进行比较.实验结果显示本文提出的预测模型预测误差低于其他模型,预测精度更高.     

基于改进教学优化算法的Hermite正交基神经网络混沌时间序列预测

针对传统预测模型对混沌时间序列预测精度低、收敛速度慢及模型结构复杂的问题, 提出了基于改进教学优化算法的Hermite正交基神经网络预测模型. 首先, 将自相关法和Cao方法相结合对混沌时间序列进行相空间重构, 以获得重构延迟时间向量; 其次, 以Hermite正交基函数为激励函数构成Hermite正交基神经网络, 作为预测模型; 最后, 将模型参数优化问题转化为多维空间上的函数优化问题, 利用改进教学优化算法对预测模型进行参数优化, 以建立预测模型并进行预测分析. 分别以Lorenz 系统和Liu系统为模型, 通过四阶Runge-Kutta法产生混沌时间序列作为仿真对象, 并进行单步及多步预测对比实验. 仿真结果表明, 与径向基函数神经网络、回声状态网络、最小二乘支持向量机及基于教学优化算法的Hermite正交基神经网络预测模型相比, 所提预测模型具有更高的预测精度、更快的收敛速度和更简单的模型结构, 验证了该模型的高效性, 便于推广和应用.     

Nonlinear Time Series Prediction Using LS-SVM with Chaotic Mutation Evolutionary Programming for Parameter Optimization

Nonlinear time series prediction is studied by using an improved least squares support vector machine (LSSVM) regression based on chaotic mutation evolutionary programming (CMEP) approach for parameter optimization.We analyze how the prediction error varies with different parameters (σ, γ) in LS-SVM. In order to select appropriate parameters for the prediction model, we employ CMEP algorithm. Finally, Nasdaq stock data are predicted by using this LS-SVM regression based on CMEP, and satisfactory results are obtained.     

基于鲁棒极端学习机的混沌时间序列建模预测

针对混沌时间序列预测模型易受异常点影响,导致模型预测精度低的问题,在贝叶斯框架下提出一种鲁棒极端学习机.所提模型将具有重尾分布特性的高斯混合分布作为模型输出似然函数,得到一种对异常点和噪声更具鲁棒性的预测模型.但由于将高斯混合分布作为模型输出似然函数后,模型输出的边缘似然函数变成难以解析处理的形式,因此引入变分方法进行近似推理,实现模型参数的估计.在加入异常点和噪声的情况下,将所提模型应用于大气环流模拟模型方程Lorenz序列以及Rossler混沌时间序列和太阳黑子混沌时间序列的预测中,预测结果验证了所提模型的有效性.     

基于高斯过程的混沌时间序列单步与多步预测

针对混沌时间序列单步和多步预测,提出基于复合协方差函数的高斯过程 (GP)模型方法.GP模型的确立由协方差函数决定,通过对训练数据集的学习,在证据最大化框架内,利用矩阵运算和优化算法自适应地确定协方差函数和均值函数中的超参数.GP模型与神经网络、模糊模型相比,其可调整参数很少.将不同复合协方差函数的GP模型应用在混沌时间序列单步及多步提前预测中,并与单一协方差函数的GP、支持向量机、最小二乘支持向量机、径向基函数神经网络等方法进行了比较.仿真结果表明,基于不同复合协方差函数的GP方法能精确地预测混沌时间序 关键词： 高斯过程 混沌时间序列 预测 模型比较     

一种新型广义RBF神经网络在混沌时间序列预测中的研究

提出了一种新颖的广义径向基函数神经网络模型,其径向基函数(RBF)的形式由生成函数确定.然后,给出了易实现的梯度学习算法,同时为了进一步提高网络的收敛速度和网络性能,又给出了基于卡尔曼滤波的动态学习算法.为了验证网络的学习性能，采用基于卡尔曼滤波算法的新型广义RBF网络预测模型对Mackey-Glass混沌时间序列和Henon映射进行了仿真.结果表明,所提出的新型广义RBF神经网络模型能快速、精确地预测混沌时间序列,是研究复杂非线性动力系统辨识和控制的一种有效方法. 关键词： 广义径向基函数神经网络 卡尔曼滤波 梯度下降学习算法 混沌时间序列 预测     

基于混沌算子网络的时间序列多步预测研究

结合相空间重构理论和时间序列分析理论,提出一种用于时间序列多步预测的网络模型.网络采用多个混沌算子加权求和的形式构成.网络各层单元采用固定权值连接,混沌算子的控制参数利用混沌优化算法进行训练调节,从而控制预测网络的动力学行为.利用已知时间序列数据构造出训练样本,训练样本在网络训练过程中仅使用一次,促使网络的动力学特性随时间的推移而变化,并逐渐逼近被预测系统的动力学特性,最终完成对未来时刻数据的预测.在对理论数据进行预测分析时,通过计算预测序列的Lyapunov指数验证了预测网络的有效性.在对实际时间序列的预测过程中,该网络表现出了良好的预测性能.仿真结果表明,该预测网络可对多种时间序列在一定的预测步长范围内实现有效的预测.     

Time Series Prediction Based on Chaotic Attractor

A new prediction technique is proposed for chaotic time series. The usefulness of the technique is that it can kick off some false neighbor points which are not suitable for the local estimation of the dynamics systems. A time-delayed embedding is used to reconstruct the underlying attractor, and the prediction model is based on the time evolution of the topological neighboring in the phase space. We use a feedforward neural network to approximate the local dominant Lyapunov exponent, and choose the spatial neighbors by the Lyapunov exponent. The model is tested for the Mackey-Glass equation and the convection amplitude of lorenz systems. The results indicate that this prediction technique can improve the prediction of chaotic time series.     

多元混沌时间序列的多核极端学习机建模预测

多元混沌时间序列广泛存在于自然、经济、社会、工业等领域. 对多元混沌时间序列进行建模预测有助于人类更好地管理, 控制与决策. 针对多元混沌时间序列的建模预测问题, 本文提出一种基于多核极端学习机的预测方法. 首先对多元混沌时间序列进行相空间重构, 将多元混沌时间序列序列的时间相关性转化为空间相关性. 提出一种结合多核学习算法与核极端学习机模型的多核极端学习机建立相空间中输入输出数据的非线性映射. 多核极端学习机模型结合了多核学习算法的数据融合能力以及核极端学习机的训练简便优势. 基于Lorenz混沌时间序列预测和San Francisco河流月径流量预测的仿真实验表明, 与其他常见混沌时间序列预测方法相比, 本文提出的基于多核极端学习机的多元混沌时间序列预测方法具有更小的预测误差.     

基于最大Lyapunov指数的多变量混沌时间序列预测

参考基于最大Lyapunov指数的单变量混沌时间序列预测方法,提出一种通过选取多个邻近重构向量,预测多变量混沌时间序列的局域法.采用新方法对两个完全不同的Rssler方程的耦合系统,Rssler方程和Hyper Rssler方程的耦合系统的多变量混沌时序进行一步和多步预测,结果表明了该方法的有效性,且算法具有较强的抗噪能力.讨论了参考邻近点数和预测结果的关系. 关键词： Lyapunov指数 混沌时间序列预测 多变量时间序列 最小二乘法     

Time Series Prediction Based on Chaotic Attractor

A new prediction technique is proposed for chaotic time series. The usefulness of the technique is thatit can kick off some false neighbor points which are not suitable for the local estimation of the dynamics systems. Atime-delayed embedding is used to reconstruct the underlying attractor, and the prediction model is based on the timeevolution of the topological neighboring in the phase space. We use a feedforward neural network to approximate thelocal dominant Lyapunov exponent, and choose the spatial neighbors by the Lyapunov exponent. The model is testedfor the Mackey-Glass equation and the convection amplitude of lorenz systems. The results indicate that this predictiontechnique can improve the prediction of chaotic time series.     

Neural Volterra filter for chaotic time series prediction

A new second-order neural Volterra filter （SONVF） with conjugate gradient （CG） algorithm is proposed to predict chaotic time series based on phase space delay-coordinate reconstruction of chaotic dynamics system in this paper, where the neuron activation functions are introduced to constraint Volterra series terms for improving the nonlinear approximation of second-order Volterra filter （SOVF）. The SONVF with CG algorithm improves the accuracy of prediction without increasing the computation complexity. Meanwhile, the difficulty of neuron number determination does not exist here. Experimental results show that the proposed filter can predict chaotic time series effectively, and one-step and multi-step prediction performances are obviously superior to those of SOVF, which demonstrate that the proposed SONVF is feasible and effective.     

基于一种新型聚类算法的RBF神经网络混沌时间序列预测

运用两阶段学习方法构建径向基函数(RBF)神经网络模型预测混沌时间序列.在利用非监督学习算法确定网络隐层中心时,提出了一种基于高斯基的距离度量,并联合输入输出聚类的策略.基于Fisher可分离率设计高斯基距离度量中的惩罚因子,可以提高聚类的性能.而输入输出聚类策略的引入,建立了聚类性能与网络预测性能之间的联系.因此,根据本文方法构建的网络模型,一方面可以加快网络训练的速度,另一方面可以提高预测性能.将该方法对Mackey-Glass, Lorenz和Logistic混沌时间序列进行了预测仿真研究,仿真结果表明了该方法的有效性. 关键词： 混沌时间序列 预测 径向基神经网络 聚类     

基于条件熵扩维的多变量混沌时间序列相空间重构

提出一种多变量混沌时间序列相空间重构的条件熵扩维方法.首先使用互信息法求解每个变量的时间延迟,其次按条件熵最大原则逐步扩展相空间的嵌入维数,使得重构坐标从低维到高维的转换保持较强的独立性,最终的重构相空间具有较低的冗余度,为多变量时间序列的预测构造了有效的模型输入向量.通过对几个经典多变量混沌时间序列进行数值实验,结果表明该方法比单变量预测和已有多变量预测方法具有更好的预测效果,说明了该重构方法的有效性. 关键词： 多变量混沌时间序列 相空间重构 条件熵 神经网络预测     

一种预测混沌时间序列的模糊神经网络方法

给出了一种预测混沌时间序列的模糊神经网络及其学习方法，给出的方法能直接从数据中提取模糊规则，经过优化得到最佳模糊规则库，并利用神经网络的自学习功能修改隶属函数的参数和网络的权值，减少了规则的匹配过程，加快了推理速度，增强了网络的自适应能力. 使用该神经网络及其学习方法对Lorenz混沌时间序列进行了预测仿真研究，试验结果表明给出的预测工具和方法是有效的. 关键词： 模糊神经网络 模糊规则提取 混沌时间序列预测     

Discussion About Nonlinear Time Series Prediction Using Least Squares Support Vector Machine

The least squares support vector machine (LS-SVM) is used to study the nonlinear time series prediction. First, the parameter γ and multi-step prediction capabilities of the LS-SVM network are discussed. Then we employ clustering method in the model to prune the number of the support values. The learning rate and the capabilities of filtering noise for LS-SVM are all greatly improved.