基于时变阈值过程神经网络的太阳黑子数预测

太阳黑子活动直接影响着外层空间环境的变化，为保证航天飞行任务的安全必须对其进行有效预测.为此，提出了一种基于时变阈值过程神经网络的时间序列预测模型.为简化模型的计算复杂度，开发了一种基于正交基函数展开的学习算法.文中分析了模型的泛函逼近能力，并以Mackey-Glass时间序列预测为例验证了所提模型及其学习算法的有效性.最后，将该预测模型用于太阳活动第23周太阳黑子数平滑月均值预测，取得了满意的结果，应用结果同时表明：所提预测方法与其他传统预测方法相比预测精度有所提高，具有一定的理论和实用价值. 关键词： 太阳黑子数 时变阈值过程神经网络 时间序列预测 泛函逼近     

基于改进教学优化算法的Hermite正交基神经网络混沌时间序列预测

针对传统预测模型对混沌时间序列预测精度低、收敛速度慢及模型结构复杂的问题, 提出了基于改进教学优化算法的Hermite正交基神经网络预测模型. 首先, 将自相关法和Cao方法相结合对混沌时间序列进行相空间重构, 以获得重构延迟时间向量; 其次, 以Hermite正交基函数为激励函数构成Hermite正交基神经网络, 作为预测模型; 最后, 将模型参数优化问题转化为多维空间上的函数优化问题, 利用改进教学优化算法对预测模型进行参数优化, 以建立预测模型并进行预测分析. 分别以Lorenz 系统和Liu系统为模型, 通过四阶Runge-Kutta法产生混沌时间序列作为仿真对象, 并进行单步及多步预测对比实验. 仿真结果表明, 与径向基函数神经网络、回声状态网络、最小二乘支持向量机及基于教学优化算法的Hermite正交基神经网络预测模型相比, 所提预测模型具有更高的预测精度、更快的收敛速度和更简单的模型结构, 验证了该模型的高效性, 便于推广和应用.     

一种新型广义RBF神经网络在混沌时间序列预测中的研究

提出了一种新颖的广义径向基函数神经网络模型,其径向基函数(RBF)的形式由生成函数确定.然后,给出了易实现的梯度学习算法,同时为了进一步提高网络的收敛速度和网络性能,又给出了基于卡尔曼滤波的动态学习算法.为了验证网络的学习性能，采用基于卡尔曼滤波算法的新型广义RBF网络预测模型对Mackey-Glass混沌时间序列和Henon映射进行了仿真.结果表明,所提出的新型广义RBF神经网络模型能快速、精确地预测混沌时间序列,是研究复杂非线性动力系统辨识和控制的一种有效方法. 关键词： 广义径向基函数神经网络 卡尔曼滤波 梯度下降学习算法 混沌时间序列 预测     

基于模糊递归小波神经网络的葡萄酒品质预测

针对葡萄酒品质预测模型难以建立的问题,提出一种基于模糊递归小波神经网络的葡萄酒品质预测模型。利用葡萄酒物理化学指标和品酒师打分作为模型的输入输出,采用梯度下降算法在线学习隶属函数层中心、宽度和小波函数平移因子、伸缩因子、自反馈权重因子以及输出层权值。仿真实验时,首先利用Mackey-Glass混沌时间序列进行了性能测试,然后利用UCI数据集葡萄酒品质数据对所建立的品质预测模型进行了验证。结果显示,与多层感知器、径向基函数神经网络等传统前馈神经网络相比,构建的模糊递归小波神经网络品质预测模型具有更高的预测精度,更加适合于葡萄酒的品质预测。     

基于混合神经网络和注意力机制的混沌时间序列预测

为提高混沌时间序列的预测精度,提出一种基于混合神经网络和注意力机制的预测模型(Att-CNNLSTM),首先对混沌时间序列进行相空间重构和数据归一化,然后利用卷积神经网络(CNN)对时间序列的重构相空间进行空间特征提取,再将CNN提取的特征和原时间序列组合,用长短期记忆网络(LSTM)根据空间特征提取时间特征,最后通过注意力机制捕获时间序列的关键时空特征,给出最终预测结果.将该模型对Logistic,Lorenz和太阳黑子混沌时间序列进行预测实验,并与未引入注意力机制的CNN-LSTM模型、单一的CNN和LSTM网络模型、以及传统的机器学习算法最小二乘支持向量机(LSSVM)的预测性能进行比较.实验结果显示本文提出的预测模型预测误差低于其他模型,预测精度更高.     

基于灰色神经网络模型的企业碳排放峰值预测

为预测企业碳排放峰值,帮助企业设计碳排放的减排路径,需要对企业碳排放峰值预测方法进行研究。当前采用基于TFDI模型的预测模型对企业碳排放峰值进行预测,预测过程中无法全面考虑企业碳排放影响因素,导致预测企业碳排放峰值出现误差。为此,提出一种基于灰色神经网络模型的企业碳排放峰值预测模型。该模型是以灰色模型为基础,与神经网络相融合构建的灰色神经网络,将模型中企业碳排放原数据进行叠加,并用微分方程表示,将VSTE算法作为灰色神经网络模型预测的基础算法,计算企业碳排放路径碳排放值,满足高斯分布随机函数,以此进行企业碳排放峰值的预测。实验结果证明,所提模型可以准确预测企业碳排放峰值,有效帮助企业设计碳排放减排路径。     

基于周期性截断灰色系统的电力负荷预测

电力负荷预测是电力系统调度和电力生产计划制定的重要依据。电力负荷时间序列有着明显的周期性特征。传统的电力负荷预测主要侧重于预测方法的研究,而忽略了电力负荷数据周期性特性的分析,影响了预测的准确性。针对电力负荷时间序列的周期性特征,提出了一种基于周期性截断的灰色系统模型来进行电力负荷预测。该模型利用周期性截断来反映负荷数据的周期性特征,提高了预测的精度。仿真采用EUNITE Network的公开负荷数据进行算法性能的测试,并与一些主流的电力负荷预测算法：BP神经网络、极限学习机、自回归模型以及传统的灰色系统模型做比较。仿真结果表明,周期性截断的灰色系统负荷预测的归一化均方误差和绝对平均误差是最小的。周期性截断的灰色系统为电力系统负荷预测提供了一种新的有效方法。     

基于Cholesky分解的增量式RELM及其在时间序列预测中的应用

针对应用于混沌时间序列预测的正则极端学习机(RELM)网络结构设计问题,提出一种基于Cholesky分解的增量式RELM训练算法.该算法通过逐次增加隐层神经元的方式自动确定最佳的RELM网络结构,并以Cholesky分解方式计算其输出权值,有效减小了隐层神经元递增过程的计算代价.混沌时间序列预测实例表明,该算法可有效实现最佳RELM网络结构的自动确定,且计算效率高.利用该算法训练后的RELM预测模型具有预测精度高的优点,适用于混沌时间序列预测. 关键词： 神经网络 极端学习机 混沌时间序列 时间序列预测     

基于深度张量神经网络预测有机分子的相互作用能

分子的相互作用在分子动力学模拟过程中起着关键的作用. 受限于计算资源,大分子的长时间尺度的相互作用能无法通过量化计算实现. 本文采用一种深度学习框架-深度张量神经网络来预测三个有机分子相关体系中量化精度的相互作用能. 其中,分子的几何结构和原子类型作为网络的输入用于预测相互作用能. 通过分层生成的数据集合实现了网络中隐层参数的优化和训练. 相互作用能的预测结果显示,深度张量神经网络可以在较短的时间内,在1 kcal/mol的平均绝对误差的范围内准确预测分子间的相互作用能. 这一过程提高了计算效率,并为计算相互作用能提供了可靠的计算框架.     

Neural Volterra filter for chaotic time series prediction

A new second-order neural Volterra filter （SONVF） with conjugate gradient （CG） algorithm is proposed to predict chaotic time series based on phase space delay-coordinate reconstruction of chaotic dynamics system in this paper, where the neuron activation functions are introduced to constraint Volterra series terms for improving the nonlinear approximation of second-order Volterra filter （SOVF）. The SONVF with CG algorithm improves the accuracy of prediction without increasing the computation complexity. Meanwhile, the difficulty of neuron number determination does not exist here. Experimental results show that the proposed filter can predict chaotic time series effectively, and one-step and multi-step prediction performances are obviously superior to those of SOVF, which demonstrate that the proposed SONVF is feasible and effective.     

基于高斯过程的混沌时间序列单步与多步预测

针对混沌时间序列单步和多步预测,提出基于复合协方差函数的高斯过程 (GP)模型方法.GP模型的确立由协方差函数决定,通过对训练数据集的学习,在证据最大化框架内,利用矩阵运算和优化算法自适应地确定协方差函数和均值函数中的超参数.GP模型与神经网络、模糊模型相比,其可调整参数很少.将不同复合协方差函数的GP模型应用在混沌时间序列单步及多步提前预测中,并与单一协方差函数的GP、支持向量机、最小二乘支持向量机、径向基函数神经网络等方法进行了比较.仿真结果表明,基于不同复合协方差函数的GP方法能精确地预测混沌时间序 关键词： 高斯过程 混沌时间序列 预测 模型比较     

Multimodality Prediction of Chaotic Time Series with Sparse Hard-Cut EM Learning of the Gaussian Process Mixture Model

The contribution of this work is twofold:(1) a multimodality prediction method of chaotic time series with the Gaussian process mixture(GPM) model is proposed, which employs a divide and conquer strategy. It automatically divides the chaotic time series into multiple modalities with different extrinsic patterns and intrinsic characteristics, and thus can more precisely fit the chaotic time series.(2) An effective sparse hard-cut expectation maximization(SHC-EM) learning algorithm for the GPM model is proposed to improve the prediction performance. SHC-EM replaces a large learning sample set with fewer pseudo inputs, accelerating model learning based on these pseudo inputs. Experiments on Lorenz and Chua time series demonstrate that the proposed method yields not only accurate multimodality prediction, but also the prediction confidence interval. SHC-EM outperforms the traditional variational learning in terms of both prediction accuracy and speed. In addition,SHC-EM is more robust and insusceptible to noise than variational learning.     

Remaining Useful Life Prediction Model for Rolling Bearings Based on MFPE–MACNN

Aiming to resolve the problem of redundant information concerning rolling bearing degradation characteristics and to tackle the difficulty faced by convolutional deep learning models in learning feature information in complex time series, a prediction model for remaining useful life based on multiscale fusion permutation entropy (MFPE) and a multiscale convolutional attention neural network (MACNN) is proposed. The original signal of the rolling bearing was extracted and decomposed by resonance sparse decomposition to obtain the high-resonance and low-resonance components. The multiscale permutation entropy of the low-resonance component was calculated. Moreover, the locally linear-embedding algorithm was used for dimensionality reduction to remove redundant information. The multiscale convolution module was constructed to learn the feature information at different time scales. The attention module was used to fuse the feature information and input it into the remaining useful life prediction module for evaluation. The appropriate network structure and parameter configuration were determined, and a multiscale convolutional attention neural network was designed to determine the remaining useful life prediction model. The results show that the method demonstrates effectiveness and superiority in degrading the feature information representation and improving the remaining useful life prediction accuracy compared with other models.     

Taming the Chaos in Neural Network Time Series Predictions

Machine learning methods, such as Long Short-Term Memory (LSTM) neural networks can predict real-life time series data. Here, we present a new approach to predict time series data combining interpolation techniques, randomly parameterized LSTM neural networks and measures of signal complexity, which we will refer to as complexity measures throughout this research. First, we interpolate the time series data under study. Next, we predict the time series data using an ensemble of randomly parameterized LSTM neural networks. Finally, we filter the ensemble prediction based on the original data complexity to improve the predictability, i.e., we keep only predictions with a complexity close to that of the training data. We test the proposed approach on five different univariate time series data. We use linear and fractal interpolation to increase the amount of data. We tested five different complexity measures for the ensemble filters for time series data, i.e., the Hurst exponent, Shannon’s entropy, Fisher’s information, SVD entropy, and the spectrum of Lyapunov exponents. Our results show that the interpolated predictions consistently outperformed the non-interpolated ones. The best ensemble predictions always beat a baseline prediction based on a neural network with only a single hidden LSTM, gated recurrent unit (GRU) or simple recurrent neural network (RNN) layer. The complexity filters can reduce the error of a random ensemble prediction by a factor of 10. Further, because we use randomly parameterized neural networks, no hyperparameter tuning is required. We prove this method useful for real-time time series prediction because the optimization of hyperparameters, which is usually very costly and time-intensive, can be circumvented with the presented approach.     

自适应光学系统变形镜控制电压预测

在校正大气湍流畸变波前相差的自适应光学系统中,利用基于Levenberg-Marquardt学习算法的非线性反向传播神经网络技术（LMBP）对变形镜控制电压进行预测。以对受横向风影响的大气湍流畸变波前斜率数据为研究对象,通过数值仿真方法,研究了基于LMBP算法的自适应光学系统变形镜电压非线性预测控制算法。通过实验发现,预测电压和变形镜实际控制电压拟合效果良好。讨论了回溯帧数对预测效果的影响,并与基于递推最小二乘（RLS）算法的线性预测算法进行比较。对比结果表明,基于LMBP算法的非线性电压预测方法比基于递推最小二乘法的线性电压预测方法能更有效地降低系统由伺服延迟引起的误差。     

基于极端学习机的多变量混沌时间序列预测

针对多变量混沌时间序列预测问题, 提出了一种基于输入变量选择和极端学习机的预测模型. 其基本思想是 对多变量混沌时间序列进行相空间重构后, 采用互信息方法选择与预测输出统计相关最高的重构输入变量, 借助极端学习机的通用逼近能力建立多变量混沌时间序列的预测模型. 为进一步提高预测精度, 采用模型选择算法选择具有最小期望风险的极端学习机预测模型. 基于Lorenz, Rössler多变量混沌时间序列及Rössler超混沌时间序列的仿 真结果证明所提方法的有效性.     

基于平稳小波和相空间重构的激光混沌预测

提出了一种激光混沌时间序列预测算法.该算法通过平稳小波分解，将原始数据序列分解为与原序列等长的尺度系数和小波系数，利用坐标延迟理论，重建各级尺度系数和各级小波系数的相空间,再根据混沌吸引子的稳定性和分形性,在相空间中对尺度系数和小波系数进行预测,进而通过平稳小波重构算法,实现了时间序列的非线性预测.该算法对数据可以进行更平滑的处理，比无小波算法预测的时间范围更长.通过仿真试验说明，原始时间数据序列被成功的重建，说明算法能够有效的对非线性动态系统的时间序列进行建模和预测.     

基于鲁棒极端学习机的混沌时间序列建模预测

针对混沌时间序列预测模型易受异常点影响,导致模型预测精度低的问题,在贝叶斯框架下提出一种鲁棒极端学习机.所提模型将具有重尾分布特性的高斯混合分布作为模型输出似然函数,得到一种对异常点和噪声更具鲁棒性的预测模型.但由于将高斯混合分布作为模型输出似然函数后,模型输出的边缘似然函数变成难以解析处理的形式,因此引入变分方法进行近似推理,实现模型参数的估计.在加入异常点和噪声的情况下,将所提模型应用于大气环流模拟模型方程Lorenz序列以及Rossler混沌时间序列和太阳黑子混沌时间序列的预测中,预测结果验证了所提模型的有效性.     

一种基于并行化方法的自适应光学闭环预测控制器

自适应光学系统的性能受限于伺服系统的延迟误差和波前传感器的光电子噪声。提出了一种多模型单变量预测模型,该模型采用基于Levenberg-Marquardt学习算法的前馈型神经网络。利用计算机多核处理器,设计了一个具有并行处理能力的预测控制器,来实现对自适应光学闭环控制电压的预测,以消除延迟误差的影响。通过数值仿真实验,研究了预测控制器对控制电压和远场斯特雷尔比的影响,与未采用预测控制器的系统进行了比较,并对预测算法的并行性能进行了分析。实验结果表明,使用并行化方法的预测控制器可以有效缩短系统的预测时间,提高预测算法的加速比,与经典比例积分(PI)控制算法相比可以更有效地降低系统由于伺服延迟引起的误差,远场的斯特雷尔比有明显地提高。     

Network traffic prediction by a wavelet-based combined model

Network traffic prediction models can be grouped into two types, single models and combined ones. Combined models integrate several single models and thus can improve prediction accuracy. Based on wavelet transform, grey theory, and chaos theory, this paper proposes a novel combined model, wavelet--grey--chaos (WGC), for network traffic prediction. In the WGC model, we develop a time series decomposition method without the boundary problem by modifying the standard \grave\rm a trous algorithm, decompose the network traffic into two parts, the residual part and the burst part to alleviate the accumulated error problem, and employ the grey model GM(1,1) and chaos model to predict the residual part and the burst part respectively. Simulation results on real network traffic show that the WGC model does improve prediction accuracy.