基于混合神经网络和注意力机制的混沌时间序列预测

为提高混沌时间序列的预测精度,提出一种基于混合神经网络和注意力机制的预测模型(Att-CNNLSTM),首先对混沌时间序列进行相空间重构和数据归一化,然后利用卷积神经网络(CNN)对时间序列的重构相空间进行空间特征提取,再将CNN提取的特征和原时间序列组合,用长短期记忆网络(LSTM)根据空间特征提取时间特征,最后通过注意力机制捕获时间序列的关键时空特征,给出最终预测结果.将该模型对Logistic,Lorenz和太阳黑子混沌时间序列进行预测实验,并与未引入注意力机制的CNN-LSTM模型、单一的CNN和LSTM网络模型、以及传统的机器学习算法最小二乘支持向量机(LSSVM)的预测性能进行比较.实验结果显示本文提出的预测模型预测误差低于其他模型,预测精度更高.     

基于循环神经网络的缝洞型油藏油井产量预测

利用神经网络的强大非线性映射和拟合能力，构建神经网络产量预测模型，并针对油田生产数据的高误差、易缺省等特性和曲线拟合预测不易收敛的情况，提出了训练数据集扩充方法和改良的均方误差损失函数.在拟合油井产量方面取得了显著的效果.     

基于Elman神经网络的装备状态组合预测方法

针对单一预测模型在利用多维状态特征信息进行状态预测时效果常常不够理想的情况,提出以灰色理论等模型作为单项预测模型,运用Elman神经网络进行变权组合预测的建模方法;考虑神经网络容易因过拟合导致预测时泛化能力变差的问题,运用遗传算法对神经网络隐层节点数和训练误差阈值进行优化求解,建立了完整的基于Elman神经网络的组合预测建模方法;最后,通过案例分析验证了该预测方法的有效性,结果表明组合预测能够将三步以内的预测相对误差控制在10%以内,大大优于定权组合预测模型。     

拉曼光谱结合WGANGP-ResNet算法鉴别病原菌种类

快速准确识别病原菌在防止传染病的传播、帮助对抗抗菌素耐药性和改善病人预后方面起着关键作用。拉曼光谱结合机器学习算法能够简单快捷地对病原菌进行无标记检测。然而,病原菌种类和表型繁多,并且深度学习需要依赖大量样本训练,而收集大批量病原菌拉曼光谱劳神费力,且易受荧光等因素影响。针对上述问题,提出一种基于WGAN-GP数据增强方法和ResNet结合的病原菌拉曼光谱检测模型。采用五种常见眼科病原菌的拉曼光谱。将采集到的原始数据归一化作为ResNet和传统卷积神经网络(1D-CNN)的输入,将经过SG滤波、 airPLS基线校正、 PCA降维等预处理后的数据作为K近邻(KNN)的输入,对比分析发现ResNet模型效果最优,其分类精度可达96%;搭建Wasserstein生成式对抗网络加梯度惩罚模型(WGAN-GP),生成大量与真实数据相似的高分辨率光谱数据。同时与偏移法、深度卷积生成式对抗神经网络(DCGAN)2种数据增强方法进行比对,证明WGAN-GP的可靠性;为验证生成数据可以丰富数据多样性,进而提高分类精度,将扩充后的数据集重新放入ResNet进行训练,最终WGAN-GP结合ResNet的分...     

光谱油样分析监测技术中的神经网络预测方法

光谱油样分析是机械磨损状态监测与故障诊断的重要技术,基于光谱数据的机械状态预测有利于发现机械系统的早期磨损故障。由于神经网络对于非线性模型的辨识和非平稳信号的预测,与传统预测模型相比具有明显的优势,文章将神经网络预测方法运用于光谱分析,提出了基于神经网络预测的光谱分析监测技术。在预测模型中采用了三层BP网络模型,针对神经网络的结构对于信号预测或模型辨识的精度具有影响很大的问题,文章利用遗传算法,对神经网络输入节点数、隐层节点数和网络收敛的均方误差(MSE)目标值进行了优化,得到了最优的网络预测模型。最后,对某发动机实际的光谱分析数据进行了预测和分析,并与传统ARMA模型的预测结果进行了比较,结果充分表明了本方法的有效性和优越性。     

基于遗传神经网络的VAV空调系统预测模型

针对单纯的机理建模方法难以准确预测变风量空调系统（VAV）的参数,利用BP神经网络构建了变风量空调系统的预测模型,并将遗传算法与BP网络相结合,提出运用遗传算法对神经网络的权值和阈值进行遗传搜索,寻优后再进行BP运算,以克服BP算法收敛速度慢、易陷入局部解的缺点。通过实验平台采集了大量数据对所建模型进行训练和验证,结果表明,模型对空调送风参数以及房间温湿度的预测结果与实测数据能很好拟合,精确度高,泛化能力强。     

基于Encoder-CNN的土壤氮含量光谱预测模型研究

基于光谱的土壤氮含量预测模型泛化能力弱是制约其推广应用的瓶颈。鉴于特征提取及非线性表达能力方面的优势,深度学习模型具有较强的泛化能力。提出一种融合自动编码器和卷积神经网络(Encoder-CNN)的土壤氮含量光谱预测模型,探索模型结构和参数对模型性能的影响。根据以往研究成果和相关性分析,获得180个与氮含量强相关的波长,将其作为Encoder-CNN模型输入,而将土壤氮含量作为模型输出。Encoder-CNN模型利用自动编码器的编码部分进行光谱数据降维,然后输入到卷积神经网络进行土壤氮含量预测。设计2种网络结构,每种网络结构包含2种不同参数设置,共4个模型,用以探索Encoder-CNN土壤氮含量光谱预测模型结构和参数对模型性能的影响。利用公开数据集LUCAS对模型进行训练。按3σ原则对公开数据集LUCAS进行异常值检测与处理,获得20 791个数据,其中18 711个样本作为训练集,2 080个样本作为测试集,对Encoder-CNN模型进行训练。结果表明：对于自动编码器,在相同隐含层数下,最后的隐含层神经元个数为30时,复现效果最优。增加隐含层数,会提升复现效果。增加卷积核数量,特别是尺寸为1×1卷积核,能够提高模型的预测性能与可靠性。增加池化层的网络结构,模型预测精度提升至0.90以上。增加全连接层神经元数量也会提升模型性能。利用自采集的黑龙江黑土实时光谱数据集进行模型迁移,观察模型泛化能力。当模型迭代100次后,在黑龙江数据集上的预测精度即可达到0.90以上;当迭代次数为900时,模型在训练集和测试集上的预测精度可以达到0.98。结果表明,所构建的Encoder-CNN土壤氮含量光谱预测模型具有较好的泛化能力。     

基于XRF-CNN土壤重金属Zn元素含量预测模型研究

结合X射线荧光光谱法,针对土壤中重金属元素Zn含量的预测问题,提出基于深度卷积神经网络回归预测模型。对原始土壤进行相关预处理,用粉末压片法制作土壤压片,采用X射线荧光光谱法(X-Ray-fluorescence,XRF)获取土壤光谱,相比于传统检测方式,XRF法具有检测速度快、精度高、操作简单、不破坏样品属性并且可实现多种重金属元素同时检测等优点,故将XRF与深度卷积神经网络相结合,实现对土壤中重金属Zn元素含量的精确预测。采用箱型图来剔除X射线荧光光谱中的异常数据,采用熵权法结合多元散射校正来对样品盒数据进行校正,采用Savitzky-Golay平滑去噪法以及线性本底法对光谱数据进行预处理,可以有效地解决由外界环境和人为因素产生的噪声及基线漂移等问题。针对卷积神经网络结构的特殊性,将获取的一维光谱数据向量,采用构建光谱数据矩阵的方式来进行处理,将同一浓度、同一含水率下5组平行光谱数据向量转化为二维光谱信息矩阵,以该矩阵作为深度卷积神经网络预测模型的输入,以适应卷积层的操作要求,利用深度卷积神经网络特殊的结构模式,能有效提取土壤光谱数据特征,提高了深度卷积神经网络预测模型的学习能力,降低模型的训练难度。深度卷积神经网络预测模型采用3层卷积层搭建,使用ReLU激活函数激活,采用最大池化方式,减少数据的维度,增加Dropout层,防止过拟合,使用ADAM优化器对预测模型进行优化。实验以平均相对误差(mean relative error, MRE)、损失函数(LOSS)、平均绝对误差(mean absolute error, MAE)确定了模型的最优学习率为10-3以及最优迭代次数为3000,并将深度卷积神经网络预测模型与BP预测模型、ELM预测模型、PLS预测模型进行对比,以均方误差(mean square error, MSE)、均方根误差(root mean square error, RMSE)、以及拟合系数R2来分析比较预测模型的好坏,结果表明,基于深度卷积神经网络预测模型在对土壤中重金属Zn元素含量预测方面优于BP,ELM,PLS三种预测模型,提高了预测精度。     

X射线光谱与神经网络中单组分型神经群结构研究

研究、比较了神经群结构与常规神经网络算法的预测性能,考察了过拟合与最佳拟合态等的关系。结果表明,在多元体系中,将神经网络单组分预测模型应用于Ｘ射线荧光光谱分析时,在预测准确度、模型稳定性和外推预测能力方面,神经群结构优于常规神经网络模型。     

使用条件生成对抗网络生成预定导热率多孔介质

多孔介质在工程领域中的应用非常广泛,其中有效导热率和孔隙率为多孔介质材料非常重要的性质,得到一个符合需要的有效导热率和孔隙率的多孔介质材料具有重要意义.本文使用四参数随机生成方法制作了训练数据集,搭建了一个条件生成对抗网络(CGAN),使用预定的有效导热率和孔隙率作为输入,生成一个满足输入条件的多孔介质结构.特别地,由于多孔介质的孔隙结构分布对材料的有效导热率影响巨大,提出局部结构损失函数参与网络训练,使得网络更好地学习到孔隙分布与导热率之前的关系.通过使用格子Boltzmann方法验证神经网络生成的多孔介质结构的有效导热率,结果表明该方法能够快速且准确地生成预定参数的多孔介质结构.     

Application of artificial neural networks to X-ray fluorescence spectrum analysis

X-ray fluorescence (XRF) is widely applied as a mature nondestructive testing method, and appropriate improvement of quantitative analysis methods can improve the accuracy of XRF. Artificial neural network is an intelligent information processing system, its developments and application in XRF are reviewed, and representative models (back propagation, radial basis function, genetic algorithm artificial neural network, and others) are discussed in more details in overfitting, generalization, and algorithm efficiency. Potential directions of developing artificial neural network applied in XRF are proposed in this review as a further study.     

基于PCA-BP神经网络的EDXRF分析测定地质样品中铁、钛元素含量的应用研究

为实现地质样品中元素含量的准确预测,提出了基于主成分分析(PCA)的改进型BP神经网络模型。采用X荧光光谱法,对新疆西天山地质样品中Fe,Ti,V,Pb和Zn等元素进行测量,将得到的X荧光计数作为输入变量,应用该模型对未知地质样品中Fe和Ti元素进行定量预测。结果表明：主成分分析与改进型BP神经网络模型取得了较好的预测效果,预测结果与化学分析值的相对误差小于3%,为地质样品元素含量预测提供了一种新型有效的方法。     

基于选择性支持向量机集成的混沌时间序列预测

提出了一种基于聚类的选择性支持向量机集成预测模型.为提高支持向量机集成的泛化能力，采用自组织映射和K均值聚类算法结合的聚类组合算法，从每簇中选择出精度最高的子支持向量机进行集成，可以保证子支持向量机有较高精度并提高了子支持向量机之间的差异度.该方法能以较小的代价显著提高支持向量机集成的泛化能力.采用该方法对Mackey-Glass混沌时间序列和Lorenz系统生成的混沌时间序列进行预测实验，结果表明可以对混沌时间序列进行准确预测，验证了该方法的有效性. 关键词： 支持向量机 集成 混沌时间序列 聚类     

An unmanned aerial vehicle identification and tracking system based on weakly supervised semantic segmentation technology

This paper presents an unmanned aerial vehicle (UAV) identification and tracking system aimed at monitoring UAVs based on weakly supervised semantic segmentation. A camera is equipped with a pan–tilt to collect images for semantic segmentation network in real time. The GrabCut+ algorithm and annotation boxes are employed to generate the UAV “pseudo pixel labels” for supervised model learning and reduce labelling costs. A new loss function combining the focus loss function and dice loss function is designed to balance positive and negative samples and improve the segmentation effect. The Mixup method is introduced for model training to prevent overfitting and enhance the generalization ability of the model. The semantic segmentation network outputs the prediction results by a fully connected conditional random field to smooth the target image. Furthermore, a region-based tracking method is proposed to solve the hysteresis problem of the pan–tilt control system and improve the system tracking performance. Finally, an experiment based on a dataset is carried out to prove the effectiveness of the segmentation algorithm with 66.3% mIoU. Considering that 10% of the central area of view is specified as the view centre, a UAV falling in the centre of the field accounts for more than 80% of this view area, demonstrating the real-time effectiveness of the designed UAV identification and tracking system.     

基于Hadoop的GA-BP网络在山洪预测中的研究

研究了山洪灾害监测预警系统中雨情数据的分布式存储和分布式预测。针对采集到的水文数据急剧增长和对预测精度和预报时效的要求不断提高,分别应用Hadoop分布式文件系统对数据进行分布式存储和 MapReduce框架结合遗传算法优化神经网络的权值和阈值进行分布式预测。采用基于BP神经网络的多因子山洪灾害雨量预测模型,结合遗传算法能够实现全局优化特点来优化神经网络的权值和阈值,并在数据并行处理过程中,采用了批处理和MapReduce工作流的方式,以误差和准确率来评估预测模型,解决了神经网络在处理海量数据时训练时间长等问题。实验表明,该方法可以在不影响准确度的前提下,大大缩短运行时间,提高预测效率。     

The application of neural networks to forecast fuzzy time series

Fuzzy time series models have been applied to handle nonlinear problems. To forecast fuzzy time series, this study applies a backpropagation neural network because of its nonlinear structures. We propose two models: a basic model using a neural network approach to forecast all of the observations, and a hybrid model consisting of a neural network approach to forecast the known patterns as well as a simple method to forecast the unknown patterns. The stock index in Taiwan for the years 1991–2003 is chosen as the forecasting target. The empirical results show that the hybrid model outperforms both the basic and a conventional fuzzy time series models.     

A spintronic memristive circuit on the optimized RBF-MLP neural network

A radial basis function network (RBF) has excellent generalization ability and approximation accuracy when its parameters are set appropriately. However, when relying only on traditional methods, it is difficult to obtain optimal network parameters and construct a stable model as well. In view of this, a novel radial basis neural network (RBF-MLP) is proposed in this article. By connecting two networks to work cooperatively, the RBF's parameters can be adjusted adaptively by the structure of the multi-layer perceptron (MLP) to realize the effect of the backpropagation updating error. Furthermore, a genetic algorithm is used to optimize the network's hidden layer to confirm the optimal neurons (basis function) number automatically. In addition, a memristive circuit model is proposed to realize the neural network's operation based on the characteristics of spin memristors. It is verified that the network can adaptively construct a network model with outstanding robustness and can stably achieve 98.33% accuracy in the processing of the Modified National Institute of Standards and Technology (MNIST) dataset classification task. The experimental results show that the method has considerable application value.     

基于深度架构网络的矮新星自动分类研究

矮新星是一类特殊而稀少的半相接双星。发现更多的矮新星对于深入研究物质转移理论、理解密近双星演化过程意义深远。利用深度学习技术提取天体光谱特征并进而分类是天文数据处理领域的研究热点。传统的自编码器是仅包含一个隐层的经典神经网络模型,编码能力有限,数据表征学习能力不足。模块化拓宽神经网络的深度能够驱使网络继承地学习到天体光谱的特征,通过对底层特征的逐渐抽象学习获得高层特征,进而提高光谱的分类准确率。以自编码器为基础构建了由输入层、若干隐藏层和输出层组成的基于多层感知器架构的深度前馈堆栈式自编码器网络,用于处理海量的光谱数据集,挖掘隐藏在光谱内部具有区分度的深度结构特征,实现对矮新星光谱的准确分类。鉴于深度架构网络的参数设置会严重影响所构建网络的性能,将网络参数的优化分为逐层训练和反向传播两个过程。预处理后的光谱数据先由输入层进入网络,再经自编码器算法和权值共享实现对网络参数的逐层训练。反向传播阶段将初始样本数据再次输入网络,以逐层训练所得的权值对网络初始化,再把网络各层的局部优化训练结果融合起来,根据所设置的输出误差代价函数调整网络参数。反复地逐层训练和反向传播,直到获得全局最优的网络参数。最后由末隐层作为重构层搭建支持向量机分类器,实现对矮新星的特征提取与分类。网络参数优化过程中利用均值网络思想使网络隐层单元输出按照dropout系数衰减,并由反向传播算法微调整个网络,从而防止发生深度过拟合现象,减少因隐层神经元间的相互节制而学习到重复的数据表征,提高网络的泛化能力。该网络分布式的多层次架构能够提供有效的数据抽象和表征学习能力,其特征检测层可从无标注数据中隐式地学习到深度结构特征,有效刻画光谱数据的非线性和随机波动性,避免了光谱特征的显式提取,体现出较强的数据拟合和泛化能力。不同层之间的权值共享能够减少冗余信息的干扰,有效化解传统多层次架构网络易陷入权值局部最小化的风险。实验表明,该深度架构网络在矮新星分类任务中能达到95.81%的准确率,超过了经典的LM-BP网络。     

Nonlinear Time Series Prediction Using Chaotic Neural Networks

A nonlinear feedback term is introduced into the evaluation equation of weights of the backpropagation algorithm for neural network,the network becomes a chaotic one.For the purpose of that we can investigate how the different feedback terms affect the process of learning and forecasting,we use the model to forecast the nonlinear time series which is produced by Makey-Glass equation.By selecting the suitable feedback term,the system can escape from the local minima and converge to the global minimum or its approximate solutions,and the forecasting results are better than those of backpropagation algorithm.     

一种基于误差补偿的多元混沌时间序列混合预测模型

针对多元混沌时间序列的预测问题, 考虑到单纯改进储备池算法无法明显地提高预测精度, 提出一种基于误差补偿的时间序列混合预测模型. 实际观测的数据既包含线性特征又包含非线性特征. 首先利用自回归移动平均模型预测线性特征, 使得残差数据仅含非线性特征; 然后, 建立正则化回声状态网络模型预测; 最后, 将非线性部分的预测值与线性部分的预测值相加, 以实现高精度的多元混沌时间序列预测. 基于Lorenz和太阳黑子-黄河径流量时间序列的仿真实验验证了本文所提模型的有效性. 关键词： 回声状态网络 混沌 多元时间序列预测 误差补偿