基于优化核极限学习机的风电功率时间序列预测

针对时间序列预测,在单隐层前馈神经网络的基础上,基于进化计算的优化策略,提出了一种优化的核极限学习机(optimized kernel extreme learning machine,O-KELM)方法.与极限学习机(extreme learning machine,ELM)方法相比,核极限学习机(kernel extreme learning machine,KELM)方法无须设定网络隐含层节点的数目,以核函数表示未知的隐含层非线性特征映射,通过正则化最小二乘算法计算网络的输出权值,它能以极快的学习速度获得良好的推广性.在KELM的基础上,分别将遗传算法、模拟退火、微分演化三种进化算法用于模型的结构输入选择、正则化系数以及核参数的优化选取,以进一步提高网络的性能.将O-KELM方法应用于标准Mackey-Glass混沌时间序列预测及某地区的风电功率时间序列预测实例中,在同等条件下,还与优化的极限学习机(optimized extreme learning machine,O-ELM)方法进行比较.实验结果表明,所提出的O-KELM方法在预测精度上优于O-ELM方法,表明了其有效性.     

基于混合神经网络和注意力机制的混沌时间序列预测

为提高混沌时间序列的预测精度,提出一种基于混合神经网络和注意力机制的预测模型(Att-CNNLSTM),首先对混沌时间序列进行相空间重构和数据归一化,然后利用卷积神经网络(CNN)对时间序列的重构相空间进行空间特征提取,再将CNN提取的特征和原时间序列组合,用长短期记忆网络(LSTM)根据空间特征提取时间特征,最后通过注意力机制捕获时间序列的关键时空特征,给出最终预测结果.将该模型对Logistic,Lorenz和太阳黑子混沌时间序列进行预测实验,并与未引入注意力机制的CNN-LSTM模型、单一的CNN和LSTM网络模型、以及传统的机器学习算法最小二乘支持向量机(LSSVM)的预测性能进行比较.实验结果显示本文提出的预测模型预测误差低于其他模型,预测精度更高.     

一种基于无监督主动学习的苹果品质光谱无损检测模型构建方法

利用光谱技术实现农产品、食品品质无损检测的实质是建立样本光谱信息与样本品质参数之间的机器学习模型。为了获得具有良好泛化性能的机器学习模型,通常需要大量的标记样本,然而,获取样本的光谱信息相对容易,但标注样本品质参数的过程往往涉及到大量的时间和经济成本,并且具有破坏性。主动学习是一种减少训练集有标记样本数量的方法,通过选择最有价值的样本进行标记,而不是随机选择。因此,主动学习能够控制向训练集添加哪些样本,模型不再是被动地接受用于建模的样本。在分类任务中已经提出较多关于主动学习的算法,但回归任务中的研究却相对较少,且现有的用于回归任务的主动学习算法大多是有监督的,即需要少量有标记样本训练初始模型。本文提出了一种基于无监督主动学习方法的训练样本选择策略。该方法首先通过层次凝聚聚类对无标记（标准值）光谱数据集进行多样性划分,获得不同的聚类簇;然后通过局部线性重建算法在每个聚类簇中选择最具代表性的样本构成训练样本集,最后基于训练集构建模型。利用两个年份三个品种苹果的近红外光谱数据,构建了其可溶性固形物含量和硬度的偏最小二乘预测模型,用于验证所提出方法的有效性。实验结果表明：所提出的方法要优于已有的样本选择策略,可以有效地提高模型精度,减少在模型训练中的破坏性理化实验。同时,与随机采样（RS）、Kennard-Stone算法（KS）、光谱-理化值共生距离算法（SPXY）这三种光谱领域常用的样本选择算法相比,该研究所提出的方法表现出了最佳的性能, 基于所提出的无监督主动学习算法选取200个样本作为训练集所建立的可溶性固形物含量预测模型的预测均方根误差相对于其他三种算法降低了2.0%~13.2%,硬度预测模型的预测均方根误差相对降低了1.2%~15.7%。     

Traffic flow prediction based on BILSTM model and data denoising scheme

Accurate prediction of road traffic flow is a significant part in the intelligent transportation systems. Accurate prediction can alleviate traffic congestion, and reduce environmental pollution. For the management department, it can make effective use of road resources. For individuals, it can help people plan their own travel paths, avoid congestion, and save time. Owing to complex factors on the road, such as damage to the detector and disturbances from environment, the measured traffic volume can contain noise. Reducing the influence of noise on traffic flow prediction is a piece of very important work. Therefore, in this paper we propose a combination algorithm of denoising and BILSTM to effectively improve the performance of traffic flow prediction. At the same time, three denoising algorithms are compared to find the best combination mode. In this paper, the wavelet (WL) denoising scheme, the empirical mode decomposition (EMD) denoising scheme, and the ensemble empirical mode decomposition (EEMD) denoising scheme are all introduced to suppress outliers in traffic flow data. In addition, we combine the denoising schemes with bidirectional long short-term memory (BILSTM) network to predict the traffic flow. The data in this paper are cited from performance measurement system (PeMS). We choose three kinds of road data (mainline, off ramp, on ramp) to predict traffic flow. The results for mainline show that data denoising can improve prediction accuracy. Moreover, prediction accuracy of BILSTM+EEMD scheme is the highest in the three methods (BILSTM+WL, BILSTM+EMD, BILSTM+EEMD). The results for off ramp and on ramp show the same performance as the results for mainline. It is indicated that this model is suitable for different road sections and long-term prediction.     

基于角度优化的鲁棒极端学习机算法

针对数据集样本中带有噪声和离群点问题,提出了一种基于角度优化的鲁棒极端学习机算法。该方法利用鲁棒激活函数角度优化的原则,首先降低了离群点对分类算法的影响,从而保持数据样本的全局结构信息,达到更好的去噪效果。其次,有效的避免隐层节点输出矩阵求解不准的问题,进一步增强极端学习机的泛化性能。通过应用在普遍图像数据库上的实验结果表明,这种提出的算法与其他算法相比具有更强的鲁棒性和较高的识别率。     

混杂复合材料等效热传导性能预测的小波-机器学习混合方法

混杂复合材料是一种新型复合材料,其复杂的细观结构导致预测其等效热传导性能极富挑战性.本文结合渐近均匀化方法、小波变换方法和机器学习方法发展了一种新的可以有效预测混杂复合材料等效热传导性能的小波-机器学习混合方法.该方法主要包括离线多尺度建模和在线机器学习两部分.首先借助渐近均匀化方法通过离线多尺度建模建立了混杂复合材料的热传导性能材料数据库,然后利用小波变换方法对离线的材料数据库进行预处理,接下来分别运用人工神经网络和支持向量回归方法建立混杂复合材料等效热传导性能预测的在线机器学习模型.最后通过对周期和随机混杂复合材料进行数值实验,验证了小波-机器学习混合方法的有效性,数值实验结果表明小波-神经网络混合方法具有最优的预测效果和抗噪能力.此外,需要强调的是对于具有高维大规模数据特征的随机混杂复合材料,小波-机器学习混合方法不仅可以提取离线材料数据库的重要特征,还可以显著减少在线监督学习的输入数据规模并提高机器学习模型的训练效率及抗噪性能.本文建立的小波-机器学习混合方法不仅适用于混杂复合材料等效热传导性能的预测,还可进一步推广应用于复合材料等效物理、力学性能的预测.     

结合纹理因子和地形因子的森林蓄积量多光谱估测模型

森林蓄积量是林分调查中重要因子,是评价森林数量和质量的重要指标。传统森林蓄积量实测方法耗时费力、效率低下,多元线性回归遥感反演方法精度较低,难以达到精准林业要求。机器学习是一种利用训练数据,进行自我改进、自动提升性能的方法,可以任意逼近非线性系统,提高模型预测精度。以鹫峰林场森林为研究对象, 综合考虑影像光谱因子、纹理因子、地形因子,采用机器学习中的BP神经网络、最小二乘支持向量机、随机森林方法构建了森林蓄积量多光谱估测模型BP-FSV,LSSVM-FSV和RF-FSV,并在Matlab2014a中编程实现。旨在从建模因子选择和模型方法建立两个方面,优化建模因子特征提取,提高森林蓄积量模型预测精度。以角规观测样地实测数据、森林小班二类调查数据、林相图数据为基础,使用以上三种模型结合Landsat8 OLI多光谱数据分林型进行了森林蓄积量反演建模预测。以决定系数R2和均方根误差RMSE为指标,分析了三种反演模型的训练能力和预测能力。研究结果表明：利用3种机器学习方法构建的结合光谱因子、地形因子、纹理因子反演模型能够提高森林蓄积量的预测精度。以上模型中,RF-FSV模型在针、阔、混三种林型中都表现出较强的预测能力,高于BP-FSV模型,高于或接近于LSSVM-FSV模型。RF-FSV模型在训练阶段,R2和RMSE针叶林中为0.839和13.953 3,阔叶林中为0.924和7.634 1,混交林中为0.902和12.153 9,预测阶段R2和RMSE在针叶林中为0.816和15.630 1,阔叶林中为0.913和4.890 2,混交林中为0.865和9.344 1。RF-FSV模型建模精度和预测精度较高,为森林蓄积量遥感反演估测提供了一种新的方法。     

Time series prediction using wavelet process neural network

In the real world, the inputs of many complicated systems are time-varying functions or processes. In order to predict the outputs of these systems with high speed and accuracy, this paper proposes a time series prediction model based on the wavelet process neural network, and develops the corresponding learning algorithm based on the expansion of the orthogonal basis functions. The effectiveness of the proposed time series prediction model and its learning algorithm is proved by the Macke-Glass time series prediction, and the comparative prediction results indicate that the proposed time series prediction model based on the wavelet process neural network seems to perform well and appears suitable for using as a good tool to predict the highly complex nonlinear time series.     

基于高斯过程的混沌时间序列单步与多步预测

针对混沌时间序列单步和多步预测,提出基于复合协方差函数的高斯过程 (GP)模型方法.GP模型的确立由协方差函数决定,通过对训练数据集的学习,在证据最大化框架内,利用矩阵运算和优化算法自适应地确定协方差函数和均值函数中的超参数.GP模型与神经网络、模糊模型相比,其可调整参数很少.将不同复合协方差函数的GP模型应用在混沌时间序列单步及多步提前预测中,并与单一协方差函数的GP、支持向量机、最小二乘支持向量机、径向基函数神经网络等方法进行了比较.仿真结果表明,基于不同复合协方差函数的GP方法能精确地预测混沌时间序 关键词： 高斯过程 混沌时间序列 预测 模型比较     

基于鲁棒极端学习机的混沌时间序列建模预测

针对混沌时间序列预测模型易受异常点影响,导致模型预测精度低的问题,在贝叶斯框架下提出一种鲁棒极端学习机.所提模型将具有重尾分布特性的高斯混合分布作为模型输出似然函数,得到一种对异常点和噪声更具鲁棒性的预测模型.但由于将高斯混合分布作为模型输出似然函数后,模型输出的边缘似然函数变成难以解析处理的形式,因此引入变分方法进行近似推理,实现模型参数的估计.在加入异常点和噪声的情况下,将所提模型应用于大气环流模拟模型方程Lorenz序列以及Rossler混沌时间序列和太阳黑子混沌时间序列的预测中,预测结果验证了所提模型的有效性.     

Security concerns on machine learning solutions for 6G networks in mmWave beam prediction

6G – sixth generation – is the latest cellular technology currently under development for wireless communication systems. In recent years, machine learning (ML) algorithms have been applied widely in various fields, such as healthcare, transportation, energy, autonomous cars, and many more. Those algorithms have also been used in communication technologies to improve the system performance in terms of frequency spectrum usage, latency, and security. With the rapid developments of ML techniques, especially deep learning (DL), it is critical to consider the security concern when applying the algorithms. While ML algorithms offer significant advantages for 6G networks, security concerns on artificial intelligence (AI) models are typically ignored by the scientific community so far. However, security is also a vital part of AI algorithms because attackers can poison the AI model itself. This paper proposes a mitigation method for adversarial attacks against proposed 6G ML models for the millimeter-wave (mmWave) beam prediction using adversarial training. The main idea behind generating adversarial attacks against ML models is to produce faulty results by manipulating trained DL models for 6G applications for mmWave beam prediction. We also present a proposed adversarial learning mitigation method’s performance for 6G security in mmWave beam prediction application a fast gradient sign method attack. The results show that the defended model under attack’s mean square errors (i.e., the prediction accuracy) are very close to the undefended model without attack.     

基于周期性截断灰色系统的电力负荷预测

电力负荷预测是电力系统调度和电力生产计划制定的重要依据。电力负荷时间序列有着明显的周期性特征。传统的电力负荷预测主要侧重于预测方法的研究,而忽略了电力负荷数据周期性特性的分析,影响了预测的准确性。针对电力负荷时间序列的周期性特征,提出了一种基于周期性截断的灰色系统模型来进行电力负荷预测。该模型利用周期性截断来反映负荷数据的周期性特征,提高了预测的精度。仿真采用EUNITE Network的公开负荷数据进行算法性能的测试,并与一些主流的电力负荷预测算法：BP神经网络、极限学习机、自回归模型以及传统的灰色系统模型做比较。仿真结果表明,周期性截断的灰色系统负荷预测的归一化均方误差和绝对平均误差是最小的。周期性截断的灰色系统为电力系统负荷预测提供了一种新的有效方法。     

An Overview of Infrared Spectroscopy Based on Continuous Wavelet Transform Combined with Machine Learning Algorithms: Application to Chinese Medicines,Plant Classification,and Cancer Diagnosis

Abstract

Infrared spectroscopy has been a workhorse technique for materials analysis and can result in positively identifying many different types of material. In recent years there have been reports using wavelet analysis and machine learning algorithms to extract features of Fourier transform infrared spectrometry (FTIR). The machine learning algorithms contain back-propagation neural network (BPNN), radial basis function neural network (RBFNN), and support vector machine (SVM). This article reviews the important advances in FTIR analysis employing a continuous wavelet transform (CWT) and machine learning algorithms, especially in the applications of the method for Chinese medicine identification, plant classification, and cancer diagnosis.     

基于XRF-CNN土壤重金属Zn元素含量预测模型研究

结合X射线荧光光谱法,针对土壤中重金属元素Zn含量的预测问题,提出基于深度卷积神经网络回归预测模型。对原始土壤进行相关预处理,用粉末压片法制作土壤压片,采用X射线荧光光谱法(X-Ray-fluorescence,XRF)获取土壤光谱,相比于传统检测方式,XRF法具有检测速度快、精度高、操作简单、不破坏样品属性并且可实现多种重金属元素同时检测等优点,故将XRF与深度卷积神经网络相结合,实现对土壤中重金属Zn元素含量的精确预测。采用箱型图来剔除X射线荧光光谱中的异常数据,采用熵权法结合多元散射校正来对样品盒数据进行校正,采用Savitzky-Golay平滑去噪法以及线性本底法对光谱数据进行预处理,可以有效地解决由外界环境和人为因素产生的噪声及基线漂移等问题。针对卷积神经网络结构的特殊性,将获取的一维光谱数据向量,采用构建光谱数据矩阵的方式来进行处理,将同一浓度、同一含水率下5组平行光谱数据向量转化为二维光谱信息矩阵,以该矩阵作为深度卷积神经网络预测模型的输入,以适应卷积层的操作要求,利用深度卷积神经网络特殊的结构模式,能有效提取土壤光谱数据特征,提高了深度卷积神经网络预测模型的学习能力,降低模型的训练难度。深度卷积神经网络预测模型采用3层卷积层搭建,使用ReLU激活函数激活,采用最大池化方式,减少数据的维度,增加Dropout层,防止过拟合,使用ADAM优化器对预测模型进行优化。实验以平均相对误差(mean relative error, MRE)、损失函数(LOSS)、平均绝对误差(mean absolute error, MAE)确定了模型的最优学习率为10-3以及最优迭代次数为3000,并将深度卷积神经网络预测模型与BP预测模型、ELM预测模型、PLS预测模型进行对比,以均方误差(mean square error, MSE)、均方根误差(root mean square error, RMSE)、以及拟合系数R2来分析比较预测模型的好坏,结果表明,基于深度卷积神经网络预测模型在对土壤中重金属Zn元素含量预测方面优于BP,ELM,PLS三种预测模型,提高了预测精度。     

Attention Mechanisms and Their Applications to Complex Systems

Deep learning models and graphics processing units have completely transformed the field of machine learning. Recurrent neural networks and long short-term memories have been successfully used to model and predict complex systems. However, these classic models do not perform sequential reasoning, a process that guides a task based on perception and memory. In recent years, attention mechanisms have emerged as a promising solution to these problems. In this review, we describe the key aspects of attention mechanisms and some relevant attention techniques and point out why they are a remarkable advance in machine learning. Then, we illustrate some important applications of these techniques in the modeling of complex systems.     

基于流形学习的极端学习机及其在人脸识别中的应用

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用,然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响,当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力,针对这一问题本文提出一种基于流形学习的极端学习机,该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响,为验证所提方法的有效性,实验使用普遍应用的图像数据,实验结果表明本文所提算法能够显著提高ELM的泛化性能。     

Sentiment Analysis of Persian Movie Reviews Using Deep Learning

Sentiment analysis aims to automatically classify the subject’s sentiment (e.g., positive, negative, or neutral) towards a particular aspect such as a topic, product, movie, news, etc. Deep learning has recently emerged as a powerful machine learning technique to tackle the growing demand for accurate sentiment analysis. However, the majority of research efforts are devoted to English-language only, while information of great importance is also available in other languages. This paper presents a novel, context-aware, deep-learning-driven, Persian sentiment analysis approach. Specifically, the proposed deep-learning-driven automated feature-engineering approach classifies Persian movie reviews as having positive or negative sentiments. Two deep learning algorithms, convolutional neural networks (CNN) and long-short-term memory (LSTM), are applied and compared with our previously proposed manual-feature-engineering-driven, SVM-based approach. Simulation results demonstrate that LSTM obtained a better performance as compared to multilayer perceptron (MLP), autoencoder, support vector machine (SVM), logistic regression and CNN algorithms.     

基于局域相关向量机回归模型的小尺度网络流量的非线性预测

基于非线性时间序列局域预测法与相关向量机回归模型, 本文提出了局域相关向量机预测方法, 并应用于预测实际的小尺度网路流量序列. 应用基于信息准则的局域预测法邻近点的选取方法来选取局域相关向量机回归模型的邻近点个数. 对比分析了局域相关向量机预测法、前馈神经网络模型与局域线性预测法对网络流量序列的预测性能, 其中前馈神经网络模型的参数采用粒子群优化算法来优化. 实验结果表明: 邻近点优化后的局域相关向量机回归模型能够有效地预测小尺度网络流量序列, 归一化均方误差很小; 局域相关向量机回归模型生成的时间序列具有与原网络流量时间序列相一致的概率分布; 局域相关向量机回归模型的预测精度好于前馈神经网络模型的与局域线性预测法的. 关键词： 小尺度网络流量 非线性时间序列预测方法 局域预测法 相关向量机回归模型     

基于双向长短期记忆网络的太赫兹光谱识别

特征提取是太赫兹光谱识别的关键处理步骤,通常利用降维方法作为特征提取手段。然而,当一些化合物的太赫兹光谱曲线整体差异度较小时,降维方法往往会缺失样本差异的重要特征信息,从而导致分类错误。如果不采用降维方法提取特征,传统机器学习分类算法对维数较高的原始太赫兹光谱数据又不能很好的分类。针对此问题,提出了一种基于双向长短期记忆网络（BLSTM-RNN）自动提取太赫兹光谱特征的识别方法。BLSTM-RNN作为一种特殊的循环神经网络,利用其LSTM单元可以有效解决原始太赫兹光谱数据维数较高使得模型难以训练问题。再结合模型的双向频谱信息利用架构模式,可以增强模型对复杂光谱数据自动提取有效特征信息的能力。采用三类、15种化合物太赫兹透射光谱作为测试对象,首先利用S-G滤波和三次样条插值对Anthraquinone,Benomyl和Carbazole等十五种化合物在0.9～6 THz内的太赫兹透射光谱数据进行归一化处理,然后通过构建一个具有双向长短期记忆的循环神经网络对太赫兹光谱的全频谱信息进行自动特征提取并利用Softmax分类器进行分类。通过试验优化网络结构和各项参数,最终获得了针对复杂太赫兹透射光谱数据的预测模型,并与传统机器学习算法SVM,KNN及神经网络算法MLP,CNN进行对比实验。结果表明,dataset-1和dataset-2分别作为差异度较大和无明显峰值特征的五种化合物太赫兹透射光谱数据集,其平均识别率分别为100%和98.51%,与其他方法相比识别率有所提高;最重要的是,dataset-3作为5种化合物谱线极为相似的太赫兹透射光谱数据集,其平均识别率为96.56%,与其他方法相比识别率提高显著;dataset-4作为dataset-1,dataset-2和dataset-3的透射光谱数据集集合,其平均识别率为98.87%。从而验证了BLSTM-RNN模型能自动提取有效的太赫兹光谱特征,同时又能保证复杂太赫兹光谱的预测精度。在选择模型训练优化算法方面,使用Adam优化算法要好于RMSProp,SGD和AdaGrad,其模型的目标函数损失值收敛速度最快。同时随着模型训练迭代次数增加,相似太赫兹透射光谱数据集的预测准确率也不断提升。可为复杂太赫兹光谱数据库的光谱识别检索提供一种新的识别方法。