LASP软件3.0版本的最新进展：针对多元素的全局神经网络势函数以及长程相互作用描述符

基于神经网络势函数的大尺度原子模拟软件(LASP软件)是我们在2018年开发的软件平台(www.lasphub.com),主要用于针对复杂材料体系的原子模拟. 软件整合了基于机器学习的神经网络势函数计算与全局势能面搜索功能,可以广泛运用于各种材料的结构预测以及化学反应机理研究. 本文介绍了我们在最近发布的LASP软件3.0版本中的一些更新,主要聚焦在针对神经网络势函数的一些重要改进,包括为多元素体系设计的多重神经网络架构,以及为长程相互作用设计的S⁷和S⁸两个新的基于幂指数结构描述符. 这些新的改进一方面提高了势函数的计算精度,另一方面降低了基于神经网络势函数的大尺度原子模拟软件软件对多元素体系的训练代价. 本文利用Cu-C-H-O神经网络势函数以及Cu(111)表面催化甘油裂解反应这一非均相催化体系对新的功能进行测试,结果表明,通过使用已有的神经网络作为输入,多重神经网络架构可以将训练效率提高50%. 分子动力学模拟结果表明,基于双重网络,以及S⁷、S⁸结构描述符的CuCHO势函数具有良好的稳定性,且计算精度可以提高1倍.     

用于混沌时间序列预测的多簇回响状态网络

研究了混沌时间序列预测问题.提出了一种由五元生长因子组调控的类皮层神经网络模型,即多簇回响状态网络模型（MCESN）.研究表明该生长因子组能够有效决定模型的拓扑性质;同时具备小世界和无标度等复杂网络特征的MCESN能够获得较优的预测结果.通过Monte Carlo仿真实验表明,该模型不仅训练算法简单,而且与常规回响状态网络比较,预测结果的精度更高、标准差更小. 关键词： 混沌时间序列预测 回响状态网络 复杂网络 Ω复杂性')" href="#">Ω复杂性     

基于邻域粗糙集和并行神经网络的故障诊断

针对目前使用神经网络诊断故障时出现的输入向量选择困难、网络结构复杂、对并发故障诊断效果不好等问题,提出了基于邻域粗糙集和并行神经网络的故障诊断方法。先利用邻域粗糙集对初始征兆进行约简,留下有价值的征兆作为神经网络的输入向量,然后针对每种故障类型设计一个神经网络。用多个训练好的神经网络来并行诊断故障,综合每个神经网络的结果给出最终的诊断结论。用转子实验台的实验数据对这种故障诊断方法进行验证,结果显示该方法能优化神经网络结构,且神经网络具有训练速度快、诊断正确率高的特点。     

高效选取线性独立的原子特征构建精确机器学习势函数

机器学习势由于具有与第一性原理计算相当的准确性,且低得多的计算成本,在原子模拟中极具前景. 然而原子机器学习势的可靠性、速度和可迁移性在很大程度上取决于原子构型的表示. 适当地选取用作机器学习程序输入的描述符是一个成功的机器学习表示的关键. 本文发展了一种简单有效的方法,可以基于训练数据固有的相关性,从大量待选的描述符中自动选取一组最佳的线性独立原子特征. 通过对几个具有较少冗余线性独立嵌入密度描述符的基准分子构建嵌入原子神经网络势的应用,证明了这种新方法的有效性和准确性. 该算法可以大大简化原子特征的初始选取,并极大地提高原子机器学习势的性能.     

Kohonen网络与BP网络用于钨和钼的同时测定

Kohonen与BP人工神经网络结合用于解析钨和钼的吸收光谱,讨论了Kohonen网络输出层的拓扑结构,并利用确定的结构对钨和钼的重叠光谱进行波长选择,在全光谱中选择最能代表光谱特征的不同类波长。所选波长处的吸光度作为三层BP-ANN网络的输入集,分光光度法同时测定了钨和钼。利用Kohonen网络选择全谱特征波长,优化了BP-ANN的输入层。与常规的波长选择方法进行比较,分析结果表明, 经K-ANN方法进行波长选择后,提高了BP-ANN的预测能力。确立了Kohonen网络作为选择最优波长集的一种工具。     

DFTSA-Net: Deep Feature Transfer-Based Stacked Autoencoder Network for DME Diagnosis

Diabetic macular edema (DME) is the most common cause of irreversible vision loss in diabetes patients. Early diagnosis of DME is necessary for effective treatment of the disease. Visual detection of DME in retinal screening images by ophthalmologists is a time-consuming process. Recently, many computer-aided diagnosis systems have been developed to assist doctors by detecting DME automatically. In this paper, a new deep feature transfer-based stacked autoencoder neural network system is proposed for the automatic diagnosis of DME in fundus images. The proposed system integrates the power of pretrained convolutional neural networks as automatic feature extractors with the power of stacked autoencoders in feature selection and classification. Moreover, the system enables extracting a large set of features from a small input dataset using four standard pretrained deep networks: ResNet-50, SqueezeNet, Inception-v3, and GoogLeNet. The most informative features are then selected by a stacked autoencoder neural network. The stacked network is trained in a semi-supervised manner and is used for the classification of DME. It is found that the introduced system achieves a maximum classification accuracy of 96.8%, sensitivity of 97.5%, and specificity of 95.5%. The proposed system shows a superior performance over the original pretrained network classifiers and state-of-the-art findings.     

SELECTION OF TRAINING SAMPLES FOR MODEL UPDATING USING NEURAL NETWORKS

One unique feature of neural networks is that they have to be trained to function. In developing an iterative neural network technique for model updating of structures, it has been shown that the number of training samples required increases exponentially as the number of parameters to be updated increases. Training the neural network using these samples becomes a time-consuming task. In this study, we investigate the use of orthogonal arrays for the sample selection. A comparison between this orthogonal arrays method and four other methods is illustrated by two numerical examples. One is the update of the felxural rigidities of a simply supported beam and the other is the update of the material properties and the boundary conditions of a circular plate. The results indicate that the orthogonal arrays method can significantly reduce the number of training samples without affecting too much the accuracy of the neural network prediction.     

深度神经网络在红外光谱定量分析VOCs中的应用

鉴于浅层人工神经网络(ANN)需要依靠先验知识进行人工提取特征,同时较浅的网络结构限制了神经网络学习复杂非线性关系的能力,将深度神经网络(DNN)应用于利用傅里叶变换红外光谱(FTIR)对多组分易挥发性有机物(VOCs)进行的浓度反演研究,并利用仿真实验验证了算法的有效性。从美国环境保护署(EPA)的数据库中选取了包括苯、甲苯、 1,3-丁二烯、乙苯、苯乙烯、邻二甲苯、间二甲苯、对二甲苯在内的八种VOCs气体在8~12μm波长范围内的吸光度谱,每种气体有四种不同浓度下的谱线,依据Beer-Lambert定律从每种VOCs气体中选择一种浓度下的吸光度谱进行混合,得到65 536种不同的VOCs混合气体吸光度谱样本。随机选择5 000组混合气体的吸光度谱,其中4 000组作为训练样本, 1 000组作为预测样本。通过积分提取和主成分提取对光谱矩阵进行降维预处理,将光谱维度从3 457维降到30维。将光谱矩阵经过预处理后得到的新矩阵作为网络输入,对应八种VOCs的浓度矩阵作为输出,建立了30-25-15-10-8的深度神经网络回归预测模型来实现多组分VOCs浓度反演,反演得到样本的均方根误差为0.002 7×10-6,相比于前人利用非线性偏最小二乘拟合、人工神经网络等方法拟合的精度有了明显的提高。每种VOCs气体的均方根误差均不超过0.005×10-6,每个样本的均方根误差均不超过0.006×10-6,证明了深度神经网络预测模型具有良好的非线性拟合能力和良好的稳定性。当训练样本不足(典型值:小于500)时,深度神经网络无法充分地学习,网络误差较大,精度低于单隐藏层的人工神经网络,但随着训练样本数量的增加,深度神经网络的精度不断提高,当训练样本数充足时,相比浅层的人工神经网络,深度神经网络具有更强的非线性关系学习能力,预测精度更高,模型更为稳定。同时,由于训练前对光谱矩阵进行了降维处理,大大降低了算法的复杂度,有效提高了反演效率。分析表明,深度神经网络预测模型具有良好的非线性拟合能力和良好的稳定性,无需人工提取特征就能够充分学习数据特征,同时对多组分VOCs进行浓度反演并达到较高精度。     

基于BP神经网络和激光诱导击穿光谱的燃煤热值快速测量方法研究

作为煤质评价的重要指标之一,热值的快速、准确测量对电厂燃煤锅炉的优化燃烧和经济运行至关重要。采用激光诱导击穿光谱(LIBS)技术结合BP神经网络定量分析模型和聚类分析,以35个煤粉样品作为研究对象进行热值的定量分析。基体效应对LIBS光谱数据的显著影响,针对基于某类煤粉样品所建立的定标曲线不能直接用于不同煤种的定量分析,采用K-means聚类方法根据热值、灰分、挥发分把样品分为三类对训练集和预测集样品进行优化选择。通过谱线强度和热值变量相关性分析,同时考虑特征谱线的物理意义,最终提取12条元素谱线的峰值强度作为输入参数,建立BP神经网络模型对燃煤热值进行预测。定标结果表明,建立的神经网络模型具有良好的定量分析能力,定标曲线拟合度R2为0.996,热值预测值的相对误差低于3.42%,多次重复测量的相对标准偏差在4.23%以内。对聚类分析中3类样品具有不同的预测能力,采用峰值强度作为输入参数时,能够在一定程度上减弱试验参数波动和基体效应造成的影响。定量分析结果的重复性和准确性可以通过对不同类别的煤种分别建立BP神经网络模型来进一步改善。LIBS技术结合BP神经网络可以对煤粉热值进行定量分析,在现场在线/快速检测领域具有很好的应用价值和潜力。     

A Supervised Link Prediction Method Using Optimized Vertex Collocation Profile

Classical link prediction methods mainly utilize vertex information and topological structure to predict missing links in networks. However, accessing vertex information in real-world networks, such as social networks, is still challenging. Moreover, link prediction methods based on topological structure are usually heuristic, and mainly consider common neighbors, vertex degrees and paths, which cannot fully represent the topology context. In recent years, network embedding models have shown efficiency for link prediction, but they lack interpretability. To address these issues, this paper proposes a novel link prediction method based on an optimized vertex collocation profile (OVCP). First, the 7-subgraph topology was proposed to represent the topology context of vertexes. Second, any 7-subgraph can be converted into a unique address by OVCP, and then we obtained the interpretable feature vectors of vertexes. Third, the classification model with OVCP features was used to predict links, and the overlapping community detection algorithm was employed to divide a network into multiple small communities, which can greatly reduce the complexity of our method. Experimental results demonstrate that the proposed method can achieve a promising performance compared with traditional link prediction methods, and has better interpretability than network-embedding-based methods.     

Knowledge-Based Artificial Neural Network Models for Microstrip Radial Stubs

Radial stubs are a superior choice over low characteristic impedance rectangular stubs in terms of providing an accurate localized zero-impedance reference point and maintaining a low input impedance value over a wide frequency range. In this paper, knowledge-based artificial neural networks are used to model the microstrip radial stubs. Using space-mapping technology and Huber optimization make the neural network models for radial stubs decrease the number of training data, improve generalization ability, and reduce the complexity of the neural network topology with respect to the classical neuromodeling approach. The neural networks are developed for design and optimization of radial stubs, which are robust both from the angle of time of computation and accuracy.     

三维荧光光谱结合平行因子及神经网络对清香型白酒的年份鉴别

以某清香型白酒为研究对象,将三维荧光光谱技术与平行因子分析方法(parallel factor analysis,PARAFAC)、BP神经网络结合,建立清香型白酒年份鉴别模型。首先,利用FLS920全功能型荧光光谱仪测量获得不同年份白酒的三维荧光光谱数据,对激发发射三维矩阵进行三线性分解,得到四个主成分对应的浓度得分和激发-发射光谱轮廓图。将这4个浓度得分作为BP神经网络的输入,建立10,20和30年份白酒的鉴别模型。随机选取每个年份的10个样本,共30个样本组成测试集,剩余的90个白酒样本组成训练集建立训练模型。据此对未知样品进行预测,其预测正确率分别为90%,100%和100%。同时将该方法与多维偏最小二乘判别分析法(multi-way partial least squares discriminant analysis, NPLS-DA)进行了比较。研究结果表明：平行因子结合神经网络的判别模型具有更强的预测能力,该方法能够有效提取年份白酒的特征光谱信息,同时又降低了神经网络输入变量的维数,取得较好的鉴别效果。     

基于自归一化神经网络的脉冲星候选体选择

脉冲星候选体选择是脉冲星搜寻任务中的重要步骤.为了提高脉冲星候选体选择的准确率,提出了一种基于自归一化神经网络的候选体选择方法.该方法采用自归一化神经网络、遗传算法、合成少数类过采样这三种技术提升对脉冲星候选体的筛选能力.利用自归一化神经网络的自归一化性质克服了深层神经网络训练中梯度消失和爆炸的问题,大大加快了训练速度.为了消除样本数据的冗余性,利用遗传算法对脉冲星候选体的样本特征进行选择,得到了最优特征子集.针对数据中真实脉冲星样本数极少带来的严重类不平衡性,采用合成少数类过采样技术生成脉冲星候选体样本,降低了类不平衡率.以分类精度为评价指标,在3个脉冲星候选体数据集上的实验结果表明,本文提出的方法能有效提升脉冲星候选体选择的性能.