基于卷积神经网络的焊缝缺陷图像分类研究

为有效地对焊缝缺陷进行分类，从而判断焊接质量的等级，对传统卷积神经网络进行改进，提出一种多尺度压缩激励网络模型（SINet）。将4组两两串联的3×3卷积模块与Inception模块、压缩激励模块（SE block）相结合。通过多尺度压缩激励模块（SI module）将卷积层中的特征进行多尺度融合和特征重标定以提高分类准确率，并用全局平均池化层代替全连接层减少模型参数。此外考虑到焊接缺陷数量不平衡对准确率的影响，采用深度卷积对抗生成网络（DCGAN）进行数据集的平衡处理，并在该数据集上验证模型的有效性。与传统卷积神经网络相比，该模型具有良好的性能，在测试集上准确率达到96.77%，同时模型的参数个数也明显减少。结果表明该方法对焊缝缺陷图像能进行有效地分类。     

一种基于Inception思想的人脸表情分类深度学习算法研究

人脸的情感识别在人机交互领域有着重要作用,对人脸表情进行分类也是研究图像情感的一种方法。针对目前公开的人脸表情数据集数据量少,卷积神经网络的结构较复杂、参数多且计算量大、易出现过拟合的现象,需要构建一种针对小数据集的人脸表情分类模型。利用MTCNN模型进行人脸检测后,结合Inception的思想提出一种新的卷积神经网络模型,使用1×1卷积核对特征维数进行缩减,增加并平衡网络深度和宽度的同时不增加额外的计算负担,更精准的对人脸特征进行提取。经实验验证,提出的算法在CK+和JAFFE人脸数据集上,较其他方法有更好的效果,构建的人脸表情分类卷积神经网络模型能有效进行人脸表情的分类。     

基于声发射和GAN-CNN的铝合金管道法兰 连接松动泄漏检测*

面向管道法兰连接松动引起的泄漏检测需求,为解决数据样本不足和减少特征指标手动选取的繁琐环节。本文,考虑到生成性对抗网络（GAN）作为数据扩充工具,已被证明能够生成与真实数据相似的样本数据。同时,卷积神经网络（CNN）作为一种深度学习方法,为自动提取数据的特征提供了一种有效的方法。开展了基于GAN和CNN的铝合金管道法兰连接松动泄漏检测研究。首先,搭建管道泄漏标定和数据采集实验台,利用声发射技术获取不同等级的原始泄漏信号。其次,采用GAN生成样本数据扩充原始数据。同时,为了评估生成模型的性能,引入统计特评估生成质量。最后,将生成的样本数据与原始数据设置为不同训练集,基于卷积神经网络构建智能分类检测模型,应用于管道泄漏检测。同时,分类检测结果与小样本智能分类方法SVM进行了比较,实验结果表明,基于GAN和CNN构建的智能分类模型可显著提高管道法兰连接松动泄漏检测精度。     

多模态磁共振脑肿瘤图像自动分割算法研究

脑肿瘤图像自动分割的难点在于肿瘤形态各异,且类别不平衡情况比较严重,常规的卷积神经网络难以预测出高精度分割图像。针对以上问题,在原始3D-Unet的基础上提出一种改进模型,以混合膨胀卷积模块代替常规卷积模块,指数级地增大神经元的感受野,同时减小网络深度,避免上采样时无法恢复小目标的情况。同时以混合损失函数代替原来的Dice损失函数,加强稀疏类分类错误时对模型的惩罚,迫使模型更好地学习分类错误的样本。实验结果表明,混合膨胀卷积模块与混合损失函数能分别提高整个肿瘤区域和肿瘤核心区域的预测精度,提出的3D-HDC-Unet模型改善了脑肿瘤自动分割的多项性能参数。     

深度卷积网络的多品种多厂商药品近红外光谱分类

近红外光谱（NIR）分析具有分析高效、样品无损、环境无污染以及可现场检测等优点,特别适合药品的快速建模分析。但NIR存在吸收强度弱以及谱带重叠等缺点,需要建立稳健可靠的化学计量学模型对其进行分析。深度卷积神经网络是深度学习方法中一个重要分支,它通过逐层抽取数据特征并进行组合、转换,形成更高层的语义特征,具有极强的建模能力,广泛应用于计算机视觉、语音识别等领域,而在药品NIR分析方面尚未见报道。基于深度卷积网络模型,对药品NIR多分类建模进行研究。针对药品NIR数据的特点,设计若干个面向多品种、多厂商药品NIR分类的一维深度卷积网络模型。模型中卷积层和池化层交叠排列用于逐层抽取NIR数据特征,输出层连接softmax分类器,对药品NIR数据进行分类概率预测。在输出层之前采用全局最大池化层,将特征图进行整体池化,形成一个特征点,用于解决全连接层存在的限制输入维度大小,参数过多的问题。同时,在网络模型中引入批处理操作和dropout机制,以防止梯度消失和减小网络过拟合的风险。在网络模型的设计过程中,通过设计不同的卷积网络层数以及不同的卷积核尺寸大小,分析其对建模效果的影响,同时分析五种经典数据预处理方法对NIR分析的影响。以我国7个厂商生产的头孢克肟片和11个厂商生产的苯妥英钠片样本NIR为实验对象, 建立药品的多品种、多厂商分类模型,该模型在二分类、多分类实验中取得了良好的分类效果。在十八分类实验中,当训练集与测试集比例为7∶3时,分类准确率为99.37±0.45,比SVM, BP, AE和ELM算法取得更优的分类性能。同时,深度卷积神经网络模型推理速度较快,优于SVM和ELM算法,但训练速度慢于二者。大量实验结果表明,深度卷积神经网络可对多品种、多厂商药品NIR数据准确、可靠地判别分类,且模型具有良好的鲁棒性和可扩展性。该方法也可推广到烟草、石化等其他领域的NIR数据分类应用中。     

神经网络的声场景自动分类方法*

声场景探察和自动分类能帮助人类制定应对特定环境的正确策略,具有重要的研究价值。随着卷积神经网络的发展,出现了许多基于卷积神经网络的声场景分类方法。其中时频卷积神经网络(TS-CNN)采用了时频注意力模块,是目前声场景分类效果最好的网络之一。为了在保持网络复杂度不变的前提下进一步提高网络的声场景分类性能,该文提出了一种基于协同学习的时频卷积神经网络模型(TSCNN-CL)。具体地说,该文首先建立了基于同构结构的辅助分支参与网络的训练。其次,提出了一种基于KL散度的协同损失函数,实现了分支与主干的知识协同,最后,在测试过程中,为了不增加推理计算量,该文提出的模型只使用主干网络预测结果。在ESC-10、ESC-50和UrbanSound8k数据集的综合实验表明,该模型分类效果要优于TS-CNN模型以及当前大部分的主流方法。     

基于一维卷积神经网络和拉曼光谱的肺炎支原体菌株分类

肺炎支原体是造成人类呼吸系统疾病的主要原因。临床中,患者感染不同肺炎支原体症状极为相似,很难根据症状判别肺炎支原体类型并对症给药。因此,准确判别肺炎支原体菌株类型对于发病机理和疾病流行病学研究以及临床精准治疗具有重要意义。拉曼光谱具有快速、高效、无污染等优点,在生物医学领域逐渐得到越来越多研究者们的关注。一维卷积神经网络（1D-CNN）是一类包含卷积运算且具有深度结构的前反馈网络,在语音信号和振动信号分析等方面取得成功应用。提出一维卷积神经网络与拉曼光谱技术结合,针对肺炎支原体主要基因型M129型和FH型样本的拉曼光谱数据集,实现肺炎支原体菌株分类。利用光谱数据增强方法扩充原光谱数据集作为模型输入,训练一维卷积神经网络模型,解决由于小样本导致卷积神经网络数据饥渴问题;为了得到最好的肺炎支原体分类效果并加速学习过程,优化模型结构并确定最佳模型参数;拉曼光谱测量时常混有高斯噪声、泊松噪声和乘性噪声,为优化模型抗噪能力,将原光谱分别叠加高斯噪声、泊松噪声和乘性噪声,训练一维卷积神经网络模型并和LDA,KNN和SVM等传统算法进行比较。实验结果表明基于1D-CNN方法,对于叠加高斯噪声的光谱数据所建模型分类正确率为98.0%,叠加泊松噪声的光谱数据分类正确率为97.0%,叠加乘性噪声的光谱数据分类正确率为97.0%,分类正确率远高于基于LDA,KNN和SVM等传统算法所建模型分类正确率;同时构造叠加5,15,25,35,45和55 dBW不同强度噪声的光谱数据集,当噪声达到55 dBW时,1D-CNN模型仍能取得92.5%的分类正确率。因此,一维卷积神经网络结合拉曼光谱技术应用于肺炎支原体菌株类型分类是可行的,具有抗噪声能力强和分类正确率高的优点,该研究为肺炎支原体肺炎快速诊断提供新思路。     

多种深度学习方法组合应用于小样本空间目标分类研究

随着近年来光谱探测仪器灵敏度、精确度和易用度的不断提升,光谱技术已经深入到各行各业的物质成分的鉴定与分析中。对于空间目标的光谱观测是传统光学观测的重要拓展之一,因其具有的非接触、无损伤等优点而备受关注,然而由于观测条件所限,空间目标的光谱数据量极小,通过传统方法对其进行分类分析达不到较好效果,必须探求提高分类精度的方法。首先,通过1.2 m空间目标光学望远镜上搭载的光谱相机终端获取空间目标高光谱图像;再通过天文学测光IRAF方法,提取空间目标的一维光谱数据;为对空间目标光谱进行分类,提出一种结合多种深度学习方法解决小样本数据量的空间目标分类问题。该方法应用密度聚类方法将空间目标粗糙分类,一维生成对抗网络方法增加空间目标数据,一维卷积神经网络方法将空间目标精细分类,三者组合进而达到较好的实验效果,整体精度约为79.1%（基于密度聚类、过采样、一维卷积神经网络方法组合、基于K-means、一维生成对抗网络、一维卷积神经网络方法组合和基于K-means、过采样、一维卷积神经网络方法组合的整体精度分别约为78.4%,77.9%和77.2%）。粗糙分类模型中,密度聚类方法比K-means方法整体精度平均高出约为0.67%;数据增广模型中,一维生成对抗网络方法比过采样方法整体精度平均高出约为1.52%;精细分类模型中,一维卷积神经网络方法二层网络比三层网络整体精度平均仅高出约为0.003%,但是运算时间更长。四种组合方法精度均高于单一方法。实验结果表明本文提出的组合方法在小样本空间目标类别未知情况下,可实现细分类且精度较高,为实现空间目标极小数据量下的图谱一体化分析,提供一定参考价值。     

采用自注意力机制的OCT图像AMD亚型分类研究

目前基于卷积神经网络(CNN)的视网膜光学相干层析成像(OCT)图像分类方法存在对于小范围病变区域识别不清的问题,导致在判断年龄相关性黄斑变性(AMD)疾病干湿性、脉络膜新生血管形成(CNV)的活动性时准确率不高,而正确判断病变类型对于眼科医生制定治疗方案至关重要。为此本文提出了一种基于自注意力机制的CNN模型MobileX-ViT,将传统卷积层和自注意力模块结合,同时提取浅层网络的特征信息并获取图像的全局信息,以提高模型分类准确率。实验证明,相比于经典CNN分类模型Inception-V3、ResNet-50、VGG-16和MobileNeXt,文章提出模型在分类准确率上分别提高了5.6%、5.3%、4.5%和2.8%,证明了模型的有效性,为解决目前视网膜OCT图像分类中对于小范围病变区域识别不清的问题提供了新的方法。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型。首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提取结构,实现了多尺度特征的融合;最后,利用注意力机制使网络关注重要的空谱特征,并抑制噪声和冗余信息。在两个常用数据集上对本文算法和四种基于深度学习的分类算法进行对比实验,结果表明,所提模型取得了最准确的分类结果,有效提高了训练样本有限条件下的分类精度。     

深度残差收缩网络的含噪微泄漏超声识别方法*

在利用声学信号进行泄漏检测时,复杂的背景噪声往往会淹没微弱的泄漏信号,导致误判率高。针对微小泄漏在含噪环境中识别困难的问题,提出了基于深度残差收缩网络（DRSN）的含噪微泄漏识别方法。在提出的方法中,添加不同强度高斯噪声,建立数据集,使用DRSN网络进行训练,验证DRSN对不同泄漏强度、不同噪声含量样本识别的有效性。实验结果表明：DRSN对于微弱泄漏可以达到较理想的识别率,即使在高度杂糅数据识别时仍能达到较理想的识别效果,而且噪声含量并不会对DRSN迭代次数产生明显的影响。将提出的方法与CNN识别方法对比,DRSN具有明显的优势。     

基于GADF变换和多尺度CNN的哈密瓜表面农药残留可见-近红外光谱判别方法

针对哈密瓜表面农药残留化学检测方法成本高且具有破坏性等问题,探索了可见-近红外（Vis-NIR）光谱技术对农药残留定性判别的可行性。以哈密瓜为载体,百菌清和吡虫啉农药为研究对象,采集哈密瓜表面无残留、百菌清和吡虫啉残留的可见-近红外漫反射光谱,利用格拉姆角场（GAF）将一维光谱数据转换为二维彩色图像,构建GAF图像数据集。设计一种包含Inception结构的多尺度卷积神经网络模型用于哈密瓜表面农药残留种类判别,包括1层输入层、3层卷积层、1层融合层、1层平坦层、2层全连接层和1层输出层。模型测试混淆矩阵结果表明,格拉姆角差场（GADF）变换对哈密瓜表面农药残留的可见-近红外光谱表达能力较强。此外,构建AlexNet、VGG-16卷积神经网络（CNN）模型和支持向量机（SVM）、极限学习机（ELM）机器学习模型与提出的多尺度CNN模型进行性能对比。结果表明,3种CNN模型对哈密瓜表面有无农药残留的判别效果较好,综合判别准确率均高于SVM和ELM模型。对比3种CNN模型性能,多尺度CNN模型的性能最佳,训练耗时为14 s,综合判别准确率为98.33%。多尺度CNN模型结构利用多种小尺寸滤波器组合（1×1,3×3和5×5）和并行卷积模块,能够捕获不同层次和尺度的特征,通过级联融合模式进行深度特征融合,提高了模型的特征提取能力。与传统深度CNN模型相比,在保证计算复杂度不变的情况下,多尺度CNN模型的精度得到了有效提高。实验结果表明,GADF变换结合多尺度CNN模型可以有效进行光谱数据解析,利用可见-近红外光谱技术可以实现哈密瓜表面农药残留的定性判别。研究结果为大型瓜果表面农药残留的快速无损检测技术的研发提供了理论参考。     

卷积神经网络用于近红外光谱预测土壤含水率

近红外光谱分析技术在土壤含水率预测方面具有独特的优势,是一种便捷且有效的方法。卷积神经网络作为高性能的深度学习模型,能够从复杂光谱数据中自主提取有效特征结构进行学习,与传统的浅层学习模型相比具有更强的模型表达能力。将卷积神经网络用于近红外光谱预测土壤含水率,并提出了有效的卷积神经网络光谱回归建模方法,简化了光谱数据的预处理要求,且具有更高的光谱预测精度。首先对不同含水率下土壤样品的光谱反射率数据进行简单的预处理,通过主成分分析减少光谱数据量,并将处理后的光谱数据变换为二维光谱信息矩阵,以适应卷积神经网络特殊的学习结构。然后基于卷积神经网络算法,设置双层卷积和池化结构逐层提取光谱数据的内部特征信息,并采用局部连接和权值共享减少网络参数、提高泛化性能。通过试验优化网络结构和各项参数,最终获得针对土壤光谱数据的卷积神经网络土壤含水率预测模型,并与传统的BP,PLSR和LSSVM模型进行对比实验。结果表明在训练样本达到一定数量时,卷积神经网络的预测精度和回归拟合度均高于三种传统模型。在少量训练样本参与建模的情况下,模型预测表现高于BP神经网络,但略低于PLSR和LSSVM模型。随着参与训练样本量的增加,卷积神经网络的预测精度和回归拟合度也随之稳定提升,达到并显著优于传统模型水平。因此,卷积神经网络能够利用近红外光谱数据对土壤含水率做出有效预测,且在较多样本参与建模时取得更好效果。     

GIS Partial Discharge Pattern Recognition Based on a Novel Convolutional Neural Networks and Long Short-Term Memory

Distinguishing the types of partial discharge (PD) caused by different insulation defects in gas-insulated switchgear (GIS) is a great challenge in the power industry, and improving the recognition accuracy of the relevant models is one of the key problems. In this paper, a convolutional neural network and long short-term memory (CNN-LSTM) model is proposed, which can effectively extract and utilize the spatiotemporal characteristics of PD input signals. First, the spatial characteristics of higher-level PD signals can be obtained through the CNN network, but because CNN is a deep feedforward neural network, it does not have the ability to process time-series data. The PD voltage signal is related to the time dimension, so LSTM saves and analyzes the previous voltage signal information, realizes the modeling of the time dependence of the data, and improves the accuracy of the PD signal pattern recognition. Finally, the pattern recognition results based on CNN-LSTM are given and compared with those based on other traditional analysis methods. The results show that the pattern recognition rate of this method is the highest, with an average of 97.9%, and its overall accuracy is better than that of other traditional analysis methods. The CNN-LSTM model provides a reliable reference for GIS PD diagnosis.     

基于卷积神经网络的光谱预处理方法

光谱的预处理在光谱分析中占有非常重要的地位。针对现有光谱去噪算法对弱峰保存能力差、基线校正算法对光谱能量过扣除、光谱特征峰定位不准确以及各种预处理算法串行处理造成的误差累计等问题,设计了一个端到端的卷积神经网络。该网络由两个模块组成：基线校正和去噪模块和特征峰定位模块。这两个模块相互连接又独立输出。理想条件下,可以依据光谱的线型函数和特征峰的位置拟合出无噪声无基线的光谱,所以在基线校正和光谱去噪模块中连接特征峰定位模块的输出可以有效的提高去噪和基线校正的精度;而高质量的光谱有助于更加精确的估计光谱峰的位置,因此这两个模块相互连接可以有效提高重建光谱的质量。光谱基线校正和去噪模块是一个前馈网络,该模块由多个卷积层、激活函数和批归一化层构成,每一层均连接了特征峰定位模块的输出。特征峰定位模块是一个多尺度特征融合网络,该模块使用不同尺寸的卷积核将光谱分为不同的尺度,融合大小不同尺度的特征估计光谱特征峰的具体位置。在网络训练时,使用不同温度、湿度和不同预热时间的光谱仪获得光谱作为输入样本,使用中国计量院的标准仪器获得光谱数据作为输出样本。在实验中,首先对合成的光谱分别添加不同信噪比的噪声和不同峰值的高斯基线,分别评价该网络在噪声抑制、基线校正、光谱特征峰校正的能力;然后将添加噪声和基线后的玉米的近红外光谱作为样本,用最先进的算法对它们进行预处理,然后用偏最小二乘法估计玉米中的水和油的浓度。估计的浓度与用标准仪器测量的真实浓度进行比较,以证明所提出的CNN的优势。实验证明,所设计的网络在单任务和多任务处理中均能取得良好的结果。而且经过该网络处理的光谱在定量分析中可以得到更准确的结果,具有较强的实用价值。     

基于长短时记忆神经网络的能谱核素识别方法

针对新兴的能谱核素识别方法在混合放射性核素的噪声环境中存在识别速度慢、准确率较低等问题,提出了基于长短时记忆神经网络(LSTM)的能谱核素识别方法。实验使用溴化镧(LaBr3)晶体探测器,分别对环境中60Co、137Cs放射性源分组测量得到能谱数据集,首先使用数据平滑方法和归一化方法进行数据预处理,然后将能谱数据按时间序列分组以获得可用的输入序列数组,最后训练LSTM模型得到预测结果。通过基于BP神经网络和卷积神经网络(CNN)的两个能谱识别模型进行对比,得到在测试集中平均识别率分别为83.45%和86.21%,而LSTM能谱识别模型平均识别率为93.04%,实验结果表明,该能谱模型在核素识别效果中表现较好,可用于快速的能谱核素识别设备上。     

An evolving network model with modular growth

In this paper, we propose an evolving network model growing fast in units of module, according to the analysis of the evolution characteristics in real complex networks. Each module is a small-world network containing several interconnected nodes and the nodes between the modules are linked by preferential attachment on degree of nodes. We study the modularity measure of the proposed model, which can be adjusted by changing the ratio of the number of inner-module edges and the number of inter-module edges. In view of the mean-field theory, we develop an analytical function of the degree distribution, which is verified by a numerical example and indicates that the degree distribution shows characteristics of the small-world network and the scale-free network distinctly at different segments. The clustering coefficient and the average path length of the network are simulated numerically, indicating that the network shows the small-world property and is affected little by the randomness of the new module.     

Learning-induced pattern classification in a chaotic neural network

In this Letter, we propose a Hebbian learning rule with passive forgetting (HLRPF) for use in a chaotic neural network (CNN). We then define the indices based on the Euclidean distance to investigate the evolution of the weights in a simplified way. Numerical simulations demonstrate that, under suitable external stimulations, the CNN with the proposed HLRPF acts as a fuzzy-like pattern classifier that performs much better than an ordinary CNN. The results imply relationship between learning and recognition.