注意力机制融合前端网络中间层的语声情感识别

为了使机器能够更好地理解人的情感并改善人机交互体验,可对语声特征及分类网络进行融合以提升情感识别性能。本文从网络融合的角度,把基于梅尔倒谱系数和逆梅尔倒谱系数的二维卷积神经网络和基于散射卷积网络系数的长短期记忆网络作为前端网络,提取前端网络的中间层作为话语级的特征表示,利用压缩-激励(SE)通道注意力机制对前端网络的中间层的权重进行调整并融合,然后由深度神经网络后端分类器输出情感分类结果。在汉语情感数据集中进行五折交叉验证的对比实验,实验结果表明,基于SE通道注意力机制的网络融合方式可以有效地利用不同前端网络在语声情感识别任务中的优势,提高语声情感识别的准确率。     

基于长短期记忆网络与特征融合的微表情识别算法

为了提高视频识别领域中微表情识别的准确率,提出了一种基于长短期记忆网络与特征融合的微表情识别算法。提取微表情图像的颜色特征和纹理特征,将所提取的空间特征传入卷积神经网络进行融合。设计了学习时域相关性的长短期记忆网络结构,将融合的特征集传入长短期记忆网络学习微表情的时域特征,将长短期记忆网络接入分类器网络识别出微表情的类标签。在两个公开的微表情识别数据集上完成了验证实验,结果显示算法实现了较好的微表情识别性能,在SMIC数据集和CASMEⅡ数据集上的准确率分别达到64.7%和65.8%.     

基于Mel频谱值和深度学习网络的鸟声识别算法*

为了增强网络对鸟鸣声信号的特征学习能力并提高识别精度,提出一种基于深度残差收缩网络和扩张卷积的鸟声识别方法。首先,提取鸟鸣声信号的对数梅尔特征及其一阶和二阶差分系数组成logMel特征集作为网络模型的输入;其次,通过深度残差收缩网络自动学习噪声阈值,减少噪声干扰;然后,引入扩张卷积增大卷积核感受野并利用注意力机制使网络更关注关键帧特征;最后,通过双向长短时记忆网络从学到的局部特征中学习长期依赖关系。以百鸟数据birdsdata鸟声库中的19种中国常见鸟类作为实验对象,识别正确率可以达到96.58%,并对比模型在不同信噪比数据下的识别结果,结果表明该模型在噪声环境下的识别效果优于现有模型。     

基于混合神经网络和注意力机制的混沌时间序列预测

为提高混沌时间序列的预测精度,提出一种基于混合神经网络和注意力机制的预测模型(Att-CNNLSTM),首先对混沌时间序列进行相空间重构和数据归一化,然后利用卷积神经网络(CNN)对时间序列的重构相空间进行空间特征提取,再将CNN提取的特征和原时间序列组合,用长短期记忆网络(LSTM)根据空间特征提取时间特征,最后通过注意力机制捕获时间序列的关键时空特征,给出最终预测结果.将该模型对Logistic,Lorenz和太阳黑子混沌时间序列进行预测实验,并与未引入注意力机制的CNN-LSTM模型、单一的CNN和LSTM网络模型、以及传统的机器学习算法最小二乘支持向量机(LSSVM)的预测性能进行比较.实验结果显示本文提出的预测模型预测误差低于其他模型,预测精度更高.     

基于一维卷积神经网络的光纤周界入侵模式识别

针对干涉型分布式光纤传感系统,在通过Mel倒谱系数方法提取扰动信号频域特征进行模式识别的研究基础上,提出了一种基于一维卷积神经网络的光纤入侵模式识别方法。利用还原信号的分级阈值判断并提取入侵信号,有效减少了分帧方法导致的计算时间;构建了基于入侵信号傅里叶变换后的频域信息的一维卷积神经网络,自适应地提取扰动的信号频域特征。搭建了基于直线型Sagnac干涉结构的入侵检测系统,利用大量实验采集的样本数据集对网络进行训练,得到了较好的分类识别结果,测试集的平均识别率达到了96.5%,并对训练后网络的卷积核以及经过卷积核后的入侵信号进行了分析。zscore标准化后,一维卷积神经网络能够识别信号频域中的部分特征,对频率成分复杂的树枝拍打信号识别效果提升较大。     

基于改进ViT的红外人体图像步态识别方法研究

针对卷积神经网络在步态识别时准确率易饱和现象,以及Vision Transformer(ViT)对步态数据集拟合效率较低的问题,提出构建一个对称双重注意力机制模型,保留行走姿态的时间顺序,用若干独立特征子空间有针对性地拟合步态图像块;同时,采用对称架构的方式,增强注意力模块在拟合步态特征时的作用,并利用异类迁移学习进一步提升特征拟合效率。将该模型运用在中科院CASIA C红外人体步态库中进行多次仿真实验,平均识别准确率达到96.8%。结果表明,本文模型在稳定性、数据拟合速度以及识别准确率3方面皆优于传统ViT模型和CNN对比模型。     

基于改进SSD的交通大场景多目标检测

现有目标检测算法在复杂大场景下多目标检测的精度和实时性难以平衡,为此,受深度神经网络卷积核形态启发,模仿了人眼视觉机理,改进了基于深度学习的目标检测框架,即单向多框检测器(SSD),提出了多目标检测框架——自适应感知SSD,将其专用于复杂大交通场景多目标检测。设计了由多形态、彩色Gabor构成的特征卷积核库,训练筛选最优特征提取卷积核组替换原有网络的低级卷积核组,从而提高检测精度;将单图像检测框架与卷积长短期记忆网络结合,通过瓶颈-长短期记忆层提炼传播帧间的特征映射,实现网络帧级信息的时序关联,降低计算成本,从而实现对视频中受强干扰影响目标的追踪识别;同时加入自适应阈值策略,降低漏警率和虚警率。实验结果表明,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了9%～16%,平均准确率均值提高了14%～21%,多目标检测率提高了21%～36%,检测帧率达到32frame·s-1,实现了算法精度与实时性的平衡,取得较好的检测识别效果。     

基于深度学习的语声抑郁识别*

世界各地抑郁症患者数量不断增多,抑郁症的诊断和治疗面临着医生短缺问题,针对这一问题,提出了CNN和结合注意力机制的BLSTM特征融合模型。从特征选择和网络构架两方面进行了研究,对比了几种经典语声特征,得出梅尔倒谱系数对抑郁分类效果最好,再将梅尔倒谱系数分别送进CNN和结合注意力机制的BLSTM网络实现抑郁分类。在DAIC-WOZ数据集上进行实验,所提出的方法对语声抑郁的分类精确度达到78.06 %,F1分数达到74.68%。 关键词：抑郁识别;语声分析;分类     

基于时延神经网络模型的舰船辐射噪声目标识别*

水声目标被动识别是水声信号处理领域的研究热点之一。海洋环境中存在的不规则噪声干扰,使得基于传统方法的水声目标被动识别技术在实际的应用场景中效果不佳。本文采用一种基于时延网络(Time Delay Neural Network,TDNN)模型的舰船辐射噪声目标识别方法,该方法利用目标的短时平稳特性和长时关联特性对目标的声纹特征进行建模,使用梅尔谱图提取目标信号的初级特征,再通过融合注意力机制和时延神经网络的深度学习模型实现高级特性提取,最后再利用余弦相似度实现不同目标的类别划分。该方法在ShipsEar数据集和自行采集的数据进行测试验证,目标识别准确率分别达到79.2%和73.9%,可证明本文方法的有效性。     

可见光谱图与深度神经网络的垩白大米检测方法

针对传统垩白大米检测主观随意性大、可重复性低、检测过程耗时费力、准确率低等问题,提出一种基于可见光谱图结合深度学习算法的垩白大米检测手段。用CCD彩色摄像机获取垩白大米和正常大米可见光谱图,对图像进行旋转、翻转以及调整对比度等随机图像变换方式提升网络训练数据集,防止深度检测模型在学习过程中出现过拟合现象。构建了7层深层次卷积神经网络模型,包括卷积层、池化层、全连接层和输入输出层,通过网络模型对采样的大米可见光谱图集进行卷积与池化操作,采用迭代学习训练方法获取大米可见光谱图在卷积层输出的特征参数,采用连接非线性ReLU激活函数来降低训练时间,以加速大米可见光谱图有效抽象特征提取的收敛速度;然后将深度神经网络嵌入池化层,对大米特征降维以获取能够表达正常大米和垩白大米可鉴别显著意义特征;最后在全连接层输出进行分类,从而实现对垩白大米的精确识别。基于可见光谱图的大米垩白深度检测方法比传统基于可见光谱图的垩白大米鉴别特征提取方法免去了复杂的特征提取步骤,由于卷积网络提取的特征对特定目标具有更鲁棒的表达,算法精度较高且复杂度比较小,泛化效果更好,获得识别精度达到90%,比基于传统特征提取的垩白大米鉴别方法识别精度高, SIFT+SVM, PHOG+SVM和GIST+SVM模型识别精度分别为70.83%, 77.08%和79.16%。提出的方法为当前我国现代农业生产中实现大米品质自动化快速精准检测提供了理论依据和有效的技术手段,对于现阶段实现大米品质人工智能检测产生实际意义。     

基于双向长短期记忆网络的太赫兹光谱识别

特征提取是太赫兹光谱识别的关键处理步骤,通常利用降维方法作为特征提取手段。然而,当一些化合物的太赫兹光谱曲线整体差异度较小时,降维方法往往会缺失样本差异的重要特征信息,从而导致分类错误。如果不采用降维方法提取特征,传统机器学习分类算法对维数较高的原始太赫兹光谱数据又不能很好的分类。针对此问题,提出了一种基于双向长短期记忆网络（BLSTM-RNN）自动提取太赫兹光谱特征的识别方法。BLSTM-RNN作为一种特殊的循环神经网络,利用其LSTM单元可以有效解决原始太赫兹光谱数据维数较高使得模型难以训练问题。再结合模型的双向频谱信息利用架构模式,可以增强模型对复杂光谱数据自动提取有效特征信息的能力。采用三类、15种化合物太赫兹透射光谱作为测试对象,首先利用S-G滤波和三次样条插值对Anthraquinone,Benomyl和Carbazole等十五种化合物在0.9～6 THz内的太赫兹透射光谱数据进行归一化处理,然后通过构建一个具有双向长短期记忆的循环神经网络对太赫兹光谱的全频谱信息进行自动特征提取并利用Softmax分类器进行分类。通过试验优化网络结构和各项参数,最终获得了针对复杂太赫兹透射光谱数据的预测模型,并与传统机器学习算法SVM,KNN及神经网络算法MLP,CNN进行对比实验。结果表明,dataset-1和dataset-2分别作为差异度较大和无明显峰值特征的五种化合物太赫兹透射光谱数据集,其平均识别率分别为100%和98.51%,与其他方法相比识别率有所提高;最重要的是,dataset-3作为5种化合物谱线极为相似的太赫兹透射光谱数据集,其平均识别率为96.56%,与其他方法相比识别率提高显著;dataset-4作为dataset-1,dataset-2和dataset-3的透射光谱数据集集合,其平均识别率为98.87%。从而验证了BLSTM-RNN模型能自动提取有效的太赫兹光谱特征,同时又能保证复杂太赫兹光谱的预测精度。在选择模型训练优化算法方面,使用Adam优化算法要好于RMSProp,SGD和AdaGrad,其模型的目标函数损失值收敛速度最快。同时随着模型训练迭代次数增加,相似太赫兹透射光谱数据集的预测准确率也不断提升。可为复杂太赫兹光谱数据库的光谱识别检索提供一种新的识别方法。     

GIS Partial Discharge Pattern Recognition Based on a Novel Convolutional Neural Networks and Long Short-Term Memory

Distinguishing the types of partial discharge (PD) caused by different insulation defects in gas-insulated switchgear (GIS) is a great challenge in the power industry, and improving the recognition accuracy of the relevant models is one of the key problems. In this paper, a convolutional neural network and long short-term memory (CNN-LSTM) model is proposed, which can effectively extract and utilize the spatiotemporal characteristics of PD input signals. First, the spatial characteristics of higher-level PD signals can be obtained through the CNN network, but because CNN is a deep feedforward neural network, it does not have the ability to process time-series data. The PD voltage signal is related to the time dimension, so LSTM saves and analyzes the previous voltage signal information, realizes the modeling of the time dependence of the data, and improves the accuracy of the PD signal pattern recognition. Finally, the pattern recognition results based on CNN-LSTM are given and compared with those based on other traditional analysis methods. The results show that the pattern recognition rate of this method is the highest, with an average of 97.9%, and its overall accuracy is better than that of other traditional analysis methods. The CNN-LSTM model provides a reliable reference for GIS PD diagnosis.     

基于长短时记忆神经网络的能谱核素识别方法

针对新兴的能谱核素识别方法在混合放射性核素的噪声环境中存在识别速度慢、准确率较低等问题,提出了基于长短时记忆神经网络(LSTM)的能谱核素识别方法。实验使用溴化镧(LaBr3)晶体探测器,分别对环境中60Co、137Cs放射性源分组测量得到能谱数据集,首先使用数据平滑方法和归一化方法进行数据预处理,然后将能谱数据按时间序列分组以获得可用的输入序列数组,最后训练LSTM模型得到预测结果。通过基于BP神经网络和卷积神经网络(CNN)的两个能谱识别模型进行对比,得到在测试集中平均识别率分别为83.45%和86.21%,而LSTM能谱识别模型平均识别率为93.04%,实验结果表明,该能谱模型在核素识别效果中表现较好,可用于快速的能谱核素识别设备上。     

基于DEMON谱和LSTM网络的水下运动目标噪声基频检测*

传统的船舶辐射噪声基频检测方法不仅依赖大量的先验知识,而且对背景噪声非常敏感。为了提高目标识别的稳定性和精确性,本文提出了一种基于深度神经网络的基频检测算法。首先从多通道水听器信号中提取DEMON谱,然后直接将二维谱特征矩阵输入由CNN和LSTM构成的级联网络,最后通过稠密层输出实现对基频的估计。从仿真和外场试验数据得到如下结论：（1）深度网络能够实现无先验知识和不同信噪比条件下的基频检测,具有良好的泛化性能。（2）LSTM网络能够高效地从时序DEMON谱中提取统计特征,提高基频估计精度。（3）输入信号的时间长短会影响网络的检测精度,更长时间的信号能够获得更好的检测结果。     

卷积神经网络用于近红外光谱预测土壤含水率

近红外光谱分析技术在土壤含水率预测方面具有独特的优势,是一种便捷且有效的方法。卷积神经网络作为高性能的深度学习模型,能够从复杂光谱数据中自主提取有效特征结构进行学习,与传统的浅层学习模型相比具有更强的模型表达能力。将卷积神经网络用于近红外光谱预测土壤含水率,并提出了有效的卷积神经网络光谱回归建模方法,简化了光谱数据的预处理要求,且具有更高的光谱预测精度。首先对不同含水率下土壤样品的光谱反射率数据进行简单的预处理,通过主成分分析减少光谱数据量,并将处理后的光谱数据变换为二维光谱信息矩阵,以适应卷积神经网络特殊的学习结构。然后基于卷积神经网络算法,设置双层卷积和池化结构逐层提取光谱数据的内部特征信息,并采用局部连接和权值共享减少网络参数、提高泛化性能。通过试验优化网络结构和各项参数,最终获得针对土壤光谱数据的卷积神经网络土壤含水率预测模型,并与传统的BP,PLSR和LSSVM模型进行对比实验。结果表明在训练样本达到一定数量时,卷积神经网络的预测精度和回归拟合度均高于三种传统模型。在少量训练样本参与建模的情况下,模型预测表现高于BP神经网络,但略低于PLSR和LSSVM模型。随着参与训练样本量的增加,卷积神经网络的预测精度和回归拟合度也随之稳定提升,达到并显著优于传统模型水平。因此,卷积神经网络能够利用近红外光谱数据对土壤含水率做出有效预测,且在较多样本参与建模时取得更好效果。     

基于GADF变换和多尺度CNN的哈密瓜表面农药残留可见-近红外光谱判别方法

针对哈密瓜表面农药残留化学检测方法成本高且具有破坏性等问题,探索了可见-近红外（Vis-NIR）光谱技术对农药残留定性判别的可行性。以哈密瓜为载体,百菌清和吡虫啉农药为研究对象,采集哈密瓜表面无残留、百菌清和吡虫啉残留的可见-近红外漫反射光谱,利用格拉姆角场（GAF）将一维光谱数据转换为二维彩色图像,构建GAF图像数据集。设计一种包含Inception结构的多尺度卷积神经网络模型用于哈密瓜表面农药残留种类判别,包括1层输入层、3层卷积层、1层融合层、1层平坦层、2层全连接层和1层输出层。模型测试混淆矩阵结果表明,格拉姆角差场（GADF）变换对哈密瓜表面农药残留的可见-近红外光谱表达能力较强。此外,构建AlexNet、VGG-16卷积神经网络（CNN）模型和支持向量机（SVM）、极限学习机（ELM）机器学习模型与提出的多尺度CNN模型进行性能对比。结果表明,3种CNN模型对哈密瓜表面有无农药残留的判别效果较好,综合判别准确率均高于SVM和ELM模型。对比3种CNN模型性能,多尺度CNN模型的性能最佳,训练耗时为14 s,综合判别准确率为98.33%。多尺度CNN模型结构利用多种小尺寸滤波器组合（1×1,3×3和5×5）和并行卷积模块,能够捕获不同层次和尺度的特征,通过级联融合模式进行深度特征融合,提高了模型的特征提取能力。与传统深度CNN模型相比,在保证计算复杂度不变的情况下,多尺度CNN模型的精度得到了有效提高。实验结果表明,GADF变换结合多尺度CNN模型可以有效进行光谱数据解析,利用可见-近红外光谱技术可以实现哈密瓜表面农药残留的定性判别。研究结果为大型瓜果表面农药残留的快速无损检测技术的研发提供了理论参考。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。