融合注意力机制与残差网络的人耳识别方法

人耳特征具有良好的唯一性与稳定性等特点,近年来被广泛应用于身份识别领域。针对人耳采集易受头发、耳饰等物品遮挡问题,本文提出了一种基于ERNet的人耳识别方法。该方法在IResNet网络的基础上,引入改进的SE模块,通过融合最大池化与均值池化的统计特性,增强身份相关特征的表示,抑制非相关特征的影响,以此解决在非受控环境下由于遮挡原因造成的识别困难问题。大量实验结果表明,相比较于原网络,改进后的方法识别性能提高较为明显。在同等遮挡条件下,本文所提出的模型具有较好的鲁棒性能。     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

融合词嵌入和通道注意力机制的网络安全态势预测

为了解决门控神经网络(Gated Recurrent Neural Network,GRU)不能很好地注意到关键词且训练速度较慢的问题,提出融合词嵌入和通道注意力机制的网络安全态势预测模型(E-SE-CNN)。首先,根据专家意见,采用正则表达式分割告警日志数据(网络安全设备捕捉到的Web攻击日志)构建多标签分类数据集;其次,利用Embedding进行词嵌入,获取词的分布式表示,使其能够充分地表示语义信息;再次,引入通道注意力机制(Squeeze and Excitation)和卷积神经网络(Convolutional Neural Networks,CNN),为不同的通道分配不同的权重,使得模型能够进一步获取文本的重要的语义信息;最后,将包含权重信息以及语义信息的特征图送入sigmoid层进行多标签的Web攻击分类。为了进一步验证E-SE-CNN模型的性能,设计了5组相关模型进行进一步验证。实验结果表明,在自建的Web攻击数据集上,在保证训练推理速度的同时,提出的模型在5种评估指标上均具有最佳的表现。     

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络——多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。     

融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...     

基于注意力机制和Inf-Net的新冠肺炎图像分割方法

新型冠状病毒肺炎肆虐全球,严重影响了人类社会的生活和健康。CT影像技术是检测新冠肺炎的重要诊断方式,从CT图像中自动准确分割出新冠肺炎病灶区域,对于诊断、治疗和预后都有重要意义。针对新冠肺炎病灶的自动分割,文中提出基于Inf-Net算法改进的自动分割方法,通过引入通道注意力机制加强特征表示,并运用注意力门模块来更好地融合边缘信息。在COVID-19 CT分割数据集上的实验结果表明,文中所提出新冠肺炎图像分割方法的Dice系数、灵敏度、特异率分别为75.1%、75.4%和95.4%,算法性能也优于部分主流方法。     

轻量网络MHNet对新冠肺炎的识别研究

为了能够快速准确地诊断出新冠肺炎患者,文章参考MobileNetV2架构并结合注意力网络,改进损失优化函数,依据CNN网络设计准则搭建新型轻量网络MHNet。在COVIDx CXR-2公开数据集上进行的实验表明,该网络在准确率、召回率、特异性、精准率、F1分数、模型大小、CPU单张图推理耗时、GPU单张图推理耗时上的指标分别为92%、99%、85%、86.84%、92.52%、3.91 MB、59.51 ms、17.66 ms。相较于其他传统网络,该网络对新冠肺炎感染者的诊断率较高、诊断效果较好。     

基于肺部X光片的新冠肺炎检测方法

为了更好更快地检测诊断新型冠状病毒肺炎(COVID-19),联合深度学习和迁移学习方法,提出了一种基于肺部X光片来诊断患者是否携带COVID-19的检测方法,并设计了SVRNet(separable VGG-ResNet)和SVDNet(separable VGG-DenseNet)模型.实验结果表明,相比于之前的网络...     

多尺度混合注意力胶囊网络的海洋鱼类识别

针对胶囊网络(capsule network,CapsNet)特 征提取结构单一和数据处理中参数量过大的问题,提出 多尺度混合注意力胶囊网络 模型。首先,在网络初始端添加不同尺度的卷积核来多角度提取 特征,并引 入混合注意力机制,通过聚焦更具分辨性的特征区域来降低复杂背景干扰。其次,采用局部 剪枝算法优 化动态路由,减少参数量,缩短模型训练时间。最后,在海洋鱼类数据集F4K(Fish4Knowled ge)上验证, 结果表明,与传统残差网络(residual network50,ResNet-50)、双线性网络(bilinear convo l utional neural network,B-CNN)、分层精简双线性注意力网络(spatial transformation netw ork and hierarchical compact bilinear pooling,STN-H-CBP)以及CapsNet模型相比,该算法 识别精度为98.65%,比ResNet-50模型提升 了5.92%;训练时间为2.2 h,相比于CapsNet 缩短了近40 min,验证了该算法的可行性。     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于图卷积神经网络的胸部放射影像疾病分类方法北大核心CSCD

医学X射线作为胸部疾病的常规检查手段,可以对早期不明显的胸部疾病进行诊断,并且观察出病变部位。但是,同一张放射影像上呈现出多种疾病特征,对分类任务而言是一个挑战。此外,疾病标签之间存在着不同的对应关系,进一步导致了分类任务的困难。针对以上问题,本文将图卷积神经网络(graph convolutional neural network,GCN)与传统卷积神经网络(convolutional neural network,CNN)相结合,提出了一种将标签特征与图像特征融合的多标签胸部放射影像疾病分类方法。该方法利用图卷积神经网络对标签的全局相关性进行建模,即在疾病标签上构建有向关系图,有向图中每个节点表示一种标签类别,再将该图输入图卷积神经网络以提取标签特征,最后与图像特征融合以进行分类。本文所提出的方法在ChestX-ray14数据集上的实验结果显示对14种胸部疾病的平均AUC达到了0.843,与目前3种经典方法以及先进方法进行比较,本文方法能够有效提高分类性能。     

Zero-DCE网络的自适应损失函数改进

针对轻量化微光增强网络Zero-DCE在处理亮度变化范围较大的微光图像时,存在不同区域亮度增强不一致导致的图像不清晰问题,本文提出了一种基于伽马变换的自适应损失函数,在原损失函数的基础上降低了网络对图像曝光差异的敏感性,明显改善了微光增强效果。该方法通过在卷积神经网络 (convolutional neural network,CNN) 中添加CBAM模块提高网络对微光图像特征的表达能力,使用网络增强图像灰度平均值与增强特征图均值的对数距离作为伽马变换自适应系数,最后计算网络增强图像和伽马变换后的图像之间的灰度参数距离。实验表明,与原网络相比,改进后的方法处理效果提升显著,其中在图像评价指标方面,均方误差提升9.7%,峰值信噪比提升13.8%,结构相似性提升6.7%。     

基于transformer自适应特征向量融合的图像分类

针对目前基于transformer的图像分类模型直接应用在小数据集上性能较差的问题,本文提出了transformer自适应特征向量融合网络,该网络在特征提取器中将不同阶段的特征进行融合,减少特征信息丢失的同时获得更多不同感受野下的信息,同时利用最大池化来去除特征中的冗余信息,从而使提取的特征更具有判别性。此外,为了充分利用图像的各级特征信息来进行分类预测,本文将网络各阶段产生的特征向量进行融合,使融合后的特征向量更具有表征能力,从而减少网络对大数据集的依赖,使网络在小数据集中也能获得很好的性能。实验表明,本文提出的 算法在数据集Mini-ImageNet-100、CIFAR-100和ImageNet-1k上的TOP-1准确率分别达到了74.22%、85.86%和81.4%。在没有增加计算量的情况下,在baseline上分别提高了6.0%、3.0%和0.1%,且参数量减少了18.3%。本文代码开源在“https://github.com/xhutongxue/afvf”。     

基于迁移学习和通道注意力的遥感图像场景分类

针对遥感图像场景分类任务中训练样本数量少及遥感图像背景复杂等问题,本文将迁移学习和通道注意力引入到卷积神经网络(convolutional neural network,CNN) 中,提出基于迁移学习和通道注意力的遥感图像场景分类方法。该方法首先选用经过ImageNet自然数据集预训练的两个CNN作为主干,同时引入通道注意力机制,自适应地增强主要特征,抑制次要特征;然后融合这两个网络提取的特征进行分类;最后采用微调迁移学习的方式实现目标域上的学习与分类。提出的方法在几个经典的公共数据集上进行了评估,实验结果证明了本文提出的方法在遥感图像场景分类中达到与其他先进方法相当的性能。     

Curvelet域自适应脉冲耦合神经网络的图像融合方法

为解决传统图像融合准则不能充分利用图像全局特征的问题,将脉冲耦合神经网络(PCNN)模型用于Curvelet变换的图像融合中,提出了由表征子带图像局部特征的支撑值(SPV)作为刺激PCNN模型的外部激励输入,同时考虑Curvelet变换后低频子带信息与高频子带信息间的相关性,设定PCNN模型参数(连接强度和连接范围)随低频子带图像的特征自适应地变化,并且利用PCNN模型中各神经元的首次点火时间构造融合准则中的显著性度量。用PCNN模型模拟人眼视觉神经系统的生物特性,并利用其全局耦合特性对源图像进行智能地分析判断和融合处理,从而提高融合图像的整体效果。实验结果表明,由于PCNN具有全局耦合特性和脉冲同步特性,因此当它用来参与选取细节系数时,能够更好地利用子带图像的全局信息。