基于注意力机制的人像分割方法

注意力机制能够挖掘与任务密切相关的重要信息并抑制非重要信息,在语义分割的深层特征表示中发挥着越来越重要的作用。本研究基于广泛应用的U-Net模型,提出了一种基于注意力机制的神经网络模型,针对边缘分割模糊的问题,将U-Net的压缩路径和扩展路径中的双卷积替换为卷积核选择模块,该模块允许网络的每一层根据输入信息进行自适应调整接受野的大小;另外,针对人像分割网络存在不同尺度的全局上下文信息被忽略的问题,采用多尺度预测融合的方法来利用不同尺度的全局信息,并采用双注意力模块汇总空间和通道两方面的注意力信息。大量实验表明,本文中方法的性能与U-Net、UNet++和Attention U-Net等网络相当或更好。     

基于注意力机制的红外小目标检测方法

针对红外小目标占用像素较少、背景相似性强、网络容易受到背景杂波信息干扰的问题,提出了一种基于注意力机制的红外小目标检测方法。利用注意力机制模块抑制背景杂波,增强小目标特征,并使用红外小目标检测模块实现检测任务;为了增强网络鲁棒性,通过高斯噪声与原图通道堆叠输入的数据增强方式提升网络抗杂波干扰的能力。实验表明,提出的方法在MDvsFA数据集中的性能超过了目前最新的对比算法。     

基于注意力机制的图像分类降维方法

卷积算子是卷积神经网络的核心构造块,它根据一定的感受视野,融合卷积神经网络各层与不同通道之间的信息,提取出原始图像特征.然而图像中的相邻像素往往具有相似的值,导致卷积层的输出包含大量冗余信息.为了减少冗余信息,加快模型推理速度,神经网络中会加入池化层进行信息降维.对比传统降维方法,池化本身具有平移和旋转不变性,对图像特...     

基于位置注意力机制的字词双维度CNN违法违规行为语义分类模型

针对核辐射安全监管部门检查建议所含违法违规行为自动识别并分类难的问题,建立语义分类自动研判模型,辅助有关部门丰富智能化管理体系,依靠数据进行科学决策,实现监管效率及质量的有效提高。将词和字符两个不同嵌入级别的特征向量输入到双路卷积神经网路（Convolutional Neural Networks, CNN）中,并引入语义位置注意力机制,建立基于字词双维度语义分析的违法违规研判模型。该方法不仅能够有效防止信息丢失,还能提取出更丰富的文本特征,强化领域关键词汇对分类准确率的帮助。实验结果表明本文建立的模型优于传统语义分类模型,能够有效提高分类准确度。     

基于自注意力机制的网络流量异常检测方法

网络中异常流量的有效检测对网络安全至关重要.以机器学习方法为主的异常流量检测技术,对流量数据采用特征选择方法进行降维并提取最优特征,但容易忽略数据特征之间的关联性,存在异常流量的检测率低、误报率高等问题.为了提高异常流量检测性能,论文在提取流量数据特征的过程中引入自注意力机制进行相关性学习,并结合深度卷积神经网络提出一种有效的网络流量异常检测模型.实验结果表明：通过引入自注意力机制,论文所提出的检测方法能够提取更准确的流量特征,并使得异常流量检测率高、误报率低.     

基于两阶段注意力机制的立场检测方法

立场检测是分析文本作者对某一话题所表现的立场倾向性是支持、反对还是中立,是舆情分析的重要研究方向。本文针对现有的大部分立场检测方法无法充分建模话题信息,很难联合分析话题与相应文本的现状,提出了一种两阶段注意力机制的立场检测方法。第一阶段利用注意力机制学习话题整体语义表示,第二阶段将话题表示与文本表示进行注意力匹配,进而得到融合特定话题的文本表示向量,最后对该语义表示进行分类。实验结果表明,该模型在新疆反恐话题的语料上Acc和F值指标分别提高了0.4%和1%,在NLPCC-2016立场检测任务数据集的4个话题上取得了较优的效果。     

基于注意力机制的加密流量识别

随着人们网络安全意识的提高,加密流量呈爆炸式增长,流量加密在保护用户隐私的同时,也为安全检测带来了新的挑战。针对传统基于机器学习的流量识别方法存在需要手动设计分类特征、分类准确率不高等问题,提出一种基于卷积神经网络与自注意力机制(Convolutional Neural Network and Self Attention, CSA)的加密流量分类方法,依据网络流量的层次结构特性,采用卷积神经网络提取数据包内字节流的空间特征、自注意力机制提取数据包之间的时序特征。在公开数据集ISCX VPN-NonVPN上的实验结果表明,CSA模型的分类准确率达到了95.0%,相较基准深度模型,准确率和F1值皆有明显的提升。     

基于可变形卷积融合双注意力机制的缺陷检测方法

在工业生产制造过程中,由于生产失误致使产品表面缺陷不仅影响产品质量,同时也会损害企业形象.针对现有方法使用卷积神经网络只具备局部感受野的问题,将Vision Transformer(ViT)作为特征提取器,ViT可以通过位置编码与图像块间的互相运算充分利用图像中各部分间的关联特征.此外,针对现实场景下的缺陷区域是不规则、不连续的,现有的模型也未充分利用图像中通道与空间信息问题,提出了一种基于可变形卷积融合空间通道双注意力机制的方法(deformable convolutional and dual attention flow,简称DCA-Flow).对于不规则的缺陷区域,使用形变建模能力更强的可变形卷积进行特征提取,并利用通道与空间维度的注意力机制对可变形卷积提取的特征进行权重再调节.实验结果表明,所提出的方法能够有效检测各种类别物体中的表面缺陷,在多种物体中的平均AUROC值可达96.4%,相较基线方法最大值提高了1.4%,且具备更好的泛化性.     

多尺度卷积与双注意力机制融合的入侵检测方法

为提高互联网入侵检测方法的准确率,提出一种卷积神经网络与注意力机制结合的入侵检测方法。利用Borderline-SMOTE过采样算法和Min Max归一化对数据进行预处理,有效缓解入侵数据量差异较大问题,提升非平衡数据检测性能;使用卷积神经网络Inception结构多尺度对数据进行特征提取,并配合注意力机制进行维度更新,提高模型处理海量数据时特征表达的准确性。研究结果表明：入侵检测方法的平均准确率为99.57%;相较于SVM方法、CNN方法、RNN方法、BLS-GMM方法,准确率分别提升了4.48%、1.35%、1.62%和0.04%,召回率分别提高了4.48%、1.36%、1.62%和0.14%。     

基于注意力机制的水下目标检测算法

针对传统水下目标检测算法识别精度低的问题,提出一种基于注意力机制的水下目标检测算法(feature refinement and attention mechanism network,FRANet).该算法采用特征融合模块和特征增强模块相结合的方式,使用卷积神经网络提取目标的多尺度特征.同时引入一种由锚框精化模块、空...     

基于注意力机制的多尺度仪表检测

为实现复杂场景下多尺度仪表检测,提出了一种基于注意力机制的视频多尺度仪表检测算法。首先,利用基于空间注意力机制的特征提取网络,建模特征的长距离依赖,增强特征的表达能力;其次,提出了一种自适应特征选择模块（Adaptive Feature Selection Module, AFSM）,对不同阶段的特征图进行权重调整,增强网络对多尺度目标的检测能力。在自建的仪表数据集上进行了实验。实验结果表明,相比较原来的Faster RCNN方法,所提出方法的检测精度提高了7.6%;与对比方法相比,检测精度也能达到95.4%。在对实际仪表监测视频的测试中,检测结果以及速度能够满足实际需要。所提方法通过改进特征提取网络和特征选择操作,增强了特征表达能力,有效降低了虚警,提升了网络对多尺度目标的检测性能。     

基于层次注意力机制的垃圾用户检测模型

目前基于网络的垃圾用户检测方法只考虑了简单社会关系,缺乏对更多复杂社会语义关系的利用,难以达到最优性能.针对这一挑战,提出一种基于层次注意力机制的垃圾用户检测模型(HAM-SD).模型首先使用异质信息网络对社交媒体进行建模,挖掘丰富的语义与结构信息,接着利用节点级注意力层聚合元路径邻居增强节点表示,同时利用自适应层级聚合模块选择不同层级特征提升表征能力,然后通过语义级注意力层融合不同元路径下的节点表示,最后带入分类检测模块实现垃圾用户检测.在公开数据集上的实验结果表明该模型能够有效检测垃圾用户,并在不平衡数据分布时保持较强的稳定性.     

基于视觉注意机制的红外弱小目标检测

提出了一种基于视觉注意机制的红外小目标检测算法.通过形态学Top-hat算子对图像背景进行抑制,并根据目标与周围背景的对比度不同生成显著图后分割出目标感兴趣区,在感兴趣区域内对每帧图片在尺度空间采用Dog算子处理提高图像信杂比,获得具有较大信杂比的点.为避免目标在帧中消失,采用PID算法跟踪目标点,在可疑目标点周围小区域内采用视网膜皮层理论(Retinex)算法对图像局部区域增强再重新分割出目标.实验证明:该算法能有效对红外小目标进行检测,算法在不同背景的图像检测性能都趋于稳定,当目标融于背景时,能很好地将红外目标检测出来.     

变分自编码器和注意力机制的异常入侵检测方法

针对传统的机器学习算法在检测未知攻击方面表现不佳的问题,提出了一种基于变分自动编码器和注意力机制的异常入侵检测方法,通过将变分自编码器和注意力机制相结合,实现使用深度学习方法从基于流量的数据中检测异常网络流量的目标。所提方法利用独热编码和归一化技术对输入数据进行预处理;将数据输入到基于注意力机制的变分编码器中,采集训练样本中隐含特征信息,并将其融入最终潜变量中;计算原始数据与重建数据之间的重建误差,进而基于适当的阈值判断流量的异常情况。实验结果表明,与其他入侵检测方法相比,所提方法明显改善了入侵检测的精度,不仅可以检测已知和未知攻击,而且还可以提高低频次攻击的检测率。     

基于视觉注意机制的红外小目标检测算法

提出了一种基于视觉注意机制的分层阈值化红外小目标检测算法.在采用形态学处理和Gamma校正对图像进行预处理的基础上,通过分层阈值化和连通域分析提取感兴趣区域(ROI),利用高斯滤波提高ROI的信杂比并确定候选目标,最后通过移动式管道滤波剔除伪目标,实现运动小目标的准确定位.实验表明该算法能有效地检测出小目标,且对于低信噪比的图片具有良好的适应性.     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

融合注意力机制的群组推荐研究

现有群组推荐方法在偏好融合时大多采用预定义策略,这种静态方法忽略了群组间用户的交互,难以对复杂的决策过程进行建模,从而影响推荐效果。针对该问题,提出了一种基于注意力机制的群组推荐方法,使用注意力机制获取群组中每个用户对其他用户的注意力权重,为群组选出一个决策者,以此来模拟群组中用户的交互,再根据用户的加权偏好为群组推荐项目。通过在CAMRa2011和MovieLens1M数据集上与基线方法的对比可知,该方法在命中率和归一化折扣累计增益方面都有较大提高。     

Video expression recognition based on frame-level attention mechanism

Facial expression recognition(FER) in video has attracted the increasing interest and many approaches have been made.The crucial problem of classifying a given video sequence into several basic emotions is how to fuse facial features of individual frames.In this paper, a frame-level attention module is integrated into an improved VGG-based frame work and a lightweight facial expression recognition method is proposed.The proposed network takes a sub video cut from an experimental video sequence a...     

基于标记注意力机制的社区发现算法

针对网络的聚类进行研究,提出了一种基于标记注意力机制的社区发现算法,网络特征通过标记节点频率及反示例节点频率联合度量,为使网络特征的度量更加关注于示例节点的细节信息,引入注意力机制来处理网络特征。社区划分由复杂网络预处理、网络节点的策略、社区博弈归并三个部分组成,其中网络节点的策略由无贡献节点归并、节点到社区的判断以及节点逻辑标记和的判断三个步骤组成。实验借助于真实网络进行验证,在归一化互信息、模块度、社区划分数量及运行时间四个方面,基于标记注意力机制的社区发现算法都优于其它社区发现算法。在实际生活中应用此算法,能够更加直观地显示网络内部之间存在的联系。