基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.     

基于注意力机制的加密流量识别

随着人们网络安全意识的提高,加密流量呈爆炸式增长,流量加密在保护用户隐私的同时,也为安全检测带来了新的挑战。针对传统基于机器学习的流量识别方法存在需要手动设计分类特征、分类准确率不高等问题,提出一种基于卷积神经网络与自注意力机制(Convolutional Neural Network and Self Attention, CSA)的加密流量分类方法,依据网络流量的层次结构特性,采用卷积神经网络提取数据包内字节流的空间特征、自注意力机制提取数据包之间的时序特征。在公开数据集ISCX VPN-NonVPN上的实验结果表明,CSA模型的分类准确率达到了95.0%,相较基准深度模型,准确率和F1值皆有明显的提升。     

基于注意力机制的人脸表情识别网络

人脸表情识别一直是计算机视觉领域的一个难题.近年来,随着深度学习的飞速发展,一些基于卷积神经网络的方法大大提高了人脸表情识别的准确率,但未能充分利用人脸图像中的信息,这是由于对于面部表情识别有意义的特征主要集中在一些关键位置,例如眼睛、鼻子和嘴巴等区域,因此在特征提取时增加这些关键位置的权重可以改善表情识别的效果.为此...     

基于自注意力机制的TransNet推荐模型

在神经网络的推荐模型基础上引入自注意力机制,提出一种改进的基于自注意力机制TransNet推荐模型SATransNet。SATransNet模型使用卷积神经网络提取评论特征,通过自注意力神经网络自动学习特征内部的依赖关系,由依赖关系来决定需要关注的特征,从而解决数据表达能力不足的缺陷。本文在不同数据集上进行了实验比较与分析,SATransNet推荐模型在不同数据集上的预测评分较好,均方误差总体呈优。与基于注意力机制的推荐模型相比,SATransNet推荐模型的归一化折损累计增益均有提升,具有较好的预测评分效果和推荐相关性。     

基于自注意力与分段卷积神经网络的实体关系抽取

远程监督通过已有知识库的关系三元组和自然语言文本语料库进行启发式匹配,获得数据来完成关系抽取任务,解决有监督学习方法完全依赖人工标注数据的问题,但远程监督数据中会存在大量噪声关系标签.针对以上问题,提出了一种结合自注意力机制和分段卷积神经网络的实体关系抽取模型SAPCNN,首先通过自注意力机制捕获词与词之间的全局相关性...     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

基于通道注意力和特征增强的交通标志检测

道路上的交通标志包含大量的交通规则语义信息,快速、准确地获取这些信息有助于实现更高级别的辅助驾驶功能,从而提高车辆的安全性能。针对交通标志易受外界因素影响、类别间相似度高和尺寸微小的难点,本研究基于YOLOv5s模型,在数据预处理、特征提取、特征增强方面分别进行了针对性的改进。在数据预处理部分,利用颜色空间变换、几何变换矩阵来模拟实际场景中交通标志可能发生的颜色变化和形状变化,通过Mosaic算法、Copy-paste算法来提高训练集中微小交通标志的数量和背景的丰富性。在特征提取部分,构建了基于通道注意力标定的C3-TCA模块来提高模型对相似特征的辨别能力。在特征增强部分,通过双路径增强结构融合浅层特征和深层特征,并优化了预测分支的数量和下采样倍率,从而增加了对微小交通标志的检测精度。此外,还利用K-means++算法聚类先验框模板,基于CIoU度量构建边界框回归损失函数,从而降低边界框的回归难度。在TT100K和CCTSDB数据集上进行测试,模型的mAP@0.5指标分别为88.8%和83.5%,模型的检测速度分别为120.5f/s和114.7f/s。相较于现有交通标志检测模型,所构建...     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于自注意力的SSD图像目标检测算法

基于深度学习的方法,运用单次多框检测器(SSD)目标检测框架和自注意力机制,针对施工人员佩戴安全帽数据集进行神经网络训练.通过调整原始SSD目标检测框架中的参数,并向SSD目标检测框架中添加自注意力模块来计算特征图中像素点之间相互影响,以提高算法对目标检测的关注度,扩大卷积神经网络的感受野,从而提高目标检测的准确率.实验结果表明:改进算法在应对小目标检测以及目标之间的遮挡方面有很好的适应性,同时与其他检测算法相比,检测成功率有明显提高.     

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

基于MA-DRNet的糖尿病视网膜病变等级识别方法

糖尿病视网膜病变是糖尿病并发症最常见的疾病之一。由于视网膜病变病灶具有特征复杂、特征差异小的特点,导致传统深度学习网络对视网膜病变等级识别存在错误率高、鲁棒性差等问题。针对上述问题,提出了一种MA-DRNet模型进行优化：(1)提出了一种多级特征残差块,提取不同分辨率多尺度特征、扩大模型感受野,加强模型对于小尺度病灶的学习能力以及模型对尺度的鲁棒性;(2)改进一种全局通道联合注意力机制,实现像素长距离依赖关系捕获和通道注意力,提升模型对复杂病灶表征效果;(3)设计集成难例挖掘训练方法,巩固对于困难样本的学习,融入集成的思想提升模型对易错样本的关注度。在Kaggle和Messidor两个公开视网膜数据集进行模型训练和测试,本文模型特异性为99.02%,敏感性为98.26%,准确率为98.87%,各指标均优于目前同类算法。大量的实验表明,MA-DRNet有效的解决了视网膜病变识别存在的问题,实现了视网膜病变等级的高精度辅助诊断。     

基于卷积神经网络的网络流量识别技术研究

近年来,深度包检测技术和基于统计特征的网络流量识别技术迅速发展,但它们分别存在不能识别加密流量和依赖人对特征主观选择的缺陷.文章提出了基于卷积神经网络的流量识别方法,将网络数据按照一定的规则转换为灰度图像进行识别,并根据TCP数据包的有序性和UDP数据包的无序性,对原始的网络数据进行了扩展,以进一步提高识别率.实验数据表明,该方法对应用程序和应用层协议两个层次的网络流量具有较高的检测率.     

基于多尺度宽激活残差注意力网络的图像去块效应

为了节约传输带宽和存储资源,成像设备和系统一般对图像和视频进行了有损压缩. 由于分块量化编码,JPEG图像往往存在明显的块效应. 去除图像的块效应不仅能够改善使用者的视觉体验,还有利于其他计算机视觉任务的开展. 为此,本文提出了一种基于多尺度宽激活残差注意力网络（MWRAN）的图像去块效应方法. MWRAN主要由多尺度宽激活残差注意力模块（MWRAB）构建而成. 提出的MWRAB不仅能够激活更多的非线性特征以促进信息在网络中的流动,还能够捕获丰富的图像多尺度特征. 此外,通过提出的轻量的差异感知通道注意力（LCCA）,MWRAB能够对学习到的特征进行自适应地调整以关注更重要的信息. 消融实验验证了MWRAB的有效性. 在常用的基准数据集上,MWRAN取得了比几种先进的图像去块效应方法更高的客观评价指标和更接近原图的主观视觉效果.     

改进VGG模型在苹果外观分类中的应用

为了将采摘后的苹果进行外观分类,提出了一种基于卷积神经网络的方法,通过改进VGG卷积神经网络完成对外观正常苹果、病斑苹果和腐烂苹果的分类。在VGG-16网络的基础上,加入批归一化层、采用全局平均池化和联合损失函数的方法对其进行结构优化。在经过数据增广的数据集上,与其他分类方法进行对比,结果表明:改进后的VGG网络对外观正常苹果、病斑苹果和腐烂苹果的识别精度分别为99.61%、98.89%和99.26%,均高于未改进VGGNet、AlexNet和GoogLeNet算法,证明此网络能够很好地完成对苹果外观的分类识别,可为采摘后的苹果实现智能分类提供技术支持。     

基于灰度图像转化的时间型隐蔽信道检测方法

时间型网络隐蔽信道是一种隐蔽性极高的信息泄露方式.其作为APT攻击的主要通信手段,对网络安全产生了极大威胁.目前针对隐蔽信道的检测方法通用性不足、误检率高,且人工提取流量特征耗时耗力.本文提出了一种基于灰度图像转化的检测方法.该方法将报文到达时间间隔归一化,转换成像素值,再将其转为灰度图像,由此把一维序列分类问题转成二维图像分类问题.本文使用卷积神经网络自动获取图像特征,并利用卷积块注意力模块,从空间与通道两个维度进行特征自适应优化.本文用合法流量和隐蔽信道流量组成的数据集训练网络,所得到的二分类模型用于判别被检测流量是否为时间型隐蔽信道流量.最后将提出的方法与现有的4种检测方法做对比.实验结果表明,本文方法具有更高的精确率和召回率,所得模型的通用性更好且误检率更低.     

神经网络对带噪声汽车牌照的识别

提出一种用神经网络识别带有噪声字符的研究方法．采用单层反馈网(Hopfield网)模型及在模式中应用双联想记忆BAM网络的快速增强算法，对字符进行识别．得出此方法可正确联想出无噪声的原模式，而且具有更好的辨识率．     

一种基于图注意力机制的气温预测模型

积极应对气候变化是可持续发展的目标之一。针对气温准确预测任务,提出了一种基于图注意力机制的气温预测模型。该模型在气温站点组成的拓扑结构上使用了注意力机制,选择性地聚合周围区域的气温特征,再使用神经网络拟合复杂的气温变化规律,得到预测结果。实验使用了2000—2010年京津冀地区的气温数据,经大量实验验证,在极少依赖历史气温数据的情况下,模型能够得到更准确的预测值。模型能够为气候预测和气候灾害预防提供决策支持。