基于词嵌入和自注意力机制的方面提取算法

方面提取是情感分析中的关键步骤,随着互联网的快速发展,短文本数据迅猛增加,对短文本数据加以整理和利用极为重要.本文针对短文本的特殊性,提出了短文本模型WESM.与现有模型不同的是,本文引入了词汇共现网络,丰富了词汇的上下文信息,针对中文数据,引入了cw2vec模型,能够充分利用中文词语的语义信息;为了提高短文本的上下文...     

基于改进的混合自注意力机制模型的研究

自注意力机制被广泛应用于自然语言处理任务中.现有的自注意力机制通常使用软注意力模式,即使用密集注意力矩阵,但随着信息长度增长对应的权重变小,无法提取负面信息.针对以上问题,提出融合硬注意力机制即稀疏注意力矩阵来改进现有模型,充分提取文本中正负信息,弥补传统注意力矩阵不能为负的空白.     

基于改进注意力机制Transformer网络的快消品销量预测方法

销量预测能为企业生产计划、仓储运输提供决策支持,使企业能更好地适应市场需求。快消品销售量受众多因素的影响,具有季节性和周期性规律,传统的线性模型难以准确的预测,本文从长时序列预测的视角,运用深度学习理论,提出了一种基于订单时序和订单频率的改进自注意力机制模型(Sequence-Frequency Transformer, SFTransformer)。首先,基于快消品订单数据构建原始数据集,采用time2vec编码处理订单时序信息,并融合订单数据的时序和频率特征在基于时序的订单数据的不同订单频率分别对应不同的注意力头来关注订单数据的订单时序特征和频率特征;使用Transformer模型架构提取特征进行长时序列预测。在真实数据集上进行对比实验,SFTransformer模型在均方误差(MSE)、平均绝对误差(MAE)、均方根误差(RMSE)3项指标上均取得了最佳性能,验证了本文所提方法的有效性。     

基于特征融合与自注意力机制的图像语义分割算法

提出了一种基于特征融合与自注意力机制的图像语义分割方法,设计了特征融合模块、自注意力模块、增强模块、全局空间信息融合模块和损失函数。特征融合模块融合多个图像的所有组件,通过自注意力机制来执行。自注意力模块从而有效地捕获远程上下文信息。增强模块旨在增强输入图像以获得更多样化的特征。全局空间信息注意模块相对于图像尺寸只有线性的复杂度,能够带来显著的提升效果。利用损失函数,对模型进行优化,将每个像素的分类结果优化到最接近真实值。实验结果表明,所提出的方法可以显著提高PASCAL VOC 2012数据集、COCO-Stuff 10K数据集和ISIC 2018数据集这3个数据集的性能,并在3个数据集上进行了验证,实验还通过对自注意力、推理速度和消融实验进行比较,验证了本文方法的优越性。     

基于多通道自注意力机制的刑事案件量刑技术

近年来,司法领域存在着"案多人少"的问题,为解决此问题该文以司法量刑为目的,参照中国"依法量刑"的原则,设计并实现了一种基于多通道自注意力机制的刑事案件辅助量刑模型.该模型对案件事实描述、被告人基本信息以及法律法规3方面进行潜在表征学习,同时将上述信息结合,从而达到准确量刑的目的.该文在裁判文书数据集上进行实验,通过与其它基线模型的实验对比可见该模型具有更好的刑期预测性能.     

基于多头自注意力机制的基数估计研究

基数估计是数据库查询中关键的一步,数据库的查询优化器会根据基数估计的预期结果来从多个物理执行计划中选择最终要执行的计划。针对传统的基数估计方法没有考虑数据各个列之间可能存在的逻辑关系,在数据量过大时估计准确性较低的问题,本文提出了一种基于神经网络的多头注意力机制的基数估计模型,利用数据列之间的逻辑关系提高SQL特征关系的提取效率,通过针对语句的不同组成部分,采用多种细粒度的编码方式有效提取数据之间的逻辑特征;利用多头自注意力机制对特征数据进行加权计算,提高模型的预判准确性。在IMDb数据集上的实验结果表明,该模型可以有效提高基数估计的准确性。     

基于全注意力机制的多步网络流量预测

预测资源分配能有效利用无线网络的剩余资源服务非实时业务,其中的关键问题之一是剩余资源的预测,可转化为实时业务流量预测问题。本文把面向自然语言处理提出的全注意力机制引入到时间序列预测问题中,预测未来分钟级时间窗内秒级的流量,通过在每秒记录的实测流量数据集上进行训练和测试,与其他基于循环神经网络和线性、非线性预测模型的方法在复杂度（由训练和测试时间衡量）、预测精度（由平均相对百分比误差衡量）和预测误差统计特性（由预测误差的均值和标准差衡量）等方面进行比较。研究结果表明,与无注意力机制的循环神经网络相比,所设计的基于全注意力机制的方法计算复杂度低,由于多步预测的累积误差,在预测精度方面增益不明显。      

融合注意力机制的多标签文本分类

多标签文本分类的结果很大程度上受到标签相关性的影响.为了更加细致地处理标签相关性问题,提出一种融合注意力机制的多标签文本分类方法.首先,将文本和标签预处理后,对标签输入采用两种不同的嵌入方式提取特征;其次,运用注意力机制处理信息,针对文本和标签信息,自注意力机制进行特征处理,标签注意力机制和交互注意力机制进行依赖关系处理,进而得到两种不同状态下的表示方式;最后,通过两次融合,充分表示文本标签信息,得到较好的标签分类结果.实验结果显示,较之于基线方法,在精度和归一化折损累计增益上,该方法数据总体有所提高.由此,该方法可以有效地融合文本和标签信息,缓解标签相关性问题,有利于提升多标签文本分类任务性能.     

基于自注意力机制的多视图三维重建方法

多视图立体匹配是计算机视觉领域的一大研究热点,针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题,提出一种基于自注意力机制的深度学习网络（SA-PatchmatchNet）。首先通过特征提取模块提取图像特征,再将其送入可学习的Patchmatch模块中,得到深度图,并对深度图进行优化,生成最终的深度图。为了捕捉深度推理任务中的重要信息,将自注意力机制融入到特征提取模块,提高了网络的特征提取能力。实验结果表明,SA-PatchmatchNet在Technical University of Denmark(DTU)数据集上进行测试,与PatchmatchNet相比,重建的完整性提升5.8%,整体性提升2.3%,与其他的state-of-the-art(SOTA)方法相比,完整性和整体性都得到了较大的提升。     

融合自注意力机制的人物姿态迁移生成模型

针对人物姿态迁移生成图像存在纹理细节丢失、姿态转移不合理等问题,提出一种融合自注意力机制的人物姿态迁移生成模型.首先,在两阶段姿态迁移生成模型的基础上,通过把改进的自注意力模块嵌入到生成对抗网络中,降低相似特征间的相互影响,强化对纹理细节的学习能力及丰富信息的捕获能力,增强姿态特征的显著性建模.然后,使用马尔可夫判别模...     

结合注意力机制的BiLSTM电力负荷预测

为了提高电力负荷预测精度,促进能源合理配置,文章首先对既有电力负荷预测相关研究展开讨论,指出目前研究中存在的不足。其次提出一种融合注意力机制（Attention Mechanism）的双向长短时记忆（Bi-directional Long Short-term Memory,BiLSTM）神经网络模型——BiLSTM-Attention模型,将长短时记忆神经网络作为特征提取单元,引入注意力机制提高模型对关键信息的表征能力。最后以国内某区域电力负荷数据为例,与基线模型进行对比,实验结果表明,本文提出的BiLSTM-Attention模型误差均小于三个基线模型：支持向量机回归（Support Vector Regression,SVR）模型、卷积神经网络（Convolutional Neural Network,CNN）模型和BiLSTM模型,证明BiLSTM-Attention模型对电力负荷具有较高的预测精度。     

融合词嵌入和通道注意力机制的网络安全态势预测

为了解决门控神经网络(Gated Recurrent Neural Network,GRU)不能很好地注意到关键词且训练速度较慢的问题,提出融合词嵌入和通道注意力机制的网络安全态势预测模型(E-SE-CNN)。首先,根据专家意见,采用正则表达式分割告警日志数据(网络安全设备捕捉到的Web攻击日志)构建多标签分类数据集;其次,利用Embedding进行词嵌入,获取词的分布式表示,使其能够充分地表示语义信息;再次,引入通道注意力机制(Squeeze and Excitation)和卷积神经网络(Convolutional Neural Networks,CNN),为不同的通道分配不同的权重,使得模型能够进一步获取文本的重要的语义信息;最后,将包含权重信息以及语义信息的特征图送入sigmoid层进行多标签的Web攻击分类。为了进一步验证E-SE-CNN模型的性能,设计了5组相关模型进行进一步验证。实验结果表明,在自建的Web攻击数据集上,在保证训练推理速度的同时,提出的模型在5种评估指标上均具有最佳的表现。     

基于注意力机制的自适应光学开环斜率预测

自适应光学（AO）技术是一种能够补偿大气湍流的有效手段,但由于存在系统固有时延,变形镜（DM）上的补偿波前滞后于实测畸变波前,导致AO技术对高时间频率大气湍流的校正效果明显下降。因此,开展大气湍流前向预测研究对于抵消AO系统固有时延、提升系统校正带宽具有重要的研究意义和应用价值。本文提出了一种基于注意力机制的AO波前时空预测网络,该网络同时考虑了大气湍流的时间与空间特征,可通过连续6帧先验波前斜率信息预测未来第2帧的波前斜率。在具有两帧延迟的AO系统仿真中,所提预测网络使得波前校正残差均方根（RMS）下降了约40%,并且在不同的大气湍流强度下均表现出稳定的预测精度,预测残差RMS仅为真实畸变波前RMS的5.00%。最后使用1 km激光大气传输系统采集的实验数据进行了测试,验证了开环斜率预测网络的有效性。     

基于改进注意力机制的问题生成模型研究

问题生成是一项应用非常广泛的自然语言生成任务,现有的研究大多数是采用基于循环神经网络构建的序列到序列模型.由于循环神经网络自带的“长期依赖”问题,导致模型编码器在对输入语句建模表示时,无法有效地捕获到词语间的相互关系信息.此外,在解码阶段,模型解码器通常只利用编码器的单层输出或者顶层输出来计算全局注意力权重,无法充分利...     

基于自注意力机制的干扰信号检测识别

为了解决卫星通信系统在对抗电磁环境中的干扰实时检测识别问题,提出了一种基于自注意力(Self-attention,SA)机制的高效轻量化网络模型。通过采用DenseNet加速对原始IQ信号的特征提取,并引入自注意力模块代替参数量较大的多重卷积层,实现对卫星通信系统中常见的干扰样式进行分类识别。仿真结果表明,在识别准确率方面达到常规的神经网络模型和算法性能水平的条件下,所提模型在网络复杂度和运算时延方面得到有效压缩。     

基于自注意力机制的雷达弱目标检测

对于低信噪比下的弱小目标检测,传统的检测算法采用恒虚警（CFAR）的方式定位目标的位置,但其难以设置合适的阈值,无法很好地应对该类目标的检测。针对上述问题,本文提出VU?Net检测方法。该方法首先对雷达回波数据进行处理,得到目标回波的距离?多普勒（RD）矩阵。然后将RD矩阵输入到所提出的网络框架,通过U?Net实现雷达信号的编码与解码,获取RD矩阵中具有辨别性的深度语义特征,实现逐单元的目标位置预测。同时,该网络中引入自注意力模块实现对雷达信号的关系建模,从而提取更加丰富的目标回波特征,提升网络的抗噪性能。实验结果表明,所提方法的检测性能在低信噪比场景下具有较强的鲁棒性,能够实现对弱目标的有效检测。     

基于注意力机制的全海深声速剖面预测方法

海水中的声速剖面具有明显的时间演化特性,其预测问题可以看作一个非线性的时间序列预测问题。解决此类问题的常用方法大多使用预定义的非线性形式,无法捕捉真正潜在的非线性关系。循环神经网络作为一种为序列建模特别设计的深度神经网络,在捕捉非线性关系上具有极大的灵活性,在非线性自回归的时间序列预测这一问题上展现了它的有效性;注意力机制能够从众多信息中选择出对当前任务目标最关键的信息,对多变量时间序列在时空维度上的非线性关系进行捕捉。该文利用深度学习中的循环神经网络,添加双层注意力机制构建多变量时间序列预测模型,对浅海环境下时变的全海深声速剖面进行预测。多个模型的预测结果表明,该模型相对于单纯的编码-解码模型有着明显的预测性能提升,并且注意力权重的分布能够与实际物理现象相关联,为水声学中物理模型与机器学习的结合提供了新的思路。     

基于层级注意力机制的链接预测模型研究

为了解决已有图注意力机制在进行链接预测相关任务时,容易造成注意力分配向某些出现频率高的关系倾斜的问题,提出了一种基于层级注意力机制的链接预测模型.在链接预测任务中,通过设计分层注意力机制,根据预测任务中的关系对知识图谱中与给定实体相连的不同类型的关系给予不同的注意力.在关注多跳邻居实体特征的同时,更关注关系特征以找到符...     

基于注意力机制的脑肿瘤分割算法研究

文章针对形状复杂、边界模糊的脑肿瘤难以实现精确分割的问题,提出一种基于卷积注意力机制和Transformer多头注意力机制的U型分割网络。文章首先设计了基于通道注意力和空间注意力的卷积模块,提高了模块对局部关键特征的提取能力;其次使用一种结构更精简的Transformer模块作为网络的瓶颈层,利用其多头注意力机制对全局特征进行充分感知;最后在BraTS 2021数据集上进行了实验。实验结果表明文章算法在增强肿瘤区域、肿瘤核心区域和整个肿瘤区域的Dice系数评分分别为87.51%,90.69%和93.47%,可以有效提高脑肿瘤分割精度。