基于张量特征-GRU和多头自注意力机制的水质预测模型方法

针对现有水质预测模型对水质监测指标间存在数据特征利用不足,导致预测精度不高的问题,本文提出了一种基于张量分解融合门控神经网络(gate recurrent unit, GRU)和多头自注意力机制(Multi Head Self-Attention)的多指标水质预测模型(TGMHA)。该模型通过标准延迟嵌入变换(Standard delay embedding transform, SDT)将时序水质指标数据转换为张量数据,利用Tucker张量分解提取数据特征,然后结合多头自注意力机制挖掘多种水质指标数据特征之间的潜在关系,最后采用GRU模型实现多指标水质预测。对比实验证明了该模型预测相比传统GRU水质预测模型,得到的均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和决定系数(R²)四个指标有5-10%的提升,有效提升了水质预测的精度,具有较好的鲁棒性,为水质预测和环境监测管理提供了科学决策依据。     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于注意力机制的DGA域名检测算法

DGA域名(Domain Generation Algorithm)检测是恶意CC通信检测的关键技术之一。已有的检测方法通常基于域名构成的随机性进行检测,存在误报率高等问题,对于低随机性DGA域名的检测准确率较低,主要是因为此类方法未能有效提取低随机性DGA域名中的部分高随机性,为此提出了域名的多字符随机性提取方法。采用门控循环单元(GRU)实现多字符组合编码及其随机性提取;引入注意力机制,加强域名中部分高随机性特征。构建了基于注意力机制的循环神经网络的DGA域名检测算法(ATT-GRU),提升了低随机性DGA域名识别的有效性。实验结果表明,ATT-GRU算法在检测DGA域名上取得了比传统方法更高的检测精确率和更低的误报率。     

融合注意力机制的刀具磨损预测方法

刀具的磨损状态影响着工件表面质量与加工稳定性,故实现其磨损量的准确监测对于保证加工可靠性、维持生产加工连续性具有积极作用．为进一步提高刀具磨损预测模型的泛化性能和准确度,提出一种融合注意力机制的多尺度卷积双向门控循环(multiscale convolutional bidirectional gated recurrent unit-attention,MSCBGRU-A)神经网络的刀具磨损预测方法,其由特征拓展模块、多尺度卷积模块、双向GRU模块、注意力模块、回归模块组成．首先,将切削力、声发射、振动信号作为输入信号,输入信号通过多尺度卷积模块获得多个尺度的刀具磨损输出特征图,将多个卷积通道输出的特征图输入到连接层进行首尾和层叠两种方式的连接来获得两种输出数据．然后,将两种输出数据分别输入到双向GRU模块与注意力模块,通过双向GRU模块学习输出特征图动态变化来获取时序特征,通过注意力模块对多尺度卷积神经网络的输出进行权值分配,强化对刀具磨损预测结果贡献度更大的特征．最后,通过回归模块对磨损值进行预测．经过对比实验引入混合域注意力机制的基于卷积块的注意力机制(convolutiona...     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

BiGRU结合注意力机制的文本分类研究

随着信息时代的发展,文本包含的信息量越来越多,而同一段文本可以隶属于不同的类别,为了提升多标签文本分类任务的准确率,提出了一种基于ALBERT预训练、双向GRU并结合注意力机制的改进的多标签文本分类模型——BiGRU-Att模型.在百度发布的中文事件抽取数据集上进行实验,该模型的识别准确率达到了99.68％,相对比较组的BiLSTM-Att、LSTM-Att、BiGRU、BiLSTM、LSTM等模型的测试结果,准确率更高,性能更优.实验结果表明,改进的BiGRU-Att模型能有效提升多标签文本分类任务的准确率.     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注,提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明,改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明,BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition,NER)任务。     

基于自注意力机制的网络流量异常检测方法

网络中异常流量的有效检测对网络安全至关重要.以机器学习方法为主的异常流量检测技术,对流量数据采用特征选择方法进行降维并提取最优特征,但容易忽略数据特征之间的关联性,存在异常流量的检测率低、误报率高等问题.为了提高异常流量检测性能,论文在提取流量数据特征的过程中引入自注意力机制进行相关性学习,并结合深度卷积神经网络提出一种有效的网络流量异常检测模型.实验结果表明：通过引入自注意力机制,论文所提出的检测方法能够提取更准确的流量特征,并使得异常流量检测率高、误报率低.     

基于BiGRU和残差图注意力网络的股票价格预测模型

高效、准确的股票价格预测能帮助投资者合理规划交易方式,提高投资收益。针对现有股票价格预测模型的准确率不高、投资收益率低等问题,提出一种结合双向门控循环单元(BiGRU)和残差图注意力网络(ResGAT)的股票价格预测模型(BiGRU-ResGAT)。首先,通过结合注意力机制的时间滑动窗口方法(TSWMCAM)动态计算不同股票之间的关联系数,构建表征股票之间关联关系的股票图结构;然后,使用BiGRU捕获股票在时序上的长距离依赖信息;最后,利用ResGAT对股票的时序特征与股票间的关联特征进行深度挖掘和融合,并对股票价格进行预测。在上海证券交易所主板市场498支股票上的价格预测结果显示,与支持向量机(SVM)、门控循环单元(GRU)、复合模型(CNN-LSTM)和关系股票排序模型(RSR)相比,BiGRU-ResGAT在股票测试集上平均绝对误差(MAE)分别降低79.53%、63.20%、48.17%、33.19%,均方根误差(RMSE)分别降低80.23%、66.22%、53.99%、29.99%,决定系数(R-Squared)分别提升23.34%、15.22%、9.54%、4.84%;...     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力...     

基于双重自注意力机制的人脸图像修复

人脸图像修复旨在修复输入人脸图像中的缺失区域,生成令人满意的高质量修复结果.然而当存在大面积缺失时,直接修复缺失人脸图像十分困难,此时修复网络的全局上下文信息感知能力是影响修复结果的关键.鉴于此,本文提出了软硬注意力相结合的双重自注意力模块.该模块通过全局相似度计算来获得软硬两种注意力特征,之后对两种注意力特征进行自适应融合,进而提高修复网络对全局上下文信息的感知能力.此外,本文进一步提出了多尺度生成对抗网络以加强对修复结果的监督,促使修复网络生成更高质量的修复结果.实验结果表明,本文方法在定量和定性评测上均优于五种先进的对比方法.     

基于注意力机制的CNN-GRU船舶交通流预测模型

为更准确地预测内河船舶交通流,提出基于注意力机制的CNN-GRU船舶交通流预测模型。该模型主要借助一维卷积单元提取数据的高维特征,GRU单元学习数据中的时序特征,并通过引入注意力机制加强重要特征的学习,实现对超长序列的学习。此外,通过分析内河上下游航道交通流间的关联性,提取长江中下游6个航段的船舶AIS数据,构造多航段船舶交通流序列数据集,并将其输入本文模型中进行训练及测试。结果表明：相比序列预测模型中的SAE、LSTM、GRU、CNN+GRU和GRU+Attention,本文模型在针对不同交通流参数的预测中均具有更高的预测精度,交通流量、交通流密度和交通流速度的预测精度分别达到95.42%、97.33%、94.99%,可更好地满足工程应用需求。     

基于门控循环注意力网络的配电网故障识别方法

为了提高小样本条件下配电网故障辨识准确率,提出一种门控循环注意力网络模型.首先,通过注意力机制赋予故障相中关键周期较高权重,通过加权运算使得模型更加关注上述关键信息.其次,利用门控循环网络处理波形序列,该网络利用门控信号控制记忆传递过程,并借由记忆传递建立序列中不同阶段输入波形和故障类别概率间的关系,从而提升识别准确率.基于仿真数据和实际数据的实验均表明：所提方法在小样本条件下的可靠性和准确率远优于同等条件下支持向量机、梯度提升决策树、卷积神经网络等常用分类模型,为配电网故障辨识技术提供了一种新思路.     

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

基于自注意力机制的TransNet推荐模型

在神经网络的推荐模型基础上引入自注意力机制,提出一种改进的基于自注意力机制TransNet推荐模型SATransNet。SATransNet模型使用卷积神经网络提取评论特征,通过自注意力神经网络自动学习特征内部的依赖关系,由依赖关系来决定需要关注的特征,从而解决数据表达能力不足的缺陷。本文在不同数据集上进行了实验比较与分析,SATransNet推荐模型在不同数据集上的预测评分较好,均方误差总体呈优。与基于注意力机制的推荐模型相比,SATransNet推荐模型的归一化折损累计增益均有提升,具有较好的预测评分效果和推荐相关性。     

基于时空图注意力神经网络的交通道路拥塞和异常预测

为全面捕获交通路网的时空特性,分析路况的复杂多变性,实现道路拥堵和突发情况的高效准确预测,研究提出一种时空图注意力神经网络模型,通过将道路网络建模成一系列随时间变化的图,利用图注意力机制(graph attention network, GAT)关注路网图关键节点的空间特性并捕获动态的全图空间特征,再利用门控循环单元(gated recurrent neural network, GRU)充分捕获相邻路网图的时间相关性并降低模型冗余,提升了对道路拥堵和异常情况的预测准确率。采用PEMSD数据集进行实验。结果表明,所提方法与对比模型相比准确率与召回率均优于现有方法,有效提升了交通异常预测精度。     

基于注意力机制的机器阅读理解模型研究

机器阅读理解是自动问答领域的重要研究.随着深度学习技术发展,机器阅读理解已逐渐成为实现智能问答的技术支撑.注意力机制能够作为机器阅读理解中抽取文章相关信息而被广泛应用.文章总结了注意力机制发展历程发展原理以及在机器阅读理解模型中的使用方法：(1)介绍注意力机制的衍生过程及其原理;(2)阐述三种注意力机制在机器阅读理解模型中的作用;(3)对三种方法进行对比分析;(4)对注意力机制在机器阅读理解领域的应用进行总结展望.注意力机制可以帮助模型提取重要信息,能够使模型做出更加准确的判断,从而更广泛地运用于机器阅读理解的各项任务中.     

基于自注意力机制的多模态场景分类

针对真实环境场景会同时出现多种事件导致场景分类准确率受到干扰信息影响的问题,本文提出了一种基于自注意力机制的多模态场景分类方法。首先,对音频进行特征提取并使用自注意力机制获得关注信息;然后,对视频进行分帧图片抽取,通过ResNet 50对图片特征进行提取;最后,将两个模态的特征进行拼接并再次使用自注意力机制对特征信息进行抓取分类。基于DCASE2021 Challenge Task 1B数据集的实验结果表明,与其基线系统、双模态信息简单拼接、视频辅助音频和音频辅助视频的分类系统相比,基于自注意力机制的多模态场景分类系统的准确率优于单模态互相辅助决策的场景分类系统。