基于注意力门控卷积循环神经网络的通用音频标记

研究了注意力门控卷积循环神经网络的通用音频标记问题.DCASE 2018挑战任务2的音频样本的数据集过少,容易造成过拟合问题.为了减少过拟合问题,采用数据增强方法,dropout策略.采用可学习的上下文门控模块以帮助选择与音频类最相关的特征.采用时间注意力机制关注音频事件的相关帧并且忽略不相关帧.在DCASE2018任务2的数据集上评估了提出的模型,开发集和测试集的平均准确率(MAP@3得分)分别为96.1%和92.4%,远高于此次竞赛的基线系统的平均准确率.     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力...     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于注意力机制的卷积循环网络语音降噪

不同噪声在频谱上具有不同的特性,为了解决卷积神经网络对含有不同噪声的语音降噪的局限性,通过引入通道注意力机制作为卷积循环网络的中间层,将卷积层中不同功能的卷积核赋予不同的权重,使模型在训练时能够对输入数据更有针对性地去除噪声部分,从而达到更好的降噪效果。针对含有15种噪声的含噪语音分别应用循环神经网络、编解码卷积网络和卷积循环神经网络等三种模型进行降噪处理,结果表明引入注意力机制的模型相比于其他两种模型,在感知语音质量评价(perceptual evaluation of speech quality, PESQ)和短时客观可懂度(short time objective intelligibility, STOI)评分上都有所提高,且引入注意力机制的模型能够更好地保留语音的谐波信息。     

基于BiGRU和残差图注意力网络的股票价格预测模型

高效、准确的股票价格预测能帮助投资者合理规划交易方式,提高投资收益。针对现有股票价格预测模型的准确率不高、投资收益率低等问题,提出一种结合双向门控循环单元(BiGRU)和残差图注意力网络(ResGAT)的股票价格预测模型(BiGRU-ResGAT)。首先,通过结合注意力机制的时间滑动窗口方法(TSWMCAM)动态计算不同股票之间的关联系数,构建表征股票之间关联关系的股票图结构;然后,使用BiGRU捕获股票在时序上的长距离依赖信息;最后,利用ResGAT对股票的时序特征与股票间的关联特征进行深度挖掘和融合,并对股票价格进行预测。在上海证券交易所主板市场498支股票上的价格预测结果显示,与支持向量机(SVM)、门控循环单元(GRU)、复合模型(CNN-LSTM)和关系股票排序模型(RSR)相比,BiGRU-ResGAT在股票测试集上平均绝对误差(MAE)分别降低79.53%、63.20%、48.17%、33.19%,均方根误差(RMSE)分别降低80.23%、66.22%、53.99%、29.99%,决定系数(R-Squared)分别提升23.34%、15.22%、9.54%、4.84%;...     

基于多头注意力门控卷积网络的特定目标情感分析

在特定目标情感分析中,现有的循环神经网络模型存在训练时间长且获取目标相关信息困难的问题。针对该问题,利用注意力机制,提出一种带有位置嵌入的多头注意力门控卷积网络(PE-MAGCN)。首先,模型使用多头注意力层获取目标词与上下文词之间的信息,并额外加入文本和目标词的相对位置嵌入信息,然后采用带有门控机制的卷积神经网络提取与目标词有关的情感特征,最后通过Softmax分类器来识别情感极性倾向。使用SemEval 2014数据集与目前主要用于目标情感识别的模型进行实验对比,结果表明本模型的准确率和F1值较高,可以较好地完成特定目标情感分析任务。     

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络（Cycle-GAN）在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制（SE-Net）,利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习（CL）,使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。     

基于双向长短记忆网络和门控注意力的文本分类网络

首先,提出构建双向的全连接结构用于更好提取上下文的信息;然后,利用双向的注意力机制将包含丰富文本特征的矩阵压缩成一个向量;最后,将双向的全连接结构和门控制结构相结合.通过实验验证了上述结构对于提升文本分类的准确率具有积极的作用.将这3种结构和双向的循环网络进行结合,组成了所提出的文本分类模型.通过在7个常用的文本分类数据集(AG、 DBP、 Yelp.P、 Yelp.F、 Yah.A、Ama.F、Ama.P)上进行的实验,得到了具有竞争性的结果并且在其中5个数据集(AG、DBP、Yelp.P、Ama.F、Ama.P)上获得了较好的实验效果.通过实验表明,所提出的文本分类模型能显著降低分类错误率.     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注,提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明,改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明,BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition,NER)任务。     

基于门控循环单元网络的低阻油层测井流体识别方法

研究区块低阻油层发育广泛,油层和水层的电阻率相差不大,导致测井流体识别较为困难。为了有效识别低阻油层,采用少数类过采样技术(synthetic minority oversampling technique, Smote)对油水同层,油层等少数类样本进行过采样使数据集均衡;并利用门控循环单元(gated recurrent unit, GRU)网络模型进行低阻油层的流体识别。通过相关性分析确定自然伽马(GR)、深侧向电阻率(RD)、密度(DEN)等8条测井曲线数据作为输入训练模型,应用于中实际资料中,并将GRU与传统RNN和其他3种机器学习算法对比。结果表明：序列数据模型的流体识别效果比传统机器学习模型好,且基于Smote-GRU的流体识别模型的符合率达到89.5%,相对传统循环神经网络(recurrent neural network, RNN)的81.1%,取得了较好的应用效果。通过对照试验还证实了Smote算法提高了分类器对少数类样本的识别率。所提出的方法可为样本不均衡的低阻油层的流体识别提供参考。     

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型（Based on Bi-GRU and Hierarchical Attention,BGHA）。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。     

基于自注意力机制的冗长商品名称精简方法

大部分电子商务网站为了吸引用户的关注,通常将商品的很多属性也纳入到商品名称中,使得商品名称中包括了冗余的信息,并产生不一致性.为解决这一的问题,提出了一个基于自注意力机制的商品名称精简模型,并针对自注意力机制网络无法直接捕捉商品名称序列特征的问题,利用门控循环单元的时序特性对自注意力机制进行了时序增强,以较小的计算代价换取了商品命名精简任务整体性能的提升.在公开商品短标题数据集LESD4EC的基础上,构造了商品名称精简数据集LESD4EC_L和LESD4EC_S,并进行了模型验证.一系列的实验结果表明本,所提出的自注意力机制冗长商品名称精简方法相对于其他商品名称精简方法在效果上有较大的提升.     

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

基于拓扑辨识的配电网故障定位算法

针对配电网存在T接点的情况,提出了基于拓扑辨识的配电网故障定位算法。该算法将配电网络的拓扑描述矩阵分析成不含区域和只含区域的矩阵描述方式,有效地解决配电网的故障区段判断;同时可以自动定位区域的顶点,适应多变的网络结构。     

基于编码器共享和门控网络的生成式文本摘要方法

结合基于自注意力机制的Transformer模型, 提出一种基于编码器共享和门控网络的文本摘要方法。该方法将编码器作为解码器的一部分, 使解码器的部分模块共享编码器的参数, 同时使用门控网络筛选输入序列中的关键信息。相对已有方法, 所提方法提升了文本摘要任务的训练和推理速度, 同时提升了生成摘要的准确性和流畅性。在英文数据集Gigaword和DUC2004上的实验表明, 所提方法在时间效率和生成摘要质量上, 明显优于已有模型。     

基于互信息-图注意力网络的大学生综合素质分类模型

为对高校大学生综合素质进行科学有效的分类,提出一种基于互信息-图注意力网络的大学生综合素质分类模型(Mutal＿GAT).首先,对原始数据进行预处理和分析,并通过门控循环单元算法(GRU)获得特征向量矩阵;然后,通过互信息方法提取数据之间的关联信息,并以此形成互信息关联矩阵;最后,通过图注意力网络的多头机制实现分类预测.结果表明,Mutal＿GAT模型在均方误差、准确率和召回率3项指标上均优于未加入互信息的图注意力网络、支持向量机、贝叶斯和随机森林随机梯度决策树分类算法.该模型在高校学生综合素质评定领域中具有良好的应用前景.     

基于注意力机制的DGA域名检测算法

DGA域名(Domain Generation Algorithm)检测是恶意CC通信检测的关键技术之一。已有的检测方法通常基于域名构成的随机性进行检测,存在误报率高等问题,对于低随机性DGA域名的检测准确率较低,主要是因为此类方法未能有效提取低随机性DGA域名中的部分高随机性,为此提出了域名的多字符随机性提取方法。采用门控循环单元(GRU)实现多字符组合编码及其随机性提取;引入注意力机制,加强域名中部分高随机性特征。构建了基于注意力机制的循环神经网络的DGA域名检测算法(ATT-GRU),提升了低随机性DGA域名识别的有效性。实验结果表明,ATT-GRU算法在检测DGA域名上取得了比传统方法更高的检测精确率和更低的误报率。     

配电网线路高阻故障识别方法

由于故障特征不明显,检测难度大,高阻故障一直是配电网故障识别的难点。利用小波在时域和频域都具有良好的局部化性能,对暂态信号进行多尺度分解,并对各个尺度下的小波系数进行重构,抽取尺度3下的小波重构系数,计算各馈线的定时浮动窗内的量谱,根据其量值特征来识别故障所在线路。在研究电力系统各种暂态信号的基础上建立了配电网高阻故障仿真系统,通过PSCAD仿真平台利用高阻故障模型对配电网馈线进行高阻故障仿真分析。大量仿真分析表明,该方法能够有效提取故障的特征量,可对高阻故障进行在线识别。     

基于图注意力网络和天气权重的短时车速预测

城市道路短时车速预测是智能交通系统中的一个重要组成部分,也是城市道路交通信号灯控制、公交调度、出行线路搜索等具体应用任务的基础.目前这方面的研究热点多是使用图卷积神经网络捕获空间特征,再使用直接的线性拼接方法进行特征处理,在准确度上有不足.针对短时车速预测的高准确性要求,提出一种融合图注意力网络、门控循环单元和天气权重因子的深度学习预测模型（Graph Attention Network Based with Weather Weight,W2-GAT）.其中,图注意力网络利用注意力机制捕获城市道路空间信息,门控循环单元用于提取车速时间特征,重点关注待预测点周边的路面车速情况;在特征处理方面,将天气因素作为可变权重超参数与具体的道路车速特征进行融合,提高预测的准确性.实验结果表明,和现有模型相比,W2-GAT模型预测结果的均方根误差平均降低7.5%,准确率平均提升4%,能够较好地反映实际路面情况下未来短时的车速特征,为具体应用提供数据支撑.