基于BERT和注意力引导图卷积网络的关系抽取

针对现有图卷积网络在关系抽取任务中存在文本语义,语法表征不准确和在不同树结构上并行化计算较难等问题,本文提出一种基于BERT和注意力引导图卷积网络的关系抽取模型。首先,在模型的输入层使用BERT和Bi-LSTM编码出适应于上下文语境的词向量;其次,对输入的树结构采用最短路径为中心的修剪方式,减少树中的无关信息;最后,在模型中引入多头注意力机制,自动学习不同子空间内对关系提取有用的相关子结构,并在TACRED数据集上进行验证。实验结果表明,相对于基线模型,本文提出的模型显著提高了实体关系抽取的F₁值。     

双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,...     

多交互图卷积网络用于方面情感分析

方面情感分析旨在识别句子中特定方面的情感极性,是一项细粒度情感分析任务。传统基于注意力机制方法,仅在单词之间进行单一的语义交互,没有建立方面词与文本词的语法信息交互,导致方面词错误地关注到与其语法无关的文本词信息。此外,单词的位置距离特征和语法距离特征,分别体现其在句子线性形式中和句子语法依存树中的位置关系,而基于图卷积网络处理语法信息的方法却忽略距离特征,使距方面词较远的无关信息对其情感分析造成干扰。针对上述问题,该文提出多交互图卷积网络(MIGCN),首先将文本词位置距离特征馈入到每层图卷积网络,同时利用依存树中文本词的语法距离特征对图卷积网络的邻接矩阵加权,最后,设计语义交互和语法交互分别处理单词之间语义和语法信息。实验结果表明,在公共数据集上,准确率和宏F1值均优于基准模型。     

基于混合图卷积网络模型的节点分类方法

随着互联网和大数据的发展,近年来图表征学习(Graph Representation Learning)受到了广泛关注。图表征学习将图中每一个节点都映射到一个低维向量空间,并且在此空间内保持原有图的结构信息,常常应用于节点分类、链路预测以及社群发现等任务。图卷积网络(Graph Convolutional Networks,GCN)和图注意力网络(Graph Attention Networks,GAT)是基于神经网络的图表征学习方法。GCN模型假设图中所有的边都具有相同的权重,所以认为图中节点间互联的强弱关系是一致的,这是不合理的。虽然GAT模型引入了多个注意力矩阵来学习图中相邻节点之间的重要性,但增加了计算复杂性。因此,提出了一种基于混合图卷积网络模型(GCN Mixture Model,GCN-MM)的方法。该方法充分利用GCN模型与GAT模型各自的优点,结合了图中节点的相邻相似性、结构相似性以及特征多样性。在公共数据集CORA、CITESEER、PUBMED的半监督任务中,它相比GAT模型有效减少了模型的可调整参数数量和训练耗时,同时不影响精度。在CORA和PUBMED数据集的...     

基于图卷积网络的服装评价信息分类问题的研究

随着互联网的快速发展以及电子设备的逐渐普及,越来越多的人选择在网上购物,买家在购买商品之后,可以通过平台提供的评价系统表达自己对服装产品的感受,因此会产生大量的服装评价信息.由于这些评价信息的标签是通过人工选择的,会受到外在因素的影响,所以具有不确定性.这些不确定性产生的误差会影响到平台以及其他用户对服装产品的评判.针...     

基于图卷积神经网络的高校评教文本垃圾识别模型

目前,高校的学生评教与专家评教,是考核、评价教师的重要依据之一.虽然大多数高校有自己的评教系统,但鲜有高校能将评教的数据合理有效地利用,甚至有些评教内容以偏概全、不切实际,质量难以量化教师的真实情况.本文旨在利用图卷积神经网络模型,充分考虑评教学生对教师评价的图形拓扑关系,深度挖掘评价者与被评价者的特征信息,从而进行准...     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案.首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影...     

基于面部关键点和图卷积的表情识别方法

针对现有人脸表情识别方法对于面部细节处的局部特征关注度不足的问题,提出了基于面部关键点和图卷积的人脸表情识别方法CGNet。CGNet将面部图像按面部器官进行分割得到多个分割图像,提取分割图像的多尺度特征并引入空间注意力机制提取细节信息,提升网络对于面部细节的关注度;提取人脸关键点,利用图卷积网络提取出人脸面部的结构信息,提升网络对高维度特征的表示能力。实验结果表明,CGNet是一种高效的表情识别算法,能够获得更有效的面部特征,提高识别准确率。     

基于注意力机制和稀疏图卷积的行人轨迹预测

行人轨迹预测能够有效降低行人轨迹突变造成的碰撞风险,在智能交通及监控系统等领域有着广泛应用。目前已有的研究大多利用无向图卷积网络对行人间的社会交互关系进行建模,这种方法缺少对行人隐藏状态关联性的考虑,容易产生行人间的冗余交互。针对这一问题,提出一种基于注意力机制和稀疏图卷积的行人轨迹预测模型（DASGCN）,通过构建深度注意力机制,捕捉行人间运动隐藏状态的关联性,从而准确地提取行人运动状态特征。进一步提出自调节稀疏方法,减小冗余信息带来的运动轨迹偏差,解决行人密集无向交互的问题。将所提模型在ETH和UCY数据集上进行验证,其平均位移误差（ADE）和最终位移误差（FDE）分别达到0.36和0.63。实验结果表明,DASGCN对行人轨迹的预测能力要优于传统算法。     

基于图卷积神经网络的人体三维重建

针对在人体三维重建任务中人体模型姿势参数的回归会出现不连续性或周期性的问题,以及生成的模型往往不能展现丰富的人体表面细节的问题.本文尝试使用神经网络从输入的原始图像中提取丰富的人体特征,并将所得特征融合到标准人体模型的网格顶点上,然后使用图卷积神经网络直接回归网格顶点的三维坐标,而不是回归人体姿势参数,这样就避免了回归...     

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络。以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过减少冗余信息提高识别准确率;接着构建时空特征提取模块获得关注关节点时空关联信息;最终由Softmax层实现动作识别。实验结果表明：在校园安防实景中对拳打、脚踢、倒地、推搡、打耳光和跪地6种典型动作识别准确率分别为94.5%,97.0%,98.5%,95.0%,94.5%,95.5%,识别速度最大为20.6 fps。在UCF101数据集上对比两类基准网络,识别速度和准确率均有提升,验证了方法对其他动作的通用性,可以满足对校园典型暴力行为识别的实时性和可靠性要求。     

基于融合文本与评分的多头注意力推荐算法

基于协同过滤模型一直被数据的稀疏性问题限制了推荐效果,诸多研究利用深度模型去挖掘评论文本中的抽象特征,但却忽略协同过滤中矩阵分解的隐向量特征。为解决上述问题,文中提出一种融合文本与评分的多头注意力推荐算法模型MTS,将矩阵分解的隐向量特征作为多头注意力的key与CNN抽取的评论特征相结合,并计算用户与物品的相似矩阵,提取用户物品间的相互关联,最终输入FM实现特征融合并预测评分。实验表明,该模型与多个代表模型相比MAE都有较大提升,MAE的误差最大降低了22.17%。     

基于图卷积神经网络的大规模软件定义网络流量预测模型

为了提高大规模软件定义网络流量预测的准确率,研究基于图卷积神经网络的大规模软件定义网络流量预测模型。构建包含图卷积神经网络（Graph Convolution Neural Network, GCN）层、门控递归单元（Gating Recursive Unit, GRU）层及自注意力机制层的流量预测模型。通过GCN层与GRU层分别重构与更新网络流量的空间与时间特征;将两种特征共同输入自注意力机制层,经整合与加权平均运算后,获得网络流量预测值输出,实现大规模软件定义网络流量预测。实验结果显示,该模型可精准预测大规模软件定义网络流量,降低所应用网络的通信丢包率与通信延时,实现高质量高时效的网络数据传输,保障大规模软件定义网络的智能流量通信。     

融合上下文信息图卷积的中文短文本分类方法

针对中文短文本特征提取存在语义特征稀疏的问题,为了弥补图卷积网络不能捕捉长距离上下文关联性的不足,引入双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM),提出BERT BGCN短文本分类模型.首先利用BERT对文本信息进行字符级编码作为图节点的特征值,其次通过全局共享的点互信息(Pointwise Mutual Information,PMI)关系作为节点间的边为每个文档构建一个单独的文本图,再次,聚合图卷积网络和BiLSTM的输出形成融合上下文信息的特征矩阵并输入到下一层的图卷积网络,最后输出到全连接层得到最终分类结果.本模型在3个中文短文本数据集与其他多个基线模型进行比较,实验结果表明,本模型在准确率方面优于其他基线模型.     

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于光谱注意力图卷积网络的高光谱图像分类

近年来,图卷积网络因其特征聚合的机制,能够同时对单个节点以及近邻节点的特征进行表示,被广泛应用于高光谱图像的分类任务。然而,高光谱图像(HSI)中常存在波段冗余、同物异谱等问题,使得直接利用原始光谱特征构建的初始图可靠性不足,从而导致高光谱图像的分类精度低。为此,该文提出一种基于光谱注意力图卷积网络(SAGCN)的高光谱图像半监督分类方法。首先,利用注意力模块对光谱的局部与全局信息进行交互,以增加重要光谱的权重、减小冗余波段以及噪声波段的权重,从而实现光谱的自适应加权;然后,针对光谱加权处理后的高光谱图像,通过空间-光谱相似性度量构建更为准确的近邻矩阵;最后,通过图卷积对标记和无标记样本进行有效的特征聚合,并使用标记样本的聚合特征训练网络。在Indian Pines, Kennedy Space Center和Botswana 3个真实高光谱图像数据集上的实验结果验证了所提方法的有效性。     

基于空间注意力与图卷积的多标签图像分类算法

针对传统多标签图像分类模型存在难以生成更接近相关标签的高层图像特征,以及因未能利用标签之间的视觉相关性而导致的识别精度不够高等问题,提出了一种基于空间注意力与图卷积的多标签图像分类算法.首先,利用图卷积网络学习标签邻接图特征和使用GLOVE算法,从标签序列获取的标签嵌入;其次,在高层语义信息中引入改进的空间注意力网络以...     

基于图卷积网络的基站用户数量预测

移动网络用户预测建模有助于发现城市人群时空分布特征和实行合理资源调度策略。随着移动网络的快速发展,移动通信基站产生了大量手机信令信息,为数据驱动建模提供了支撑。传统的时序预测只考虑时序特征而忽略了空间上的关联。针对这一问题,提出一种基于图卷积网络(Graph Convolutional Network, GCN)的基站用户数量预测模型。利用GCN获取基站之间的空间关联特征,通过长短时记忆(Long Short-Term Memory, LSTM)网络对时序特征进行建模。通过进行对比实验和消融实验,证明该模型能够有效提取基站用户数量的时空特征,相对传统方法具有更优的性能。     

面向方面情感分析的多通道增强图卷积网络

传统的基于单通道的特征提取方式,仅使用单一的依赖关系捕获特征,忽略单词间的语义相似性与依赖关系类型信息。尽管基于图卷积网络进行方面情感分析的方法已经取得一定成效,但始终难以同时聚合节点的语义信息和句法结构特征,在整个迭代训练过程中最初的语义特征会逐渐遗失,影响句子最终的情感分类效果。由于缺乏先验知识会导致模型对相关情感词的误解,因此需要引入外部知识来丰富文本信息。目前,如何利用图神经网络(GNN)融合句法和语义特征的方式仍值得深入研究。针对上述问题,该文提出一种多通道增强图卷积网络模型。首先,通过对情感知识和依赖类型增强的句法图进行图卷积操作,得到基于语法的两种表示,与经过多头注意力和图卷积学习到的语义表示进行融合,使多通道的特征能够互补学习。实验结果表明,在5个公开数据集上,准确率和宏F1值优于基准模型。由此可见,依赖类型和情感知识均对增强句法图有重要影响,表明融合语义信息与句法结构的有效性。