基于BERT和注意力引导图卷积网络的关系抽取 |
| |
作者姓名: | 徐瑞涓 高建瓴 |
| |
作者单位: | 贵州大学大数据与信息工程学院 |
| |
摘 要: | 针对现有图卷积网络在关系抽取任务中存在文本语义,语法表征不准确和在不同树结构上并行化计算较难等问题,本文提出一种基于BERT和注意力引导图卷积网络的关系抽取模型。首先,在模型的输入层使用BERT和Bi-LSTM编码出适应于上下文语境的词向量;其次,对输入的树结构采用最短路径为中心的修剪方式,减少树中的无关信息;最后,在模型中引入多头注意力机制,自动学习不同子空间内对关系提取有用的相关子结构,并在TACRED数据集上进行验证。实验结果表明,相对于基线模型,本文提出的模型显著提高了实体关系抽取的F1值。
|
关 键 词: | 关系抽取 BERT 最短路径 多头注意力机制 图卷积 |
|
|