基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

基于STK-ATT-BiGRU模型的旅游意图识别方法

为了推进互联网技术在旅游业中的应用,加强对旅游市场需求变化的监测,构建了一个能够基于网络文本准确识别在线用户旅游意图的模型。模型在BiGRU的基础上,引入了门控注意力机制以加强对重要特征的关注,并通过堆叠网络加深对文本语义信息的理解。为验证模型性能,使用爬虫工具抓取相关网络文本构建数据集,并在该数据集上对本文模型进行对比实验。实验结果表明,模型在旅游意图识别任务中体现出了较好的分析处理性能,相较于对比模型,准确率与F₁值均有显著提升。     

融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明：文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。     

基于ERNIE-Bi-GRU-Attention的医疗实体关系抽取模型

医疗信息文本信息处理存在文本长、专业术语多、实体间关系复杂等问题,因此,提出一种基于ERNIEBi-GRU-Attention的医疗实体关系抽取模型。首先通过预训练模型ERNIE使向量获得丰富的语义信息和医疗先验知识,解决医疗专业术语问题;其次通过Bi-GRU-Attention进行语句编码,捕获有效上下文信息,有利于关系抽取;然后使用经典CRF输出实体标签;将实体标签特征和语句编码向量特征拼接进行一阶和二阶特征融合;最后通过分类器获得最终关系标签输出。通过在医疗数据集上验证,结果表明与其他模型相比,使用此模型医疗实体关系抽取的效果有所提升。     

基于多特征多注意力模型的中文事件关系识别

当前的关系识别任务多采用基于词或字粒度单一特征进行,忽略了全局信息对于关系识别的重要性,而且现代汉语具有词类和句法成分关系复杂的特点,这使得特征选择成为中文文本处理中的重点与难点。文中所用多特征多注意力模型除事件自身特征外,充分地考虑到位置、事件要素和上下文三类额外特征,利用全局信息以解决模型特征矩阵语义表征不足的问题。该模型结合双向注意力机制、点积注意力机制和双向门控循环神经网络进行事件关系识别,结合注意力机制的神经网络模型来较好地提取文本中的深层语义信息。其中双向注意力从特征矩阵两个方向提取事件自身有效信息,点积注意力提取事件之间的对应关系,双向门控循环神经网络提取矩阵中的上下文特征。在CEC2.0中文突发事件语料库上的实验结果表明,文中方法以及所用模型均有较好的识别效果。     

基于关联认知网络的语音情感识别模型

人们通过语言表达情感是一个不断变化的过程,为了使用语音信号的时间连续性表达具体情感,本文搭建了一种基于关联认知网络的GA-GRUS-ICN模型.首先,对输入的语音特征使用GRUS网络提取深度时序特征;然后,引入自注意力机制给重要的特征片段赋予更高的权重;最后,使用关联认知网络ICN构建情感之间的关联性,得到情感关联矩阵和最终识别结果,本文中对于超参数使用遗传算法GA进行选择.选用TYUT2.0、EMO-DB和CASIA语音数据库中的“悲伤”、“愤怒”、“高兴”三种基本情感作为实验数据,文章设计了五种实验方案进行两个消融实验,实验结果显示,三种模型在三种语音库的UA分别达到了80.83%、98.61%和88.13%,表明GA-GRUSICN识别模型在情感语音识别方面有较强的普适性,自注意力机制与GRUS-ICN模型比较适配,亦可以较好地进行语音情感识别.     

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F₁分值上分别提高了3.7%和5.1%。     

基于多通道CNN-BiGRU与多特征融合方法

新闻推荐是根据用户的阅读习惯,为其推送更符合需求的内容,然而现有的方法仍存在特征学习不足的问题.针对此问题,提出了一种基于多通道CNN-BiGRU与多特征融合方法,主要由以下四部分组成：(1)词嵌入层.在词向量中融入实体嵌入向量,弥补单独仅使用词向量的不足,完成多通道词向量的构建;(2)多通道CNN-BiGRU模型.此...     

基于自注意力的BiGRU和SVM的观点句识别

现有的观点句识别方法大多依赖于人工的特征选择,并且提取的数据稀疏.针对这些问题,提出一种基于自注意力双向门控循环单元(BiGRU)和支持向量机(SVM)相结合的方法.首先,将词向量输入到BiGRU中,引入自注意力机制,为BiGRU的隐藏层状态提供求和权重,使之与隐藏层状态相加权,将句子语义的不同方面分别提取到多个向量表...     

融合注意力机制的混合神经网络文本情感分析模型

以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network,DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先,利用宽卷积核提取文本边缘特征,采用动态k-max池化保留了文本的相对位置序列特征。其次,构建了DCNN与BiGRU的并行混合结构,避免了部分特征损失问题,并同时保留局部特征与全局上下文信息两种特征,提高了模型的特征提取能力。最后,在特征融合之后引入注意力机制,将注意力机制的作用全局化,提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比,其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。     

面向新闻领域的中文实体关系抽取

随着互联网技术的快速发展,人们能够及时地获取大量的新闻文本信息,如何从新闻中自动获取关键信息,把新闻中具有价值的信息转化为结构化数据,从而快速有效地获取有用的知识已是迫切需求.实体关系抽取是获取关键信息的方法之一,但目前关于中文的实体关系抽取工作较少.针对基于长短时记忆网络的中文实体识别模型难于提取长距离的依存关系特征...     

基于自注意力卷积神经网络的实体关系抽取

在自然语言处理解领域中,实体关系抽取作为信息抽取中的一个重要分支,旨在从自然文本中提取出两个实体之间的语义关系。大多数研究工作都是基于NLP系统的特征,特征提取工程和预处理过程十分冗杂,并且由LTP工具提取出来的特征会在模型中迭代而产生错误传播。为了避免对NLP系统的滥用,提出一种基于端到端的自注意力卷积神经网络模型来提取实体对之间的语义关系。实验结果表明,该方法在SemEval-2010 Task 8数据集上的F₁值提高了约1.3%。     

基于双路分段注意力神经张量网络的临床文本关系抽取

目前,生物医学领域的关系提取工作已经取得了长足的发展,但是在面对句式复杂的临床医学文本时,由于存在大量长句以及句中实体对的高密度分布,限制了当前关系抽取模型性能的进一步提升.本文提出了一种基于张量权重矩阵的双向门控循环单元网络（Tensor-based Bidirectional Gated Recurrent Unit, Tensor-BiGRU）和分段注意力机制的关系抽取模型,基于张量权重矩阵改进BiGRU网络的编码方式,提升神经网络捕获底层特征的能力,而后提出了两种分段注意力机制,以提高模型捕获长句特征的性能.此外,当句子中有多个实体对时,引入实体对的语义信息特征来克服模型的性能下降.本文进一步提出一种权重自适应的交叉熵损失函数,用于提升模型面对数据集中不同关系类别的样本分布不平衡问题的泛化性.实验结果表明,在不依赖任何特征工程和高性能运算环境的情况下,本文模型在2010 i2b2/VA临床关系抽取数据集上实现了先进的性能.     

基于XLNet-BiLSTM的中文电子病历命名实体识别方法

中文临床电子病历命名实体识别是实现智慧医疗的基本任务之一.本文针对传统的词向量模型文本语义表示不充分,以及循环神经网络(RNN)模型无法解决长时间依赖等问题,提出一个基于XLNet的中文临床电子病历命名实体识别模型XLNet-BiLSTM-MHA-CRF,将XLNet预训练语言模型作为嵌入层,对病历文本进行向量化表示,解决一词多义等问题;利用双向长短时记忆网络(BiLSTM)门控制单元获取句子的前向和后向语义特征信息,将特征序列输入到多头注意力层(multi-head attention,MHA);利用MHA获得特征序列不同子空间表示的信息,增强上下文语义的关联性,同时剔除噪声;最后输入条件随机场CRF识别全局最优序列.实验结果表明,XLNet-BiLSTM-Attention-CRF模型在CCKS-2017命名实体识别数据集上取得了良好的效果.     

基于门控机制的联合关系推理视觉问答模型

与问题相关的视觉对象提取准确度不够,以及视觉对象之间的关系推理能力不足,是现有视觉问答模型视觉推理能力不足的主要原因。针对这两个方面的问题,本文提出一种基于门控机制的联合关系推理视觉问答模型(VARG)。该模型利用视觉注意力机制关注多个与问题相关的区域,通过筛选机制提取与问题最相关的前N个区域,并在此基础上建立视觉关系特征进行视觉关系推理,引入门控选择机制,动态的控制视觉特征和视觉关系特征对于答案的贡献,以此提升模型视觉推理能力。经在VQA V2数据集上进行实验,证明了模型的有效性。     

基于卷积神经网络的医疗护理实体关系抽取

针对医疗护理领域知识复杂性强、数据量大以及对准确度要求较高的问题,该研究提出一种基于卷积神经网络的医疗护理学实体关系抽取方法,实现对护理学语义关系的细粒度文本挖掘。该研究构建了医疗护理学语料标注系统,通过将医疗语料转化为向量特征矩阵,实现了对医疗语料的自动过滤和标注。通过向神经网络模型嵌入所构建的医疗关系语料库,一定程度上提高了模型疾病分类的准确度。在医疗护理学数据集上的实验表明,基于卷积神经网络的模型在指标精确度、召回率、F1值可达到89.78%、87.59%、89.77%。综上所述,该研究提出的基于卷积神经网络的医疗护理学实体关系抽取方法能够有效地抽取医疗语料数据中的实体关系,优于传统的实体关系抽取模型。     

基于混合特征提取的判决预测模型

法律判决预测指的是在给定案情描述的情况下,对案件的罪名和刑期进行预测.当前罪名预测主要使用深度神经网络模型,刑期预测主要使用混合深度神经网络模型.现有研究只关注局部特征或全局特征,没有考虑到将二者结合.因此本文使用双向门控循环单元提取上下文特征,并结合注意力机制学习文本中词的重要性,使用胶囊网络克服卷积神经网络丢失空间信息的缺点,学习文本局部与全局之间的关系特征.同时由于刑期分类时分类粒度较大,导致辅助决策结果不够理想.为实现更加理想的分类效果,将刑期按年进行更加细粒度的分类,分为28类.实验结果表明,该混合模型比基线模型效果更好,在罪名预测和28类刑期预测准确率分别为98.88％和74.32％.     

融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。