基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于XLNet的医学文本实体关系识别模型

目前在处理医学文本实体间关系提取任务中,使用传统的词向量表示方法无法解决医学文本中的词多义性问题,加上基于长短时记忆网络对文本语义局部特征抽取不够充分,不能充分捕捉医疗文本隐藏的内部关联信息。因此,提出一种基于XLNet-BiGRU-Attention-TextCNN的医疗文本实体关系抽取模型。利用XLNet模型将输入的医疗文本转化为向量形式,接着连接双向门控循环神经网络(BiGRU)提取文本语句的长距离依赖关系,然后使用注意力机制(Attention)为特征序列分配权重,降低噪声影响,最后利用文本卷积神经网络(TextCNN)对序列进行局部特征提取并通过softmax层输出关系抽取结果。实验结果表明,本文所提模型在精确率、召回率和F值上均优于基准模型。     

基于注意力机制改进的LSTM空战目标意图识别方法

空战对抗过程中的目标状态数据呈现时序性、多维性等特征,为进一步提升目标意图识别的准确率,提出了一种基于改进注意力机制的长短期记忆网络(LSTM)目标识别方法,将空战可能出现的目标意图识别当成一个多分类问题处理。该方法首先通过目标实时的状态数据,生成特征序列;接着采用注意力机制提升目标的特征学习能力,增强空战过程中的主要目标状态特征表示,得到具有权值分配的特征向量;最后利用LSTM网络对目标特征向量进行训练,通过softmax层实现目标意图的识别。仿真实验表明,该方法利用注意力机制有效增强目标的特征学习,进一步提升了LSTM网络的识别精度,具有一定的科学性和有效性。     

基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

基于多通道CNN-BiGRU与多特征融合方法

新闻推荐是根据用户的阅读习惯,为其推送更符合需求的内容,然而现有的方法仍存在特征学习不足的问题.针对此问题,提出了一种基于多通道CNN-BiGRU与多特征融合方法,主要由以下四部分组成：(1)词嵌入层.在词向量中融入实体嵌入向量,弥补单独仅使用词向量的不足,完成多通道词向量的构建;(2)多通道CNN-BiGRU模型.此...     

基于关联认知网络的语音情感识别模型

人们通过语言表达情感是一个不断变化的过程,为了使用语音信号的时间连续性表达具体情感,本文搭建了一种基于关联认知网络的GA-GRUS-ICN模型.首先,对输入的语音特征使用GRUS网络提取深度时序特征;然后,引入自注意力机制给重要的特征片段赋予更高的权重;最后,使用关联认知网络ICN构建情感之间的关联性,得到情感关联矩阵和最终识别结果,本文中对于超参数使用遗传算法GA进行选择.选用TYUT2.0、EMO-DB和CASIA语音数据库中的“悲伤”、“愤怒”、“高兴”三种基本情感作为实验数据,文章设计了五种实验方案进行两个消融实验,实验结果显示,三种模型在三种语音库的UA分别达到了80.83%、98.61%和88.13%,表明GA-GRUSICN识别模型在情感语音识别方面有较强的普适性,自注意力机制与GRUS-ICN模型比较适配,亦可以较好地进行语音情感识别.     

基于自注意力的BiGRU和SVM的观点句识别

现有的观点句识别方法大多依赖于人工的特征选择,并且提取的数据稀疏.针对这些问题,提出一种基于自注意力双向门控循环单元(BiGRU)和支持向量机(SVM)相结合的方法.首先,将词向量输入到BiGRU中,引入自注意力机制,为BiGRU的隐藏层状态提供求和权重,使之与隐藏层状态相加权,将句子语义的不同方面分别提取到多个向量表...     

基于卷积注意力门控循环网络的加密流量分类方法

流量加密技术给流量分类带来了新的挑战,为实现加密流量的快速准确分类,提出了一种基于卷积注意力门控循环网络的加密流量分类方法.将卷积神经网络和门控循环单元相结合,针对流量数据的特点,修改卷积神经网络的池化层以提取单个数据包特征,通过注意力机制寻找单个数据包的关键特征并赋予高权重;然后采用门控循环单元提取流层面数据包间的时...     

基于混合特征提取的判决预测模型

法律判决预测指的是在给定案情描述的情况下,对案件的罪名和刑期进行预测.当前罪名预测主要使用深度神经网络模型,刑期预测主要使用混合深度神经网络模型.现有研究只关注局部特征或全局特征,没有考虑到将二者结合.因此本文使用双向门控循环单元提取上下文特征,并结合注意力机制学习文本中词的重要性,使用胶囊网络克服卷积神经网络丢失空间信息的缺点,学习文本局部与全局之间的关系特征.同时由于刑期分类时分类粒度较大,导致辅助决策结果不够理想.为实现更加理想的分类效果,将刑期按年进行更加细粒度的分类,分为28类.实验结果表明,该混合模型比基线模型效果更好,在罪名预测和28类刑期预测准确率分别为98.88％和74.32％.     

基于多特征多注意力模型的中文事件关系识别

当前的关系识别任务多采用基于词或字粒度单一特征进行,忽略了全局信息对于关系识别的重要性,而且现代汉语具有词类和句法成分关系复杂的特点,这使得特征选择成为中文文本处理中的重点与难点。文中所用多特征多注意力模型除事件自身特征外,充分地考虑到位置、事件要素和上下文三类额外特征,利用全局信息以解决模型特征矩阵语义表征不足的问题。该模型结合双向注意力机制、点积注意力机制和双向门控循环神经网络进行事件关系识别,结合注意力机制的神经网络模型来较好地提取文本中的深层语义信息。其中双向注意力从特征矩阵两个方向提取事件自身有效信息,点积注意力提取事件之间的对应关系,双向门控循环神经网络提取矩阵中的上下文特征。在CEC2.0中文突发事件语料库上的实验结果表明,文中方法以及所用模型均有较好的识别效果。     

基于多模型融合的行为意图感知

随着互联网信息技术的飞速发展,数据呈现爆炸式增长,人每时每刻都在产生新的数据,如何从用户的各种行为数据中挖掘内在联系,将其标准化和模型化,实现对用户行为的感知和预测是各行各业面临的难题.基于特定人群行为数据的分析,针对不同用户个体或群体建立行为模型,进而为不同部门提供不同的决策支持;如服务提供商可根据不同的用户群体特点...     

融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。     

基于Bi-GRU和双层注意力机制的商品评论情感分析

本文针对现有商品评论情感分析模型均没有对商品评论文本进行细粒度划分的缺点,提出一种基于双向门控循环网络(Bi-GRU)和双层注意力机制的商品评论情感分类模型。该模型将商品评论文本划分成词级和句子级,通过Bi-GRU提取商品评论在词级和句子级的特征,同时在词级和句子级分别应用注意力机制对相应信息进行权重重分布,通过层级递进的方式获取到商品评论的情感倾向。实验结果表明,本研究提出的商品评论情感分析模型在评论数据集中取得了93.78%的准确率,相对于使用单层注意力机制的Bi-GRU提升了2.6%。     

基于注意力机制和双向GRU模型的雷达HRRP目标识别

针对雷达高分辨距离像(HRRP)目标识别问题,传统方法只考虑样本的包络信息而忽略了距离单元间的时序相关性,该文提出了一种基于注意力机制的双向自循环神经网络模型。该模型将时域的HRRP数据通过滑窗分为正反两个序列,并将其分别通过两个相互独立的GRU网络进行特征提取,然后将同时刻提取到的特征进行拼接,从而利用了距离像双向的时序信息。考虑到不同时刻的序列对目标分类的重要性不同,通过注意力机制自适应地对各时刻隐层特征赋予不同的权值,最后根据加权求和后的隐层特征进行目标的识别与分类。实测数据实验结果表明,该文所提方法可以有效完成高分辨距离像的目标识别问题,并且在数据发生一定的时序偏移情况下,仍然可以准确找到目标区域。      

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分：文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。     

基于改进模糊置信规则的意图识别方法

针对传统意图识别方法只能处理某种类型不确定性信息的不足,该文结合模糊集和DS证据理论优势提出一种模糊置信规则库(BRB)信息处理方法。首先在置信规则前提部分改进了前提属性的连接关系,根据数据集统计分布特点设计了模糊集分割,选取Cauchy型分布作为隶属度函数,较好地避免置信规则无法被有效激活进而导致系统无有效输出问题;其次融合处理辨识框架内不同类别的置信分布,建立规则权重和特征权重优化模型,构建了特征空间与类别空间之间的输入输出关系;在此基础上,计算未知意图数据在相应规则模糊域的匹配度和激活度,采用置信度最大原则进行识别决策。通过实验验证、参数敏感性及结果分析、时间复杂度分析,表明该文方法可以获得比其他识别方法更高的正确率,尤其是在小样本条件下更能体现出该方法的有效性和可靠性。     

基于热释电红外传感器的人体动作识别方法

针对目前人体动作识别技术中存在的隐私暴露、技术复杂度高和识别精度低等相关问题,提出了一种基于热释电红外（PIR）传感器的人体动作识别方法。首先,采用一组安置在天花板上经过视场调制的PIR传感器采集人体运动时散发的红外热辐射信号,将传感器输出的电压模拟信号进行滤波放大后通过ZigBee无线模块传送到PC端打包成原始数据集;其次,将原始数据的两路传感器输出数据进行特征融合,对融合后的数据做标准化处理封装为训练集和测试集;然后,基于数据的特征提出一种两层级联的混合深度学习网络模型作为人体动作的分类算法,第一层采用一维卷积神经网络（1DCNN）对数据进行特征提取,第二层采用门控循环单元（GRU）保存历史输入信息防止丢失有效特征;最后,利用训练集来训练该网络模型得出参数最优的分类模型,通过测试集验证模型的正确性。实验结果表明,提出的该动作识别技术模型对基本动作分类的准确率高于98%,与图像动作识别或穿戴式设备动作识别相比,实现了实时、便捷、低成本和高保密性的高精度人体动作识别。     

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F₁分值上分别提高了3.7%和5.1%。     

基于红外的SSA CNN GRU电路板芯片故障诊断

针对电路板温度数据诊断率不佳的问题,本文提出了基于红外的SSA CNN GRU电路板芯片故障诊断模型。首先,根据红外热像仪采集芯片温度数据,建立多维特征模型;然后,在故障诊断模型输入端和CNN GRU通道分别添加注意力机制,构建双注意力结构,自适应识别有效数据段和提取红外图像有效特征;接着,利用麻雀搜索算法优化注意力机制权值分配,获取全局最优超参数;最后搭建SSA CNN GRU故障诊断模型,实现芯片故障模式的高精度诊断。实验采用电源电路板进行可靠性分析,实验结果表明,本文算法在诊断精度可达9873,且稳定性、可靠性方面均优于对比算法。     

多优化机制下深度神经网络的音频场景识别

随着并行计算能力的不断攀升和音频数据量的日益扩增,音频场景识别成为场景理解领域重要的研究内容之一。针对音频场景识别建模难度大和识别准确率不高的问题,本文提出了融合多优化机制的并行卷积循环神经网络算法模型。首先,将音频信号经预处理后转化为一定尺寸的梅尔声谱图,之后输入到网络模型中进行充分的空间特征和时间特征学习,最后进行识别。为了验证模型的有效性,在DCASE2019音频场景数据集上进行识别性能测试,结果显示,该算法模型对音频场景的识别准确率能够达到88.84%,优于传统网络模型,说明该算法模型对音频场景识别问题的有效性。