基于可信向量的知识图谱上下文感知表示学习

面向知识图谱的表示学习在低维语义空间中对实体和关系进行编码,提升了知识理解和推理能力。传统的平移模型在处理知识图谱中的一对多、多对一以及多对多这些复杂关系时,难以区分在某一属性具有相同语义的实体。本文构建了一种基于二值可信向量的平移模型(TransV),通过向量不同维度的元素值控制对应属性的激活与抑制程度,使不同的关系关注不同的实体属性信息,提高模型处理复杂关系的效果。除了知识图谱中的三元组信息,非结构化文本中包含了丰富的语义信息,能够提高实体表达能力。利用与实体相关的文本信息,构建了一种融合上下文信息的基于二值可信向量的知识图谱表示学习模型(CKRV),使得三元组信息与语义信息能相互影响、相互融合。实验结果表明,该方法复杂度更低,在实体预测准确性方面有明显提升。     

基于交互和图注意力网络的代码搜索方法

在代码搜索任务中,已有的基于深度学习的算法,一方面不能有效提取代码特征和查询特征之间的细粒度交互关系,另一方面未考虑特征之间潜在的结构化特征,无法实现更精确的匹配。本文提出了一种基于交互和图注意力网络的代码搜索模型IGANCS(Interaction and Graph Attention Network based model for Code Search)。该模型通过引入基于相似度矩阵的交互机制,学习代码特征和查询特征的细粒度交互关系,实现代码与查询之间的对齐;引入图注意力机制,利用自注意力层学习代码和查询中隐藏的结构化特征,更深入地挖掘代码和查询的结构化语义;利用最大池化机制分别聚合代码特征和查询特征,提取最重要的特征信息。本文在公开的Java数据集和Python数据集上对IGANCS进行了评估。实验结果表明,IGANCS在Mean Reciprocal Rank(MRR)和SuccessRate@1/5/10指标上优于已有的基线模型。     

基于BERT的阅读理解式标书文本信息抽取方法

针对标书文本重要信息的抽取需求,提出一种基于BERT(bidirectional encoder representations from transformers)的阅读理解式标书文本信息抽取方法。该方法将信息抽取任务转换为阅读理解任务,根据标书文本内容,生成对应问题,再抽取标书文本片段作为问题答案。利用BERT预训练模型,得到强健的语言模型,获取更深层次的上下文关联。相比传统的命名实体识别方法,基于阅读理解的信息抽取方法能够很好地同时处理非嵌套实体和嵌套实体的抽取,也能充分利用问题所包含的先验语义信息,区分出具有相似属性的信息。从中国政府采购网下载标书文本数据进行了实验,本文方法总体EM(exact match)值达到92.41%,F1值达到95.03%。实验结果表明本文提出的方法对标书文本的信息抽取是有效的。     

融合语义增强与多注意力机制的视频描述方法

随着视频数据爆发式增长,视频描述任务越来越被研究者们关注。如何让计算机像人类一样理解视频的内容并能够准确无误地用语言表达出来,是视频描述任务领域尚未得到完美解决的难题之一。针对现有代表性视频描述模型中存在的未充分利用语义信息、生成描述不准确等问题,本文基于编码器-解码器框架的视频描述模型,提出了一种融合语义增强与多注意力机制的视频描述方法。该方法首先通过视觉文本特征聚合方法,为模型编码提供高层语义指导。然后,使用Faster-RCNN网络提取视频对象特征,通过图卷积网络获取视频对象的潜在语义信息,得到增强特征。最后,引入多重注意力机制,使模型更好地利用输入信息,增强模型的学习能力。MSVD和MSR-VTT数据集上的实验结果表明,相比于基准模型,本文提出的方法能合理优化视频描述模型的输入信息,有效提取视频潜在语义,从而解决视频文本跨模态问题和生成语句的语法结构问题,并能有效提升视频描述模型的准确度和对复杂场景的描述能力,更具先进性。     

基于联合特征与Bi-LSTM模型的英汉双语文本情绪预测

英汉双语文本中的情绪可以通过英语和汉语的单语或者双语形式来表达。然而,以往的研究主要集中在单语文本的情绪分析,只有少数研究侧重于英汉双语文本。为提高英汉双语文本情绪预测效果,本文结合情绪词典方法与深度学习方法,使用联合特征与Bi-LSTM模型来对英汉双语文本进行情绪预测。首先基于情绪词典抽取出双语文本中包含的情绪词特征,然后联合情绪词特征与双语文本特征输入至Bi-LSTM模型进行特征学习,最后将学习到的深度语义特征输入到分类器中进行情绪预测。实验结果表明,该方法对英汉双语文本的情绪预测有良好的效果。     

基于上下文时序关联的时序知识图谱嵌入方法

时序知识图谱的嵌入表示是知识工程领域的研究热点之一,现有的时序嵌入模型大多通过不同的方式将时间信息融入静态嵌入模型中,以此学习实体和关系的时间演化过程,但是难以挖掘和学习细粒度的时序关联信息。因此本文在之前研究的基础上,提出一种在复数空间下上下文时序关联的时序图谱嵌入表示模型,将细粒度时序信息细分为知识开始时间的相关性和知识时间间隔的一致性。设计了一种上下文感知时序关联信息挖掘方法,筛选语义相似的上下文四元组,挖掘训练四元组中包含的时间信息与上下文四元组时序关联信息,增强嵌入模型对于细粒度时序信息的学习。将本文方法与已有的方法在两个公开的时序知识图谱数据集YAGO11k和Wikidata12k上进行了实验。实验结果表明,对于MRR(mean reciprocal rank)和Hits@k(k=1,3,10)指标,本文方法与已有方法相比都有一定的提升。     

一种引入实体的地理语义相似度混合计算模型

针对现有地理语义相似度计算模型欠考虑实体层次影响因素问题,提出了一种引入实体的地理语义相似度混合计算模型.该模型在已有研究基础上,综合分析了语义相似度概念间的关系、本体结构、属性和实体的几何特征等影响因素,并用各影响因素的综合相似度结果度量地理概念间的语义相似度.最后,通过计算土地利用类型概念语义相似度验证了模型的有效性.     

基于改进RI方法的文本聚类

旨在通过考虑特征词汇的潜在语义和自身的重要性来提高文本聚类效果,研究基于RI方法的文本向量表示方法。首先,对基于RI方法构建的特征词汇随机索引向量中+1和-1向量元素出现位置进行约束,以避免在构建特征词汇上下文向量时可能造成该特征词汇潜在语义丢失现象;其次,在生成文本向量时考虑特征词汇自身重要性来改进权值的计算;最后,在测试数据上对基于RI方法的文本向量表示进行聚类效果测试与对比分析,结果表明采用基于RI方法能提高文本聚类效果。     

面向医疗文本信息的方面级情感分析

近年来,文本方面级的细粒度情感分析受到了越来越多的重视,并且在医疗文本方面的作用也越来越大。与粗粒度情感分析相比,细粒度情感分析可以区分医疗文本的每个具体方面词,并且可以得到每个方面词所表达的情感信息。方面级情感分析任务需要考虑方面词和情感词之间的交互,而医疗文本既可作为方面词,又可作为情感词。因此,提出了一个包含上下文位置潜在信息的方面级情感分析模型,实现对于医疗文本信息的情感分析。医疗文本中与特定方面词情感极性判断相关的上下文词一般位于该方面词的附近,而且由于医疗方面词的上下文的词数量存在差异,可能会导致词嵌入向量表示的属性变化,使得方面词的相对位置会有所不同。因此,提出了一种新的上下文位置调整函数,通过调整上下文词在不同位置的权重,增强与指定方面词相关的情感极性词的针对性,减轻方面词两侧词数差异对情感极性判断的干扰。同时,为了将包含特定方面的情感信息的方面词以向量表示,引入了一个线性条件随机场模型辅助建立方面词向量表示的模型。最终,使用焦点损失函数来训练模型参数,处理医疗文本中的情感分析的类不平衡问题。     

基于细粒度信息交互注意力的情绪分类方法

现有细粒度分析方法未能充分利用细粒度情绪信息来增强上下文与评价目标间的语义关联性,且对多词构成的评价目标仅平均化处理,损失了词间内容与关系信息,导致分类不精准。针对上述问题,本文提出了一种基于细粒度信息交互注意力（interactive attention with fine-grained information,FGIA）的情绪分类方法,通过采用更加细粒度的注意力机制来实现评价目标与上下文之间的充分交互,同时得到目标对上下文以及上下文对目标的交互注意力表示,进而辅助完成情绪分类。在本文构建的COVID-19网络舆情中文数据集上进行了实验验证,结果表明,FGIA能够有效地提升网络舆情数据情绪分类的准确性,相比于主流的分类方法,在各项评价指标上均取得了较高的提升。     

基于协同注意力的RGB-D图像显著性检测

在RGB-D显著性检测视觉任务中,RGB彩色模态和深度模态的信息均被视为十分重要的特征线索。但现有的RGB-D显著性检测模型无法高效执行多尺度特征的交互和多模态特征的融合,因此在真实的开放场景下表现欠佳。针对上述问题,提出了一种基于协同注意力（synergistic attention）机制的RGB-D显著性检测算法模型（SANet）,并引入多模态学习中通用的引导与教导策略（guidance and teaching strategy）。在编码器进行多尺度特征提取的阶段中进行隐式引导（implicit guidance）,在解码器进行特征融合时进行显式的教导（explicit teaching）,实现了编码、解码的分阶段学习。在4个显著性检测评测数据集上进行的综合实验表明,该算法在4个评测指标上均优于已有的18个前沿RGB-D显著性检测模型。     

知识图谱的用户兴趣向量化方法及应用

为用户推荐其感兴趣的新闻内容,已成为了各大互联网新闻平台的首要技术目标。传统的新闻推荐方法主要是基于用户间的相似度或新闻内容间的相似度产生推荐列表。以上两种推荐方法虽然有效,但却忽略了新闻文本中存在的语义信息。知识图谱是一种描述实体以及实体之间链接关系的语义网络,基于知识图谱实现精准推荐是推荐系统目前的研究热点。本文基于知识图谱提出了一种用户兴趣向量的计算方法,在此基础上结合先进的卷积神经网络来构建推荐模型。所提出的基于知识图谱的新闻推荐方法,能借助知识图谱提取新闻文本中的部分语义信息,并将其应用于计算用户的兴趣向量,从而产生较好的符合用户语义的推荐结果。     

基于不完全序关系信息的双边匹配决策方法

针对双方主体给出不完全序关系信息的双边匹配问题,提出了一种匹配决策方法.首先描述了基于不完全序关系信息的双边匹配问题;接着将不完全序关系信息转化为不完全Borda分值矩阵,并进行规范化处理;依据不完全规范化Borda分值矩阵,构建综合Borda分值矩阵和差异度矩阵,进而构建不完全匹配度矩阵.进一步,基于不完全匹配度矩阵构建单目标匹配模型,通过模型求解确定匹配方案.最后,通过人力资源管理中员工与岗位匹配实例来说明所提方法的实用性和有效性.     

基于BERT-LSTM的答案选择模型

目前主流答案选择算法主要首先基于word2vec/glove进行词语表示,再使用RNN或CNN提取文本语义特征,但word2vec/glove无法解决一词多义问题,RNN和CNN在文本全局特征提取方面也有局限。针对以上不足,论文提出一种基于BERT预训练模型的答案选择算法BERT-LSTM,首先采用BERT模型提取问答文本的语义特征表示,再利用BiLSTM加强文本序列信息并整合文本语义,最后引入注意力机制突出重点信息,以此完成答案选择任务。在答案选择基准数据集InsuranceQA和WiKiQA上的测试验证了所提出算法的有效性。     

一以语语句依存关系网分析策略与生成算法研究

本文以依存语法作为语言模型,首先提出了一种全新的句子分析策略,分析在两极上进行,一级是基于中心动词同其他成分间的约束关系,通过寻找汉语语义类之间可能存在的句法关系,实现句子成分过滤,完成句子主干提取,另一级是上下文级,将语法,语义和语境信息一体化,结合依存语法确定汉语句子中各成分间的依存这后给出了一种快有效的用于完成句子分析的松驰匹配迭代算法,通过实验表明了该分析策略和算法的可行性。     

一种汉语语句依存关系网分析策略与生成算法研究

本文以依存语法作为语言模型的基础,首先提出了一种全新的句子分析策略: 分析在两级上进行. 一级是基于中心动词同其他成分间的约束关系 ,通过寻找汉语语义类之间可能存在的句法关系,实现句子成分过滤,完成句子主干提取. 另一级是上下文级,将语法、语义和语境信息一体化,结合依存语法确定汉语句子中各成分间的依存关系. 之后给出了一种快速有效的用于完成句子分析的松弛匹配迭代算法. 通过实验表明了该分析策略和算法的可行性.     

建筑领域文档推荐模型设计与实现

在面向建筑领域的文档推荐任务上,为了更好地理解用户偏好,提出了一种多任务学习方法 KGRP(unifying knowledge graph learning and recommendation:for a better user preferences),它将知识图谱嵌入和文档推荐两个任务联合学习。我们为KGRP设计了一个交叉压缩单元,它能够显式地为文档特征和实体特征之间的高阶交互建模,补充文档和实体的信息,让两个任务共享更多的特征信息。在建筑领域的文档数据集上实验结果显示,KGRP算法推荐性能良好,能够根据用户的交互行为与偏好模型推荐合适的文档。     

游客情感计算的文本大数据挖掘方法比较研究

旅游文本大数据以其方便、快捷和低门槛的特点为游客情感计算提供了极大便利,已经成为旅游大数据的主要来源之一。基于大数据理论和情感理论,以文本大数据为数据源,在全面梳理国内外情感计算相关成果的基础上,利用人工智能中的逻辑/算法编程方法、机器学习方法、深度学习方法对旅游文本大数据进行挖掘,探索最佳的基于文本大数据的游客情感计算方法。研究发现：（1）基于情感词典的游客情感计算模型,其核心是构建情感词典和设计情感计算规则,方法简单,容易实现,适用语料范围广。（2）机器学习,用统计学方法抽取文本中的特征项,具有非线性特征,可靠性较线性特征的情感词典方法高。（3）基于深度学习技术的游客情感计算,效果良好,准确率在85%以上。训练多领域的文本语料易于移植,实用性强,且泛化能力好,较适合大数据时代游客情感计算研究。     

得分信息下考虑不确定心理行为的双边匹配

从不确定心理行为的角度研究得分信息下的双边匹配问题.首先将期望得分视作参照点,计算了得分的相对收益,进而构建了收益矩阵;再根据TODIM理论,将收益矩阵转换为价值矩阵;进一步,构建了匹配模型;通过求解模型得到匹配方案;供需匹配实例说明了所提方法的有效性.     

游客情感计算的文本大数据挖掘方法比较研究

旅游文本大数据以其方便、快捷和低门槛的特点为游客情感计算提供了极大便利,已经成为旅游大数据的主要来源之一。基于大数据理论和情感理论,以文本大数据为数据源,在全面梳理国内外情感计算相关成果的基础上,利用人工智能中的逻辑/算法编程方法、机器学习方法、深度学习方法对旅游文本大数据进行挖掘,探索最佳的基于文本大数据的游客情感计算方法。研究发现：（1）基于情感词典的游客情感计算模型,其核心是构建情感词典和设计情感计算规则,方法简单,容易实现,适用语料范围广。（2）机器学习,用统计学方法抽取文本中的特征项,具有非线性特征,可靠性较线性特征的情感词典方法高。（3）基于深度学习技术的游客情感计算,效果良好,准确率在85%以上。训练多领域的文本语料易于移植,实用性强,且泛化能力好,较适合大数据时代游客情感计算研究。