基于可信向量的知识图谱上下文感知表示学习

面向知识图谱的表示学习在低维语义空间中对实体和关系进行编码,提升了知识理解和推理能力。传统的平移模型在处理知识图谱中的一对多、多对一以及多对多这些复杂关系时,难以区分在某一属性具有相同语义的实体。本文构建了一种基于二值可信向量的平移模型(TransV),通过向量不同维度的元素值控制对应属性的激活与抑制程度,使不同的关系关注不同的实体属性信息,提高模型处理复杂关系的效果。除了知识图谱中的三元组信息,非结构化文本中包含了丰富的语义信息,能够提高实体表达能力。利用与实体相关的文本信息,构建了一种融合上下文信息的基于二值可信向量的知识图谱表示学习模型(CKRV),使得三元组信息与语义信息能相互影响、相互融合。实验结果表明,该方法复杂度更低,在实体预测准确性方面有明显提升。     

基于知识图谱的嵌入式操作系统测试用例复用推荐模型

测试是确保嵌入式操作系统品质及安全性的重要途径,而测试用例是软件测试中的重要角色。针对目前嵌入式操作系统历史用例知识不能充分利用以及传统案例中测试用例复用功能弱的缺陷,提出了一种基于知识图谱的嵌入式操作系统测试用例推荐模型。该方法利用知识图谱在具有复杂关系的数据中存储和检索信息的优势,根据历史测试用例抽取实体和关系,设计本体模型,并创建领域知识图谱;选择无监督对比学习的自然语言处理技术进行实体间的中文文本相似度匹配任务,结合知识推荐建立关于嵌入式操作系统测试用例的复用推荐模型。实验结果表明,本文设计的本体模型能够帮助测试人员有效地复用测试用例,并达到94.305%的覆盖率,极大地节约了测试成本,具有较强的工程应用价值。     

一种引入实体的地理语义相似度混合计算模型

针对现有地理语义相似度计算模型欠考虑实体层次影响因素问题,提出了一种引入实体的地理语义相似度混合计算模型.该模型在已有研究基础上,综合分析了语义相似度概念间的关系、本体结构、属性和实体的几何特征等影响因素,并用各影响因素的综合相似度结果度量地理概念间的语义相似度.最后,通过计算土地利用类型概念语义相似度验证了模型的有效性.     

融合实体上下文特征的深度文本语义匹配模型

为提高文本匹配过程中对实体上下文和语义关联信息的学习能力,提出一种融合实体上下文特征的深度文本语义匹配模型。该模型通过学习深度多视图语义交互信息和实体上下文特征匹配矩阵来计算文本的综合匹配得分,采用双向长短时记忆网络和共注意力机制获取文本的局部语义特征并进行多视图向量交互匹配,同时,针对文本中提取到的实体计算上下文特征,通过实体匹配矩阵和卷积神经网络进行实体上下文语义匹配。在SNLI、MultiNLI和Quora Question Pairs数据集上分别与已有基准模型对比,实验结果表明,相比经典深度文本匹配模型,本文提出的融合实体上下文特征的文本匹配模型可以有效提升文本匹配的准确度。     

基于代换加密的隐私保护协同过滤推荐算法

推荐系统中的隐私保护问题是当前的一个研究热点.为了解决推荐系统服务器不可信问题,提出了一种基于代换加密的隐私保护协同过滤算法.用户在客户端采用自定义代换加密机制,对评分信息进行加密并提交给推荐服务器,服务器根据收集的评分密文信息进行协同过滤推荐.同时,设计了一种用户模式相似度计算方法,用于在隐私保护协同过滤中确定每个用户的近邻,确保该推荐算法在无法获取用户评分语义的情况下,对用户的评分密文进行预测.采用公开的Movie Lens数据集和Netflix数据集对该算法的性能进行评估.实验结果表明,该算法能够以较小的计算代价和通信代价来实现隐私保护和精确推荐.     

基于BERT的阅读理解式标书文本信息抽取方法

针对标书文本重要信息的抽取需求,提出一种基于BERT(bidirectional encoder representations from transformers)的阅读理解式标书文本信息抽取方法。该方法将信息抽取任务转换为阅读理解任务,根据标书文本内容,生成对应问题,再抽取标书文本片段作为问题答案。利用BERT预训练模型,得到强健的语言模型,获取更深层次的上下文关联。相比传统的命名实体识别方法,基于阅读理解的信息抽取方法能够很好地同时处理非嵌套实体和嵌套实体的抽取,也能充分利用问题所包含的先验语义信息,区分出具有相似属性的信息。从中国政府采购网下载标书文本数据进行了实验,本文方法总体EM(exact match)值达到92.41%,F1值达到95.03%。实验结果表明本文提出的方法对标书文本的信息抽取是有效的。     

基于归一化割的主题划分算法研究

为了保证抽取信息的全面性,主题划分成了不可或缺的工作。借助同义词词林,从词语的语义角度计算文本中各个段落间的相似度,建立段落文本关系图。基于文本关系图对归一化割分割准则中权值矩阵的构建做出调整,使之更能体现出段落间的相似程度,并使用该准则对文本进行主题划分。结果表明,该方法无论是对连续段落还是跨段落表达同一主题的主题划分均较为有效。     

建筑领域文档推荐模型设计与实现

在面向建筑领域的文档推荐任务上,为了更好地理解用户偏好,提出了一种多任务学习方法 KGRP(unifying knowledge graph learning and recommendation:for a better user preferences),它将知识图谱嵌入和文档推荐两个任务联合学习。我们为KGRP设计了一个交叉压缩单元,它能够显式地为文档特征和实体特征之间的高阶交互建模,补充文档和实体的信息,让两个任务共享更多的特征信息。在建筑领域的文档数据集上实验结果显示,KGRP算法推荐性能良好,能够根据用户的交互行为与偏好模型推荐合适的文档。     

用于双语科技术语对齐的汉维文可比语料库构建

面向汉文维吾尔文(以下简称汉维)双语科技术语抽取这一应用目标,本文提出新闻科技领域的汉维可比语料库设计方案并进行实验.将网络采集的汉维语料利用机器翻译系统进行初加工后映射到向量空间中并使用LSI算法计算出各向量间的相关性,利用计算后的向量建立索引并依次计算出源文本与候选文本的相似值.本文设计两种实验进行对比,对选取的可比语料进行评估、筛选,最终达到构建汉维可比语料库的目的.     

舆情本体概念抽取研究

面对舆情信息的动态性、跨领域性、面向主题等特点,目前已有的领域本体学习方法难以适应舆情本体知识的自动构建.本文采用信息爬取技术收集热点舆情文本信息,根据构建模型自动识别主题进行归类,并对识别后的主题文本提取名词性词汇或者短语作为候选概念集;采用语义相似度方法计算候选概念间的相关度,根据相关度计算各概念的权值,并进行排序;结合词频变化的方法抽取与主题相关的核心概念.实验结果表明,本文方法可有效地抽取与舆情主题相关的核心概念,对舆情本体的构建以及后期的知识共享和重用起到积极作用.     

基于上下文时序关联的时序知识图谱嵌入方法

时序知识图谱的嵌入表示是知识工程领域的研究热点之一,现有的时序嵌入模型大多通过不同的方式将时间信息融入静态嵌入模型中,以此学习实体和关系的时间演化过程,但是难以挖掘和学习细粒度的时序关联信息。因此本文在之前研究的基础上,提出一种在复数空间下上下文时序关联的时序图谱嵌入表示模型,将细粒度时序信息细分为知识开始时间的相关性和知识时间间隔的一致性。设计了一种上下文感知时序关联信息挖掘方法,筛选语义相似的上下文四元组,挖掘训练四元组中包含的时间信息与上下文四元组时序关联信息,增强嵌入模型对于细粒度时序信息的学习。将本文方法与已有的方法在两个公开的时序知识图谱数据集YAGO11k和Wikidata12k上进行了实验。实验结果表明,对于MRR(mean reciprocal rank)和Hits@k(k=1,3,10)指标,本文方法与已有方法相比都有一定的提升。     

基于指针级联标注的中文实体关系联合抽取模型

从非结构化文本中抽取实体关系是构建知识图谱流程中的重要一环,然而在解决中文文本的关系重叠与实体嵌套问题方面,已有的研究成果却很少,并且领域内基于联合学习的抽取方法大多无法识别实体类型。针对这些问题提出了一种基于指针级联标注策略的中文实体关系联合抽取模型。模型采用以实体类型作为区分的指针标注策略来解决实体嵌套与预测实体类型的问题,并以关系模型作为函数,将句子中的头实体映射到尾实体以解决关系重叠问题。实验结果表明,该模型在两种不同领域的中文数据集上表现突出,F1值分别为81.1%,58.4%。利用此模型抽取的实体关系元组可以直接导入图数据库,极大地简化了从非结构化数据源构建知识图谱的流程。     

基于改进RI方法的文本聚类

旨在通过考虑特征词汇的潜在语义和自身的重要性来提高文本聚类效果,研究基于RI方法的文本向量表示方法。首先,对基于RI方法构建的特征词汇随机索引向量中+1和-1向量元素出现位置进行约束,以避免在构建特征词汇上下文向量时可能造成该特征词汇潜在语义丢失现象;其次,在生成文本向量时考虑特征词汇自身重要性来改进权值的计算;最后,在测试数据上对基于RI方法的文本向量表示进行聚类效果测试与对比分析,结果表明采用基于RI方法能提高文本聚类效果。     

哈萨克语句子相似度的计算方法研究与实现

在基于实例的哈萨克语汉语机器翻译研究中,翻译质量的高低跟实例句子相似度计算方法有直接的关系.本文提出一种哈萨克语句子相似度计算方法,即采用基于词特征和基于向量特征相结合的相似度计算法,计算过程中使用了同义词替换.句子相似度计算中需要解决的关键问题是怎样快速匹配实例.为解决这个问题,所设计的快速查找模块能够快速从实例库中筛选出实例集合,进行相似度计算.实验结果表明:快速查找模块可以提高实例句子查找速度,同义词替换可以提高相似度准确性.     

基于多源异构数据融合的初中数学知识图谱构建

知识图谱可以为智能问答和自动推荐等系统提供良好的数据支持.针对国内现有学科知识图谱构建数据来源单一等问题,提出一种多源异构数据融合的方法构建初中数学知识图谱.基于领域知识和学习者需求构建初中数学本体,确定概念、方法、公式、定理四种类型的实体;从教材等权威数据源和百度百科、互动百科等网络数据源中获取非结构化与半结构化数据...     

基于联合神经网络学习的中文电力计量命名实体识别

随着电力计量业务的不断扩展,迫切需要由业务信息、技术知识、行业标准及其内在联系所组成的电力计量知识图谱,为电网的决策和发展提供更为全面有效的支持。命名实体识别是构建知识图谱的基础。针对电力计量领域需要,结合中文分词技术特点,基于联合学习思想,提出了一种基于联合学习的中文电力计量命名实体识别技术。该技术联合CNN-BLSTM-CRF模型与整合词典知识的分词模型,使其共享实体类别和置信度;同时将2个模型的先后计算顺序改为并行计算,减少了识别误差累积。结果表明,在不需要人工构建特征的情况下,方法的正确率、召回率、F值等均显著优于以往方法。     

基于语义相似度与XGBoost算法的英语作文智能评价框架研究

作文智能评分和评语智能生成能极大减轻评阅专家的工作量、节约人力成本。目前,评分和评语结果的准确性与公平性尚不高。近年来,机器学习和自然语言处理等技术的快速发展,在一定程度上提升了文本分类、机器翻译等任务的性能,但仍有许多新的研究成果尚未应用于作文智能评价。本研究综合了词向量(word2vec)、段落向量(paragraph2vec)、词性向量(pos2vec)和LDA (latent dirichlet allocation)等特征,共同组合为作文的语义表示向量;采用基于kNN (k nearest neighbors)算法的语义相似度模型,得到作文的评语标签;采用基于XGBoost(extreme gradient boosting)的回归模型计算英语作文的评分值;并以900篇大学生英语作文为样本,构造算例进行验证。最后表明,提出的智能评价框架在英语作文自动评分和评语生成的准确性上,都要高于传统方法。     

基于用户相似度的加权项目偏差SlopeOne协同过滤推荐算法

协同过滤算法旨在从海量的历史数据中,挖掘出拥有共同经验的用户群体的行为习惯,以此来协助对目标用户的个性化偏好作出合理的预测。根据这些预测结果,对目标用户进行有针对性的产品或资讯推荐,这对商家来说具有重大的意义和价值。传统的SlopeOne协同过滤推荐算法虽然实现简单,运行效率高,但其准确率不高。为了进一步提高预测结果的准确率,同时又尽可能的保留原算法所具有的效率优势,提出了基于用户相似度的加权项目偏差计算方法,优化了项目之间偏差性的衡量尺度,从而得到基于用户相似度的加权项目偏差SlopeOne协同过滤推荐算法(WID_SlopeOne_US)。大量实验证明,新算法具有更高的准确率、较高的效率、和良好的稳定性等优点。     

基于图文双向引导注意力的新闻图集描述生成方法

在传统的图像描述生成任务中,已有方法对图像的描述仅仅停留在浅层,并缺乏真实世界知识的指导,难以挖掘出对象在特定背景下的逻辑语义关系。新闻文本的引入为图像描述带来了新的可能,同时对模型的学习能力有了更高要求;此外,新闻图集中往往存在多幅图像,且相互之间联系紧密,导致现有单图描述生成方法不适用于新闻图集描述生成。针对上述问题,本文提出了一种基于图文双向引导注意力(image and text bidirectional guidance attention,ITBGA)的新闻图集描述方法,以图集作为研究对象,并辅以对应的新闻文本作为背景知识,基于ITBGA分别实现粗、细两个粒度的跨模态信息交互,并通过指针网络辅助命名实体词生成。在本文构建的新闻图集数据集上进行了实验验证,结果表明ITBGA能有效提升描述文本的质量,在关键的CIDEr指标上达到了最优。     

一种语言文档自动检索方法

提出了一种基于潜在语义索引的多语言文档自动检索方法,讨论了多语言环境下概念空间的构造,文档,词语相似度的计算及文档的查询。