基于可信向量的知识图谱上下文感知表示学习

面向知识图谱的表示学习在低维语义空间中对实体和关系进行编码,提升了知识理解和推理能力。传统的平移模型在处理知识图谱中的一对多、多对一以及多对多这些复杂关系时,难以区分在某一属性具有相同语义的实体。本文构建了一种基于二值可信向量的平移模型(TransV),通过向量不同维度的元素值控制对应属性的激活与抑制程度,使不同的关系关注不同的实体属性信息,提高模型处理复杂关系的效果。除了知识图谱中的三元组信息,非结构化文本中包含了丰富的语义信息,能够提高实体表达能力。利用与实体相关的文本信息,构建了一种融合上下文信息的基于二值可信向量的知识图谱表示学习模型(CKRV),使得三元组信息与语义信息能相互影响、相互融合。实验结果表明,该方法复杂度更低,在实体预测准确性方面有明显提升。     

知识图谱的用户兴趣向量化方法及应用

为用户推荐其感兴趣的新闻内容,已成为了各大互联网新闻平台的首要技术目标。传统的新闻推荐方法主要是基于用户间的相似度或新闻内容间的相似度产生推荐列表。以上两种推荐方法虽然有效,但却忽略了新闻文本中存在的语义信息。知识图谱是一种描述实体以及实体之间链接关系的语义网络,基于知识图谱实现精准推荐是推荐系统目前的研究热点。本文基于知识图谱提出了一种用户兴趣向量的计算方法,在此基础上结合先进的卷积神经网络来构建推荐模型。所提出的基于知识图谱的新闻推荐方法,能借助知识图谱提取新闻文本中的部分语义信息,并将其应用于计算用户的兴趣向量,从而产生较好的符合用户语义的推荐结果。     

基于IA参数寻优组合核的SVM文本分类研究

支持向量机在解决非线性及高维模式识别中表现出许多特有的优势,被广泛应用在文本分类领域。但是其核函数及其参数的选择对分类效果具有很大的影响,单一核函数难以很好地解决文本分类问题。因此,本文选取了三个常用的核函数进行两两组合,利用加权组合核的形式来弥补单核自身特点可能带来的缺点,然后利用人工免疫算法(Immune algorithm,IA)对组合核进行参数寻优,以提高文本分类效果。实验分析证明,此方法有效。     

基于AM-BiLSTM模型的情绪原因识别

文本情绪原因识别是情感分析中一个新的研究方向,旨在从文本中自动检测出导致某一情绪产生的原因。针对循环神经网络在长文中出现的长期依赖问题,本文提出了一种基于注意力机制和双向长短时记忆(attention model and bi-directional long short-term memory,AM-BiLSTM)神经网络模型的情绪原因识别方法。该方法采用字符向量表示文本语义信息,使用BiLSTM模型提取文本特征,该过程结合了人工提取的子句特征,在训练模型时,引入了注意力机制来优化模型性能,使用softmax对子句进行分类。实验结果表明本文方法对情绪原因的识别是有效的。     

融合实体上下文特征的深度文本语义匹配模型

为提高文本匹配过程中对实体上下文和语义关联信息的学习能力,提出一种融合实体上下文特征的深度文本语义匹配模型。该模型通过学习深度多视图语义交互信息和实体上下文特征匹配矩阵来计算文本的综合匹配得分,采用双向长短时记忆网络和共注意力机制获取文本的局部语义特征并进行多视图向量交互匹配,同时,针对文本中提取到的实体计算上下文特征,通过实体匹配矩阵和卷积神经网络进行实体上下文语义匹配。在SNLI、MultiNLI和Quora Question Pairs数据集上分别与已有基准模型对比,实验结果表明,相比经典深度文本匹配模型,本文提出的融合实体上下文特征的文本匹配模型可以有效提升文本匹配的准确度。     

基于联合特征与Bi-LSTM模型的英汉双语文本情绪预测

英汉双语文本中的情绪可以通过英语和汉语的单语或者双语形式来表达。然而,以往的研究主要集中在单语文本的情绪分析,只有少数研究侧重于英汉双语文本。为提高英汉双语文本情绪预测效果,本文结合情绪词典方法与深度学习方法,使用联合特征与Bi-LSTM模型来对英汉双语文本进行情绪预测。首先基于情绪词典抽取出双语文本中包含的情绪词特征,然后联合情绪词特征与双语文本特征输入至Bi-LSTM模型进行特征学习,最后将学习到的深度语义特征输入到分类器中进行情绪预测。实验结果表明,该方法对英汉双语文本的情绪预测有良好的效果。     

基于特征点群相似度计算模型的图像表示方法

针对空间金字塔匹配模型缺乏对图像中视觉物体旋转、平移和缩放的考虑问题,提出了一种基于特征点群相似度计算模型的图像表示方法.基于词汇树模型的粗匹配结果,通过特征点群拓扑、方向、距离等计算其相似度,并以此作为评价指标对匹配结果进行过滤;根据由特征点群计算所得的标准差椭圆的圆心、旋转角度对金字塔匹配的图像划分子区域并进行调整,从而得到图像抗旋转、平移和缩放的表示.分别在自建校园建筑物数据集和自建物体图像数据集上对方法进行了验证和比较,结果表明,该方法提高了分类识别的准确率和检索的查全率,特别是对于包含明显旋转、平移和缩放变化的图像数据效果更好.     

基于BERT-LSTM的答案选择模型

目前主流答案选择算法主要首先基于word2vec/glove进行词语表示,再使用RNN或CNN提取文本语义特征,但word2vec/glove无法解决一词多义问题,RNN和CNN在文本全局特征提取方面也有局限。针对以上不足,论文提出一种基于BERT预训练模型的答案选择算法BERT-LSTM,首先采用BERT模型提取问答文本的语义特征表示,再利用BiLSTM加强文本序列信息并整合文本语义,最后引入注意力机制突出重点信息,以此完成答案选择任务。在答案选择基准数据集InsuranceQA和WiKiQA上的测试验证了所提出算法的有效性。     

基于语义相似度与XGBoost算法的英语作文智能评价框架研究

作文智能评分和评语智能生成能极大减轻评阅专家的工作量、节约人力成本。目前,评分和评语结果的准确性与公平性尚不高。近年来,机器学习和自然语言处理等技术的快速发展,在一定程度上提升了文本分类、机器翻译等任务的性能,但仍有许多新的研究成果尚未应用于作文智能评价。本研究综合了词向量(word2vec)、段落向量(paragraph2vec)、词性向量(pos2vec)和LDA (latent dirichlet allocation)等特征,共同组合为作文的语义表示向量;采用基于kNN (k nearest neighbors)算法的语义相似度模型,得到作文的评语标签;采用基于XGBoost(extreme gradient boosting)的回归模型计算英语作文的评分值;并以900篇大学生英语作文为样本,构造算例进行验证。最后表明,提出的智能评价框架在英语作文自动评分和评语生成的准确性上,都要高于传统方法。     

融合语义增强与多注意力机制的视频描述方法

随着视频数据爆发式增长,视频描述任务越来越被研究者们关注。如何让计算机像人类一样理解视频的内容并能够准确无误地用语言表达出来,是视频描述任务领域尚未得到完美解决的难题之一。针对现有代表性视频描述模型中存在的未充分利用语义信息、生成描述不准确等问题,本文基于编码器-解码器框架的视频描述模型,提出了一种融合语义增强与多注意力机制的视频描述方法。该方法首先通过视觉文本特征聚合方法,为模型编码提供高层语义指导。然后,使用Faster-RCNN网络提取视频对象特征,通过图卷积网络获取视频对象的潜在语义信息,得到增强特征。最后,引入多重注意力机制,使模型更好地利用输入信息,增强模型的学习能力。MSVD和MSR-VTT数据集上的实验结果表明,相比于基准模型,本文提出的方法能合理优化视频描述模型的输入信息,有效提取视频潜在语义,从而解决视频文本跨模态问题和生成语句的语法结构问题,并能有效提升视频描述模型的准确度和对复杂场景的描述能力,更具先进性。     

基于情感分析技术的股票研究报告分类

基于情感文本分析技术对股票研究报告中的投资建议进行分类.提取股票研究报告中的"组合特征";采用改进的卡方统计方法进行特征提取,并通过支持向量机(SVM)和朴素贝叶斯算法进行分类,验证分类效果;探讨了权重计算、特征维度和样本数量对分类效果的影响.基于东方财富网上采集的14 000篇股票研究报告的实验表明,通过提取"组合特征"、部分特征维度以及对训练样本重采样,可以取得较好的分类效果.     

一种基于行为的Android恶意软件家族聚类方法

基于同一家族恶意软件在行为上的相似性特征,提出了一种基于行为的Android恶意软件家族聚类方法.该方法构建了软件行为刻画特征集合,通过定制ROM的方式来构建行为捕获机制并采集恶意软件的行为日志,基于行为日志提炼恶意软件特征集,使用DBSCAN(density-based spatial clustering of applications with noise)聚类算法进行家族聚类.通过对大量已经人工分类的恶意软件进行评估,实验结果表明,在最优情况下,本方法在聚类准确率上达到了91.3%,在测试样本识别预测上正确率达到了82.3%.     

基于密度峰值的改进K-Means文本聚类算法及其并行化

针对K均值(K-means)聚类算法进行文本聚类时随机选取初始聚类中心点的问题,提出一种基于密度峰值进行初始聚类中心点选取的适用于文本聚类的K-means算法(DPMCSKM),为了更好地适应大规模聚类计算的要求,设计并实现了基于MapReduce的DPMCSKM并行化算法。实验结果表明,DPMCSKM算法可以有效地进行文本聚类,与K-means、基于密度峰值的快速搜索聚类算法选取初始簇中心点的K-means以及多簇球形K-means算法相比在聚类质量上均有一定的提升,在收敛速度上也有较好的表现;DPMCSKM并行化算法在可扩展性上,具有较好的加速比。     

游客情感计算的文本大数据挖掘方法比较研究

旅游文本大数据以其方便、快捷和低门槛的特点为游客情感计算提供了极大便利,已经成为旅游大数据的主要来源之一。基于大数据理论和情感理论,以文本大数据为数据源,在全面梳理国内外情感计算相关成果的基础上,利用人工智能中的逻辑/算法编程方法、机器学习方法、深度学习方法对旅游文本大数据进行挖掘,探索最佳的基于文本大数据的游客情感计算方法。研究发现：（1）基于情感词典的游客情感计算模型,其核心是构建情感词典和设计情感计算规则,方法简单,容易实现,适用语料范围广。（2）机器学习,用统计学方法抽取文本中的特征项,具有非线性特征,可靠性较线性特征的情感词典方法高。（3）基于深度学习技术的游客情感计算,效果良好,准确率在85%以上。训练多领域的文本语料易于移植,实用性强,且泛化能力好,较适合大数据时代游客情感计算研究。     

游客情感计算的文本大数据挖掘方法比较研究

旅游文本大数据以其方便、快捷和低门槛的特点为游客情感计算提供了极大便利,已经成为旅游大数据的主要来源之一。基于大数据理论和情感理论,以文本大数据为数据源,在全面梳理国内外情感计算相关成果的基础上,利用人工智能中的逻辑/算法编程方法、机器学习方法、深度学习方法对旅游文本大数据进行挖掘,探索最佳的基于文本大数据的游客情感计算方法。研究发现：（1）基于情感词典的游客情感计算模型,其核心是构建情感词典和设计情感计算规则,方法简单,容易实现,适用语料范围广。（2）机器学习,用统计学方法抽取文本中的特征项,具有非线性特征,可靠性较线性特征的情感词典方法高。（3）基于深度学习技术的游客情感计算,效果良好,准确率在85%以上。训练多领域的文本语料易于移植,实用性强,且泛化能力好,较适合大数据时代游客情感计算研究。     

面向医疗文本信息的方面级情感分析

近年来,文本方面级的细粒度情感分析受到了越来越多的重视,并且在医疗文本方面的作用也越来越大。与粗粒度情感分析相比,细粒度情感分析可以区分医疗文本的每个具体方面词,并且可以得到每个方面词所表达的情感信息。方面级情感分析任务需要考虑方面词和情感词之间的交互,而医疗文本既可作为方面词,又可作为情感词。因此,提出了一个包含上下文位置潜在信息的方面级情感分析模型,实现对于医疗文本信息的情感分析。医疗文本中与特定方面词情感极性判断相关的上下文词一般位于该方面词的附近,而且由于医疗方面词的上下文的词数量存在差异,可能会导致词嵌入向量表示的属性变化,使得方面词的相对位置会有所不同。因此,提出了一种新的上下文位置调整函数,通过调整上下文词在不同位置的权重,增强与指定方面词相关的情感极性词的针对性,减轻方面词两侧词数差异对情感极性判断的干扰。同时,为了将包含特定方面的情感信息的方面词以向量表示,引入了一个线性条件随机场模型辅助建立方面词向量表示的模型。最终,使用焦点损失函数来训练模型参数,处理医疗文本中的情感分析的类不平衡问题。     

基于支持向量机的网站服务质量实时监控方法

利用支持向量机(support vector machine,SVM)在两类模式识别中所表现出的良好适应性,采用SVM把网站服务质量的评价信息分成两类:服务投诉和非服务投诉.通过服务质址监控表格对投诉率的上限进行控制,实现了系统对服务质量的自动监控.实验结果表明,采用基于SVM网站服务质量监控方法能够对网站的服务质量进行实时临控,并且优于基于指标的服务质量监控方法.     

矿产预测中的成矿因子选择方法：以滇东南金矿预测为例

由于矿产地质信息的复杂性和不确定性,难以建立精确的数学模型来确定矿产资源的分布状况.非线性分析建模技术,如人工神经网络（Artificial Neural Network,ANN）、支持向量机（Support Vector Machine,SVM）等,给矿产预测工作提供了新的途径.这类方法在处理数据时可以避免数据分析和建模的困难,即不须理解各种成矿因子与矿床（点）之间的相互关系,只须选择已知的矿床（点）和非矿产（点）,进行＂黑箱＂学习.虽然经过合理的训练,这类方法能够得到较高的预测精度,但由于其分类过程的非线性特性,难以获得容易理解的分类规则,提供成矿因子的知识.本文采用基于SVM的迭代特征消去（Recursive Feature Elimination,RFE）技术（SVM-RFE）,即在SVM模型的训练过程中,采用RFE特征选择方法,从所有输入的成矿因子中选择出对矿床（点）能正确预测的重要因子,以提供对输入模型的成矿因子的客观评价.通过对滇东南地区金矿预测的实践表明,采用SVM-RFE技术从原始10类成矿因子中自动选择6类进行预测的精度从68.42%提高到94.74%,并且得到该区域进行矿产预测的成矿因子重要性依次是：Au异常、As异常、侵入岩、下三叠统与中三叠统之间的平行不整合面、上二叠统与三叠系的平行不整合面、断裂交汇点密度、石炭系和下二叠统间的平行不整合面、中上泥盆统和石炭系间的平行不整合面、Sb异常和Hg异常,从中选取前6类成矿因子进行SVM训练得到的预测精度最高.这一结论可为在该区域进行矿产预测的资料选取,以及对成矿因子的理解提供支持.     

模糊聚类支持向量机的区域空气PM_(2.5)浓度预报

在分析模糊C均值聚类算法与支持向量机回归的特点后,将二者结合,提出了模糊聚类支持向量机回归(FCM-SVR)算法,对空气中颗粒物浓度PM2.5进行预测.该方法首先利用模糊C均值聚类算法把一个复杂的数据集分成多个群体,再在每个群体上建立支持向量机回归(SVR)模型,然后进行集成,对区域空气的PM2.5浓度进行预测.预测结果分别与自组织竞争神经网络支持向量机回归(SOM-SVR)模型和单一的支持向量机回归(SVR)的结果进行比较.结果表明,FCM-SVR模型的预报准确率高于SOM-SVR模型和SVR模型.     

基于交互和图注意力网络的代码搜索方法

在代码搜索任务中,已有的基于深度学习的算法,一方面不能有效提取代码特征和查询特征之间的细粒度交互关系,另一方面未考虑特征之间潜在的结构化特征,无法实现更精确的匹配。本文提出了一种基于交互和图注意力网络的代码搜索模型IGANCS(Interaction and Graph Attention Network based model for Code Search)。该模型通过引入基于相似度矩阵的交互机制,学习代码特征和查询特征的细粒度交互关系,实现代码与查询之间的对齐;引入图注意力机制,利用自注意力层学习代码和查询中隐藏的结构化特征,更深入地挖掘代码和查询的结构化语义;利用最大池化机制分别聚合代码特征和查询特征,提取最重要的特征信息。本文在公开的Java数据集和Python数据集上对IGANCS进行了评估。实验结果表明,IGANCS在Mean Reciprocal Rank(MRR)和SuccessRate@1/5/10指标上优于已有的基线模型。