融合实体上下文特征的深度文本语义匹配模型

为提高文本匹配过程中对实体上下文和语义关联信息的学习能力,提出一种融合实体上下文特征的深度文本语义匹配模型。该模型通过学习深度多视图语义交互信息和实体上下文特征匹配矩阵来计算文本的综合匹配得分,采用双向长短时记忆网络和共注意力机制获取文本的局部语义特征并进行多视图向量交互匹配,同时,针对文本中提取到的实体计算上下文特征,通过实体匹配矩阵和卷积神经网络进行实体上下文语义匹配。在SNLI、MultiNLI和Quora Question Pairs数据集上分别与已有基准模型对比,实验结果表明,相比经典深度文本匹配模型,本文提出的融合实体上下文特征的文本匹配模型可以有效提升文本匹配的准确度。     

基于交互和图注意力网络的代码搜索方法

在代码搜索任务中,已有的基于深度学习的算法,一方面不能有效提取代码特征和查询特征之间的细粒度交互关系,另一方面未考虑特征之间潜在的结构化特征,无法实现更精确的匹配。本文提出了一种基于交互和图注意力网络的代码搜索模型IGANCS(Interaction and Graph Attention Network based model for Code Search)。该模型通过引入基于相似度矩阵的交互机制,学习代码特征和查询特征的细粒度交互关系,实现代码与查询之间的对齐;引入图注意力机制,利用自注意力层学习代码和查询中隐藏的结构化特征,更深入地挖掘代码和查询的结构化语义;利用最大池化机制分别聚合代码特征和查询特征,提取最重要的特征信息。本文在公开的Java数据集和Python数据集上对IGANCS进行了评估。实验结果表明,IGANCS在Mean Reciprocal Rank(MRR)和SuccessRate@1/5/10指标上优于已有的基线模型。     

局部信息和全局信息相结合的点云处理网络

针对当前主流点云处理网络仅依靠局部邻域进行特征聚合导致特征提取能力不足，以及使用最大值池化造成信息损失的问题，提出了一种基于注意力的局部信息和全局信息相结合的点云处理网络。首先提出了基于通道自注意力进行局部特征聚合的方法，减少了信息的损失；然后为捕获点的远程依赖信息，设计了一种动态学习关键点的方法获取全局信息；最后构建了一种基于空间注意力的特征融合模块，使每个点均能学习全局上下文信息。在几个常用点云数据集上对方法进行了实验验证，在ModelNet40分类任务上实现了94.0%的总体分类精度、91.7%的平均分类精度；在ScanObjectNN分类任务上实现了81.5%的总体分类精度、78.1%的平均分类精度；在ShapeNet分割任务上实现了86.5%的平均交并比。表明提出的点云处理网络在分类、分割等任务中的精度均较PointNet、PointNet++、DGCNN等经典网络有显著提升，较其他点云处理网络也有不同程度的提高。     

面向医疗文本信息的方面级情感分析

近年来,文本方面级的细粒度情感分析受到了越来越多的重视,并且在医疗文本方面的作用也越来越大。与粗粒度情感分析相比,细粒度情感分析可以区分医疗文本的每个具体方面词,并且可以得到每个方面词所表达的情感信息。方面级情感分析任务需要考虑方面词和情感词之间的交互,而医疗文本既可作为方面词,又可作为情感词。因此,提出了一个包含上下文位置潜在信息的方面级情感分析模型,实现对于医疗文本信息的情感分析。医疗文本中与特定方面词情感极性判断相关的上下文词一般位于该方面词的附近,而且由于医疗方面词的上下文的词数量存在差异,可能会导致词嵌入向量表示的属性变化,使得方面词的相对位置会有所不同。因此,提出了一种新的上下文位置调整函数,通过调整上下文词在不同位置的权重,增强与指定方面词相关的情感极性词的针对性,减轻方面词两侧词数差异对情感极性判断的干扰。同时,为了将包含特定方面的情感信息的方面词以向量表示,引入了一个线性条件随机场模型辅助建立方面词向量表示的模型。最终,使用焦点损失函数来训练模型参数,处理医疗文本中的情感分析的类不平衡问题。     

基于上下文时序关联的时序知识图谱嵌入方法

时序知识图谱的嵌入表示是知识工程领域的研究热点之一,现有的时序嵌入模型大多通过不同的方式将时间信息融入静态嵌入模型中,以此学习实体和关系的时间演化过程,但是难以挖掘和学习细粒度的时序关联信息。因此本文在之前研究的基础上,提出一种在复数空间下上下文时序关联的时序图谱嵌入表示模型,将细粒度时序信息细分为知识开始时间的相关性和知识时间间隔的一致性。设计了一种上下文感知时序关联信息挖掘方法,筛选语义相似的上下文四元组,挖掘训练四元组中包含的时间信息与上下文四元组时序关联信息,增强嵌入模型对于细粒度时序信息的学习。将本文方法与已有的方法在两个公开的时序知识图谱数据集YAGO11k和Wikidata12k上进行了实验。实验结果表明,对于MRR(mean reciprocal rank)和Hits@k(k=1,3,10)指标,本文方法与已有方法相比都有一定的提升。     

基于图注意力网络的三维网格分割算法

针对三维网格模型分割质量提升问题，提出了感知几何的图注意力网络。首先，定义了感知几何的图注意力系数，利用节点之间的边特征扩展由网络学习得到的注意力系数，引入与节点局部几何信息相关的注意力系数，更好地反映节点之间的相似性。然后，通过调整网络架构，将三维网格模型的几何特征与标签信息共同作为图注意力网络的输入，使标签信息参与网络训练和验证，并通过残差形式的线性连接实现网络的更稳定输出。大量实验结果表明，本文算法能够获得精确的分割边界，其在PSB数据集上的分割准确率较现有经典算法提升约2个百分点，也取得了更好的兰德指数。同时，通过消融实验验证了算法的合理性。     

排序支持的交互数据分类算法及其应用

交互分类是解决数据复杂分类问题的主要手段之一。在现有的大多交互分类系统中,用户能准确识别数据类别,但在有些分类场景中,类别之间的顺序关系更容易被识别,为此,提出一种排序支持的交互数据分类算法。为提升交互分类精度,引入数据的顺序信息,为降低标记难度,提出候选样本推荐策略。另外,提出一种评估分类算法性能的可视化方法,用包含基本车况、交通违法记录、交通事故记录等信息的车辆数据集进行实验验证,将相关车辆分为高危车辆、中危车辆、低危车辆3类,算法的分类结果模型一致度达近98%,验证了方法的有效性。     

Point-GAT：图注意力机制与关键点检测的融合

针对以往基于关键点的目标检测存在小尺度上的检测结果不太理想,忽略关键点之间的类别语义信息的问题,提出了一种新的关键点检测算法Point-GAT。该算法通过在Hourglass和ResNeXt主干网络上加入快捷连接,解决网络深度增加带来的学习退化问题;使用反卷积和特征融合增强小尺度目标的检测效果;同时算法使用了图注意力机制,通过构建有向有权重图映射类别之间的语义关系,获得关键点之间的类别语义信息;在优化定位和回归函数的同时,加入分类损失函数分支来反映类别语义信息。在COCO数据集上实验结果表明,该算法平均精度达到了48.3%,在PASVAL VOC 2007和PASVAL VOC 2012数据集上平均精度均高于其他算法。     

基于AM-BiLSTM模型的情绪原因识别

文本情绪原因识别是情感分析中一个新的研究方向,旨在从文本中自动检测出导致某一情绪产生的原因。针对循环神经网络在长文中出现的长期依赖问题,本文提出了一种基于注意力机制和双向长短时记忆(attention model and bi-directional long short-term memory,AM-BiLSTM)神经网络模型的情绪原因识别方法。该方法采用字符向量表示文本语义信息,使用BiLSTM模型提取文本特征,该过程结合了人工提取的子句特征,在训练模型时,引入了注意力机制来优化模型性能,使用softmax对子句进行分类。实验结果表明本文方法对情绪原因的识别是有效的。     

基于微博的COVID-19热点话题分析

新型冠状病毒肺炎(corona virus disease 2019,COVID-19)的快速暴发引发了广泛的社会关注,给网络舆情分析带来了极大的挑战。针对这个问题,本文使用网络爬虫技术对官方媒体发布的关于COVID-19的评论信息进行数据收集,对收集到的评论信息按时间顺序进行排列,首先使用TF-IDF对文本的关键特征词进行提取,其次利用OLDA(online latent Dirichlet allocation)模型依照时间顺序进行主题词演化分析,构建评论集词向量模型,最后使用K-means对主题进行聚类,并对聚类结果通过词性标注进行分析。实验表明,本文的方法可以获得随时间变化的评论信息,能够检测到需要关注的信息。     

基于用户关系的维吾尔文微博数据获取方法的研究

目前,互联网上的大部分群体性数据资源集中在微博、论坛等社交网络上.跨语言社会舆情分析是我国智能信息处理的一个研究热点.维吾尔语是我国主要少数民族语言之一,为了构建一个好的跨语言舆情分析系统,维吾尔文微博的数据获取显得尤为重要.维吾尔文微博数据获取最大的难点是微博开发商不提供API.本文以技术和经济为基础的"Guduk"微博为研究对象,提出了一种基于用户关系的维吾尔文微博数据获取爬虫系统方案,此方案解决了在不提供API情况下的数据获取难点.本文的研究为跨语言舆情分析系统提供大量的维吾尔文社交网络数据资源、数据获取方法和技术.     

UCON支持的组合Web服务业务流程访问控制模型

业务流程访问控制机制是组合Web服务应用中的难点,现有的访问控制模型忽视了流程活动之间动态交互性和协同性的特点,不能适应业务流程权限的动态管理.本文提出一种使用控制支持的组合Web服务业务流程动态访问控制模型WS-BPUCON,模型通过角色和权限的分离解除了组织模型和业务流程模型的耦合关系,能够根据分布式开放网络环境中的属性信息,基于授权、职责和条件三种约束决定策略来检查访问控制决策,具有上下文感知、细粒度访问管理等特性,给出了WS-BPUCON的实施框架.     

融合语义增强与多注意力机制的视频描述方法

随着视频数据爆发式增长,视频描述任务越来越被研究者们关注。如何让计算机像人类一样理解视频的内容并能够准确无误地用语言表达出来,是视频描述任务领域尚未得到完美解决的难题之一。针对现有代表性视频描述模型中存在的未充分利用语义信息、生成描述不准确等问题,本文基于编码器-解码器框架的视频描述模型,提出了一种融合语义增强与多注意力机制的视频描述方法。该方法首先通过视觉文本特征聚合方法,为模型编码提供高层语义指导。然后,使用Faster-RCNN网络提取视频对象特征,通过图卷积网络获取视频对象的潜在语义信息,得到增强特征。最后,引入多重注意力机制,使模型更好地利用输入信息,增强模型的学习能力。MSVD和MSR-VTT数据集上的实验结果表明,相比于基准模型,本文提出的方法能合理优化视频描述模型的输入信息,有效提取视频潜在语义,从而解决视频文本跨模态问题和生成语句的语法结构问题,并能有效提升视频描述模型的准确度和对复杂场景的描述能力,更具先进性。     

基于跨视角图像转换的地-空图像地理定位

图像地理定位任务的目标是对于给定的现实图像实现其地理位置的预测,在目前主流方法中,这种预测通过将输入图像与数据库中带有地理标签的图像进行匹配实现。由于缺乏全面的带有地理标签的地面图像,已有的数据库都是通过带有经纬度标签的卫星图像来建立的,而卫星图像相对于地面图像的巨大视角变化则给图像的匹配带来了挑战。本文提出了一种新的用于跨视角图像转换的条件生成对抗网络Crossview Attention Seq(CAS),使其生成由卫星图像转换得到的地面辅助信息。CAS由图像的语义分割信息达到了更好的生成效果,同时又通过模块中的空域注意力机制压制了转换的噪声。CAS所生成的转换信息与查询图像一起被输入到图像匹配框架当中,进行参数的优化和特征表示的学习。基于孪生网络模型搭建了新的图像匹配框架,并将新的损失函数结合到训练过程中,与传统三元组损失相比,它大大提升了模型整体优化的效果。实验结果表明,本文提出的方法在两个经典图像定位数据集上对比基线模型达到了更高的定位精度,并且对低信息量的数据具有更强的鲁棒性。     

基于时空上下文正则的孪生网络目标跟踪

在视频目标跟踪任务中,负样本缺乏、背景混杂会造成目标丢失。为解决上述问题,提出一种基于时空上下文正则的孪生网络目标跟踪算法。该算法将空间上下文信息引入到孪生网络中,并利用目标物体正样本以及背景负样本训练跟踪器,通过正则化约束,抑制跟踪器对背景的响应,突出对目标的响应,从而得到鲁棒性更强的目标跟踪器;采用时间序列多组件匹配机制,在目标外观模型受到干扰的情况下动态调整目标模型学习率,从而保证目标模板不受污染。在OTB100标准数据集上的实验表明,在混合干扰条件下,本文算法的准确率(0. 885)和成功率(0. 615)均优于其他主流跟踪算法。特别是在遮掩、运动模糊、光照变化、背景聚类和快速运动等干扰因素影响情况下,本文算法均具有较强的鲁棒性。     

舆情本体概念抽取研究

面对舆情信息的动态性、跨领域性、面向主题等特点,目前已有的领域本体学习方法难以适应舆情本体知识的自动构建.本文采用信息爬取技术收集热点舆情文本信息,根据构建模型自动识别主题进行归类,并对识别后的主题文本提取名词性词汇或者短语作为候选概念集;采用语义相似度方法计算候选概念间的相关度,根据相关度计算各概念的权值,并进行排序;结合词频变化的方法抽取与主题相关的核心概念.实验结果表明,本文方法可有效地抽取与舆情主题相关的核心概念,对舆情本体的构建以及后期的知识共享和重用起到积极作用.     

基于图文双向引导注意力的新闻图集描述生成方法

在传统的图像描述生成任务中,已有方法对图像的描述仅仅停留在浅层,并缺乏真实世界知识的指导,难以挖掘出对象在特定背景下的逻辑语义关系。新闻文本的引入为图像描述带来了新的可能,同时对模型的学习能力有了更高要求;此外,新闻图集中往往存在多幅图像,且相互之间联系紧密,导致现有单图描述生成方法不适用于新闻图集描述生成。针对上述问题,本文提出了一种基于图文双向引导注意力(image and text bidirectional guidance attention,ITBGA)的新闻图集描述方法,以图集作为研究对象,并辅以对应的新闻文本作为背景知识,基于ITBGA分别实现粗、细两个粒度的跨模态信息交互,并通过指针网络辅助命名实体词生成。在本文构建的新闻图集数据集上进行了实验验证,结果表明ITBGA能有效提升描述文本的质量,在关键的CIDEr指标上达到了最优。     

基于持续时空注意力网络的人脸微表情识别

人脸微表情具有持续时间短，运动幅度小，只发生在面部局部区域的特点，给微表情的准确识别带来了极大的挑战。针对上述问题，提出一种基于持续时空注意力网络(Continuous Spatiotemporal Attention Network, CSTN)的人脸微表情识别算法。该算法由主、副两个通道组成，主通道为持续时空注意力模块，副通道为位置校准模块。首先主通道进行离散采样，等间隔抽取原始视频帧组成一个新的视频序列，利用帧间差分法提取各帧之间的运动差异，再将其输入到持续时空网络，提取面部肌肉运动的时空特征；其次利用副通道提取的面部位置信息对主通道信息进行位置校准，最后将融合信息输入到Softmax分类器对微表情进行分类。实验表明在3个公开微表情数据集CASMEⅡ,SAMM,MMEW上该算法识别的平均准确度分别达到了89.96%,86.73%,89.76%,优于现有其他算法。     

基于改进3D卷积网络的人体动作识别

为解决现有多数视频人体动作识别3D卷积方法无法区分信息中各维度的重要和非重要特征问题,提出了通过门控循环单元(GatedRecurrentUnit,GRU)和空间注意力增强模块构建时空特征处理网络的方法,基于多级特征融合和多组通道注意力特征选择构建网络,改进基础网络模型Res Net3D对视频人体动作识别中的网络模型.改进后模型在2个公开数据集UCF101和HMDB51上的准确率分别为96.42%和71.08%,与C3D、Two-stream等网络模型相比,具有更高的识别准确率.     

融合遥感与社会感知数据的城市土地利用分类方法

传统的土地利用分类方法大多基于对资料或影像的人工解译,存在一定的局限性。近年来,结合空间大数据和自然语言处理技术进行低成本快速的土地资源管理已成为研究热点。以美国纽约市曼哈顿区为例,提出了融合遥感影像和社会感知数据的城市土地利用分类方法。从遥感影像中提取光谱特征、从推特数据中提取用户活动时空和主题特征,基于随机森林法和深度神经网络法,构建了细粒度的城市土地利用分类模型。通过对比不同特征组合分类方法的精度,得到结合光谱特征和用户活动时空、主题特征的深度神经网络方法的结果最优,总体精度达82.65%,Kappa系数为70.1%。结果表明,社会感知数据中隐含的用户活动时空模式和活动主题信息均有助于提高城市土地利用分类的精度,而神经网络法可有效融合多源数据,为快速、低成本获取城市土地利用信息提供了新的途径。