Point-GAT：图注意力机制与关键点检测的融合

针对以往基于关键点的目标检测存在小尺度上的检测结果不太理想,忽略关键点之间的类别语义信息的问题,提出了一种新的关键点检测算法Point-GAT。该算法通过在Hourglass和ResNeXt主干网络上加入快捷连接,解决网络深度增加带来的学习退化问题;使用反卷积和特征融合增强小尺度目标的检测效果;同时算法使用了图注意力机制,通过构建有向有权重图映射类别之间的语义关系,获得关键点之间的类别语义信息;在优化定位和回归函数的同时,加入分类损失函数分支来反映类别语义信息。在COCO数据集上实验结果表明,该算法平均精度达到了48.3%,在PASVAL VOC 2007和PASVAL VOC 2012数据集上平均精度均高于其他算法。     

基于交互和图注意力网络的代码搜索方法

在代码搜索任务中,已有的基于深度学习的算法,一方面不能有效提取代码特征和查询特征之间的细粒度交互关系,另一方面未考虑特征之间潜在的结构化特征,无法实现更精确的匹配。本文提出了一种基于交互和图注意力网络的代码搜索模型IGANCS(Interaction and Graph Attention Network based model for Code Search)。该模型通过引入基于相似度矩阵的交互机制,学习代码特征和查询特征的细粒度交互关系,实现代码与查询之间的对齐;引入图注意力机制,利用自注意力层学习代码和查询中隐藏的结构化特征,更深入地挖掘代码和查询的结构化语义;利用最大池化机制分别聚合代码特征和查询特征,提取最重要的特征信息。本文在公开的Java数据集和Python数据集上对IGANCS进行了评估。实验结果表明,IGANCS在Mean Reciprocal Rank(MRR)和SuccessRate@1/5/10指标上优于已有的基线模型。     

MFDC-Net：一种融合多尺度特征和注意力机制的乳腺癌病理图像分类算法

乳腺癌是全球最常见的恶性肿瘤之一,采用传统方法诊断需花费大量时间和精力,且受个人能力影响较大。用计算机辅助诊断的方法,可以提高病理图像分类的准确率和效率,从而满足临床应用的需求。为此,提出一种基于DenseNet的融合多尺度特征和注意力机制的乳腺癌病理图像分类算法（MFDC-Net）。在密集块中引入坐标注意力机制,精准定位重要特征的空间信息。采用多尺度池化过渡层,通过不同卷积核的平均池化和普通卷积,在实现降维的同时扩大感受野。采用多尺度特征增强模块,融合深层次图像特征,提高分类性能。结果显示,MFDC-Net模型的分类性能较其他经典模型更优,分类准确率达97.12%,易混淆率低至3.34%,能较好地进行乳腺癌组织病理图像分类,为诊断和治疗提供重要依据。     

基于图文双向引导注意力的新闻图集描述生成方法

在传统的图像描述生成任务中,已有方法对图像的描述仅仅停留在浅层,并缺乏真实世界知识的指导,难以挖掘出对象在特定背景下的逻辑语义关系。新闻文本的引入为图像描述带来了新的可能,同时对模型的学习能力有了更高要求;此外,新闻图集中往往存在多幅图像,且相互之间联系紧密,导致现有单图描述生成方法不适用于新闻图集描述生成。针对上述问题,本文提出了一种基于图文双向引导注意力(image and text bidirectional guidance attention,ITBGA)的新闻图集描述方法,以图集作为研究对象,并辅以对应的新闻文本作为背景知识,基于ITBGA分别实现粗、细两个粒度的跨模态信息交互,并通过指针网络辅助命名实体词生成。在本文构建的新闻图集数据集上进行了实验验证,结果表明ITBGA能有效提升描述文本的质量,在关键的CIDEr指标上达到了最优。     

基于宏块分裂的多描述视频分层编码方法研究

网络异构性与传输可靠性是视频通信存在的两大问题.在视频编码中,分层编码用来解决网络传输异构性问题,多描述编码是解决传输可靠性的有效手段,而多描述视频分层编码则是二者的结合.在分层编码技术的基础上,结合基于宏块分裂的多描述编码,提出了基于宏块分裂的多描述视频分层编码.同时,还给出了基于行、列、帧分解的多描述视频分层编码方案,并对4种多描述分层编码方案进行了比较.实验结果表明,所提出的基于宏块分裂多描述分层编码方案在网络异构的适应性和传输可靠性上具有优越性.     

基于CDN和H.264的多描述视频编码方法

Internet带宽资源有限、服务器下载负荷过大以及网络性能不稳定等会引起网站访问速度过慢,易发生信息丢失等现象．为了解决Internet视频流传送的这些问题,提出了基于CDN（Content Delivery Network）和H．264的多描述视频编码方法,分析了3种多描述分解方案,给出了这些多描述视频编码方案进行视频编码和网络传输．实验显示,所给出的编码方法能有效地应用于视频流压缩和Internet传输．     

Mediator模式下基于语义映射的多本体融合机制研究

针对现有本体融合机制的不足，提出了一种基于Mediator模式的多本体融合机制．首先定义了基于语义相似性的语义映射概念，然后探讨了基于复杂映射的多本体融合机制，并详细介绍了多本体融合的步骤和算法，最后介绍了这种机制在OBSA信息集成系统中的实现．     

基于语义的服务资源描述模型RDF4S

在已有的语义Web服务描述框架基础上,定义了一种语义Web服务资源描述模型RDF4S,该模型从功能、接口、执行和QoS 4个层面描述服务资源的语义信息,并基于该模型提出了一个语义Web服务资源发现框架.结合旅游预订系统的一个实例,展示了RDF4S 4层语义信息的描述能力和支持发现的能力,并给出RDF4S描述模型和其他语义Web服务描述模型的比较.该工作对基于语义信息进行服务的自动发现、组合和调用具有一定的参考作用.     

融合图卷积神经网络和注意力机制的PM2.5小时浓度多步预测

PM_2.5小时浓度多为单步预测。为实现PM_2.5小时浓度的多步预测,基于“编码器-解码器”的序列-序列预测（Seq2Seq）模型,集合图卷积神经网络提取非欧式空间数据特征的能力以及注意力机制自适应关注特征的能力,提出了融合图卷积神经网络和注意力机制的PM_2.5小时浓度多步预测（GCN_Attention_Seq2Seq）模型。并与Seq2Seq模型和使用了图卷积神经网络、未使用注意力机制的GCN_Seq2Seq模型进行了对照,以2015—2016年北京市22个空气质量监测站点的空气质量数据为样本进行实例验证,结果表明,Seq2Seq模型和图卷积神经网络（GCN）可对PM_2.5小时浓度数据的时空依赖进行有效建模,注意力机制有助于减缓多步预测中的预测精度衰减,提升PM_2.5小时浓度多步预测的精度。GCN_Attention_Seq2Seq模型可有效应用于多种长度的PM_2.5浓度预测窗口。     

基于MPEG-7的视频数据组织与管理

针对现有视频数据库系统存在的不足,根据视频数据的特点,提出并实现了一种基于MPEG-7标准的视频数据组织与管理方法.该方法将视频内容的描述数据按照不同层次的视频内容单元进行组织,并针对不同的描述数据,分别生成结构索引、文本索引和特征索引,以满足基于内容的视频浏览和检索的需求.实验证明,通过视频描述数据库对视频数据进行管理,不仅降低了服务器的存储要求,而且为基于内容的视频检索奠定了基础,具有很好的通用性和可扩展性.     

基于注意力机制的复杂背景连续手语识别

提出一种基于注意力机制的连续手语识别算法ACN(attention-based 3D convolutional neural network),能够识别复杂背景下的连续手语。该算法首先利用背景去除模块,对包含复杂背景的手语视频进行预处理;然后,通过基于空间注意力机制的3D-ResNet(3D residual convolutional neural network)提取时空融合信息;最后,采用结合时间注意力机制的长短期记忆（long short-term memory,LSTM）网络进行序列学习,得到最终的识别结果。算法在大规模中国连续手语数据集CSL100上表现优异;在面向不同复杂背景的情况下,算法表现出良好的泛化性能,模型引入的时空注意力机制是切实有效的。     

基于图注意力网络的三维网格分割算法

针对三维网格模型分割质量提升问题,提出了感知几何的图注意力网络。首先,定义了感知几何的图注意力系数,利用节点之间的边特征扩展由网络学习得到的注意力系数,引入与节点局部几何信息相关的注意力系数,更好地反映节点之间的相似性。然后,通过调整网络架构,将三维网格模型的几何特征与标签信息共同作为图注意力网络的输入,使标签信息参与网络训练和验证,并通过残差形式的线性连接实现网络的更稳定输出。大量实验结果表明,本文算法能够获得精确的分割边界,其在PSB数据集上的分割准确率较现有经典算法提升约2个百分点,也取得了更好的兰德指数。同时,通过消融实验验证了算法的合理性。     

一种融合本体与条件随机场的视频语义提取方法

从时空角度结合条件随机场模型及本体概念,提出了一种视频语义特征提取方法,其中包括视频低层特征模型参数估计(model parameter estimation,MPE)算法和高层对象语义模型更新(model update,MU)算法。该方法可以实现视频语义概念本体的自动提取和标注,为语义特征提取及分析提供支持。实验结果表明,该方法提升了视频语义特征提取的精确率和召回率。     

基于混合模型语义Web服务匹配机制的研究与实现

服务发现和匹配是面向服务计算架构需要解决的核心问题之一,而现有语义web服务发现机制适应范围较窄,匹配效率较低,具有较大提升空间.提出了一种基于服务属性和功能描述的混合服务匹配方法,该方法利用服务本体来扩展服务特征信息,采用LSA方法进行服务相似匹配以提高服务的查全率,再利用本体推理机制来提高服务的查准率.实验证明：此种混合方法能提高服务发现效率.     

基于多特征融合多任务的射频指纹识别方法

目前关于射频指纹识别（radio frequency fingerprint identification,RFFI）的研究大多基于单个信号特征,存在识别准确率不高的问题。为此,提出了一种多特征融合多任务的射频指纹识别方法。该方法融合功率谱、基于STFT变换的时频谱、互功率谱三种信号特征,采用多任务学习（multi-task learning,MTL）策略,使用噪声信息作为先验知识来帮助网络训练,以设备分类为主任务,以信号噪声含量的分类作为网络第二个任务。仿真实验表明,本文提出的多特征融合多任务的方法较单特征单任务的方法有所提高,是一种有效的射频指纹识别方法。     

融合抽象层级变换和卷积神经网络的手绘图像检索方法

针对人工设计的描述子（HOG、SIFT等）在基于手绘的图像检索（Sketch Based Image Retrieval,SBIR）领域的局限性,提出了一种融合抽象层级变换和卷积神经网络构建联合深度特征描述子的手绘图像检索方法.首先,提取常规图像的边缘概率图,在此基础上进行不同抽象层级的图像变换,将抽象层级变换图像输入到深度神经网络并提取不同隐层的输出向量,最后,联合不同隐层的输出向量作为手绘图像检索的特征描述子（即联合深度特征描述子）.在Flickr15k数据库上对本方法进行了实验验证,结果表明：融合抽象层级变换和联合深度特征描述子的检索效果相较HOG、SIFT等传统方法有显著提高.本方法从图像预处理和特征描述子构建2个方面,对SBIR问题进行了改进,具有更高的准确率.     

融合遥感与社会感知数据的城市土地利用分类方法

传统的土地利用分类方法大多基于对资料或影像的人工解译,存在一定的局限性。近年来,结合空间大数据和自然语言处理技术进行低成本快速的土地资源管理已成为研究热点。以美国纽约市曼哈顿区为例,提出了融合遥感影像和社会感知数据的城市土地利用分类方法。从遥感影像中提取光谱特征、从推特数据中提取用户活动时空和主题特征,基于随机森林法和深度神经网络法,构建了细粒度的城市土地利用分类模型。通过对比不同特征组合分类方法的精度,得到结合光谱特征和用户活动时空、主题特征的深度神经网络方法的结果最优,总体精度达82.65%,Kappa系数为70.1%。结果表明,社会感知数据中隐含的用户活动时空模式和活动主题信息均有助于提高城市土地利用分类的精度,而神经网络法可有效融合多源数据,为快速、低成本获取城市土地利用信息提供了新的途径。     

基于双目融合与竞争的无参考立体图像质量评价方法

根据人眼对立体图像的感知过程,提出了一种基于双目融合和竞争特性的无参考立体图像质量评价方法.首先将左右视点图像进行融合,对得到的独眼图进行Gabor特征提取;然后对左右视点图像的绝对差值图提取特征;最后将独眼图特征和绝对差值图特征融合得到立体图像特征集,通过支持向量回归预测得到客观值.采用该方法对LIVE立体图像数据库进行评价,Pearson线性相关系数(PLCC)和Spearman等级相关系数(SROCC)均在0.94左右,优于其他参与对比的质量评价方法.表明该方法符合人眼视觉特性,能够很好地描述人眼感知特性.