融合实体上下文特征的深度文本语义匹配模型

为提高文本匹配过程中对实体上下文和语义关联信息的学习能力,提出一种融合实体上下文特征的深度文本语义匹配模型。该模型通过学习深度多视图语义交互信息和实体上下文特征匹配矩阵来计算文本的综合匹配得分,采用双向长短时记忆网络和共注意力机制获取文本的局部语义特征并进行多视图向量交互匹配,同时,针对文本中提取到的实体计算上下文特征,通过实体匹配矩阵和卷积神经网络进行实体上下文语义匹配。在SNLI、MultiNLI和Quora Question Pairs数据集上分别与已有基准模型对比,实验结果表明,相比经典深度文本匹配模型,本文提出的融合实体上下文特征的文本匹配模型可以有效提升文本匹配的准确度。     

基于联合特征与Bi-LSTM模型的英汉双语文本情绪预测

英汉双语文本中的情绪可以通过英语和汉语的单语或者双语形式来表达。然而,以往的研究主要集中在单语文本的情绪分析,只有少数研究侧重于英汉双语文本。为提高英汉双语文本情绪预测效果,本文结合情绪词典方法与深度学习方法,使用联合特征与Bi-LSTM模型来对英汉双语文本进行情绪预测。首先基于情绪词典抽取出双语文本中包含的情绪词特征,然后联合情绪词特征与双语文本特征输入至Bi-LSTM模型进行特征学习,最后将学习到的深度语义特征输入到分类器中进行情绪预测。实验结果表明,该方法对英汉双语文本的情绪预测有良好的效果。     

融合语义增强与多注意力机制的视频描述方法

随着视频数据爆发式增长,视频描述任务越来越被研究者们关注。如何让计算机像人类一样理解视频的内容并能够准确无误地用语言表达出来,是视频描述任务领域尚未得到完美解决的难题之一。针对现有代表性视频描述模型中存在的未充分利用语义信息、生成描述不准确等问题,本文基于编码器-解码器框架的视频描述模型,提出了一种融合语义增强与多注意力机制的视频描述方法。该方法首先通过视觉文本特征聚合方法,为模型编码提供高层语义指导。然后,使用Faster-RCNN网络提取视频对象特征,通过图卷积网络获取视频对象的潜在语义信息,得到增强特征。最后,引入多重注意力机制,使模型更好地利用输入信息,增强模型的学习能力。MSVD和MSR-VTT数据集上的实验结果表明,相比于基准模型,本文提出的方法能合理优化视频描述模型的输入信息,有效提取视频潜在语义,从而解决视频文本跨模态问题和生成语句的语法结构问题,并能有效提升视频描述模型的准确度和对复杂场景的描述能力,更具先进性。     

基于改进的DenseNet-BC对少数民族服饰的识别

随着信息技术的发展,数字技术越来越多地应用于民族文化数字化保护,民族服饰的数字化及分类问题也日益受关注。相比一般服饰,少数民族服饰具有更多的细节特征信息,对其进行分类识别具有很大挑战。选用卷积神经网络DenseNet-BC作为基础网络结构,设计并使用了多尺度密集连接单元,用不同大小的卷积提取不同尺度的特征信息,以提高网络的学习能力;此外,为进一步提高网络的鲁棒性,提出一种局部和全局注意力机制方法进行分类识别。实验结果表明,改进的DenseNet-BC模型对少数民族服饰的识别准确率达95.18%,较ResNet-18、ResNet-34和DenseNet模型的识别准确率分别提升了3.84%、2.27%和1.18%。改进的DenseNet-BC模型具有更好的特征提取能力,能够提取更多的细节特征信息,一定程度上解决了普通模型提取特征尺度单一、特征丰富度低的问题。     

面向微博图文关系识别的统一特征空间映射方法

针对图文微博中图像、文本和社交数据的异构性,在提取图像、文本和社交等多模态特征的基础上,本文提出了面向微博图文关系识别的统一特征空间映射方法.该方法首先选择图像特征空间为统一特征空间,然后基于遗传算法求解映射矩阵,将文本特征和社交特征映射至统一特征空间,最后利用支持向量机在统一特征空间中建立图文关系识别模型.采用统一特征空间映射方法前后的对比实验结果表明,在总正确率上,面向微博图文关系识别的统一特征空间映射方法是有效的.     

融合图卷积神经网络和注意力机制的PM2.5小时浓度多步预测

PM_2.5小时浓度多为单步预测。为实现PM_2.5小时浓度的多步预测,基于“编码器-解码器”的序列-序列预测（Seq2Seq）模型,集合图卷积神经网络提取非欧式空间数据特征的能力以及注意力机制自适应关注特征的能力,提出了融合图卷积神经网络和注意力机制的PM_2.5小时浓度多步预测（GCN_Attention_Seq2Seq）模型。并与Seq2Seq模型和使用了图卷积神经网络、未使用注意力机制的GCN_Seq2Seq模型进行了对照,以2015—2016年北京市22个空气质量监测站点的空气质量数据为样本进行实例验证,结果表明,Seq2Seq模型和图卷积神经网络（GCN）可对PM_2.5小时浓度数据的时空依赖进行有效建模,注意力机制有助于减缓多步预测中的预测精度衰减,提升PM_2.5小时浓度多步预测的精度。GCN_Attention_Seq2Seq模型可有效应用于多种长度的PM_2.5浓度预测窗口。     

基于BERT-LSTM的答案选择模型

目前主流答案选择算法主要首先基于word2vec/glove进行词语表示,再使用RNN或CNN提取文本语义特征,但word2vec/glove无法解决一词多义问题,RNN和CNN在文本全局特征提取方面也有局限。针对以上不足,论文提出一种基于BERT预训练模型的答案选择算法BERT-LSTM,首先采用BERT模型提取问答文本的语义特征表示,再利用BiLSTM加强文本序列信息并整合文本语义,最后引入注意力机制突出重点信息,以此完成答案选择任务。在答案选择基准数据集InsuranceQA和WiKiQA上的测试验证了所提出算法的有效性。     

基于交互和图注意力网络的代码搜索方法

在代码搜索任务中,已有的基于深度学习的算法,一方面不能有效提取代码特征和查询特征之间的细粒度交互关系,另一方面未考虑特征之间潜在的结构化特征,无法实现更精确的匹配。本文提出了一种基于交互和图注意力网络的代码搜索模型IGANCS(Interaction and Graph Attention Network based model for Code Search)。该模型通过引入基于相似度矩阵的交互机制,学习代码特征和查询特征的细粒度交互关系,实现代码与查询之间的对齐;引入图注意力机制,利用自注意力层学习代码和查询中隐藏的结构化特征,更深入地挖掘代码和查询的结构化语义;利用最大池化机制分别聚合代码特征和查询特征,提取最重要的特征信息。本文在公开的Java数据集和Python数据集上对IGANCS进行了评估。实验结果表明,IGANCS在Mean Reciprocal Rank(MRR)和SuccessRate@1/5/10指标上优于已有的基线模型。     

基于注意力机制的复杂背景连续手语识别

提出一种基于注意力机制的连续手语识别算法ACN(attention-based 3D convolutional neural network),能够识别复杂背景下的连续手语。该算法首先利用背景去除模块,对包含复杂背景的手语视频进行预处理;然后,通过基于空间注意力机制的3D-ResNet(3D residual convolutional neural network)提取时空融合信息;最后,采用结合时间注意力机制的长短期记忆（long short-term memory,LSTM）网络进行序列学习,得到最终的识别结果。算法在大规模中国连续手语数据集CSL100上表现优异;在面向不同复杂背景的情况下,算法表现出良好的泛化性能,模型引入的时空注意力机制是切实有效的。     

基于CNN-SVM的地下目标形状识别

针对传统地下目标识别算法中特征提取方法的缺陷,鉴于深度学习中的卷积神经网络（CNN）能自动从数据中提取特征,但CNN自带的分类器不能很好的解决非线性分类问题,由于SVM具有良好的泛化分类能力,为此提出基于CNN-SVM的地下目标形状识别方法。本文首先在地表面光滑场景下,利用该方法对地下圆形和矩形目标识别,然后加大场景难度,在地表面粗糙场景下进行地下目标形状识别。实验结果表明,相比传统人工设计的特征分类方法,该算法利用CNN自动提取的特征联合SVM提高了CNN的分类准确率,并且在两种场景下都具有更高的地下目标识别精度。     

基于数据预处理深度置信网络的药物与非药物分类（英文）

制药工业的一个主要趋势是整合传统意义上被认为早期阶段药物发现的分子描述.为了更好的将药物和非药物分类,本文提出了基于深度信念网络(DBN)的分类模型.首先,对分子特征进行预处理以保证有价值的信息得到保留,其次,该模型将DBN和反向传播(BP)分类器结合去对药物/非药物进行检测和分类.DBN由几个受限玻尔兹曼机(RBM)层组成,当特征向量转移到下一层时这些RBM层尽可能多的保留具有重要的影响的信息.BP层训练的最后一个RBM层生成特征分类.结果表明,该方法是提取高层次特征的药物和非药物分类任务中一种成功的方法,分类精度高达85.3%,高于传统的支持向量机和神经网络方法.同时,预处理对分子特征的提取更为有效,从而在一定程度上提高了分类的准确性.     

基于受限玻尔兹曼机的电能质量复合扰动识别

针对目前电能质量混合扰动识别精度不高的问题,引入了受限玻尔兹曼机(RBM)算法。RBM是深度学习的一种新颖算法,在语音识别、机器视觉和图像恢复等领域已取得了很好的应用成果,但在电能质量复合扰动识别上尚未涉及。区别于传统算法提取特征的方式,深度网络通过提取波形的固有抽象特征,克服了人工特征选择的缺陷以及传统神经网络训练时收敛速度慢、容易限于局部最优的缺点。复合扰动信号经过深度网络自动获得特征参数,再经过分类器进行分类识别。实验验证该算法在电能质量复合扰动识别上可以达到很高的性能,优于传统的识别方法。 更多还原     

一种基于特征提取技术的语音识别算法

语音识别是通过对说话人语音信号的分析和提取．自动确定说话人是否在所登记的说话人集合中，以及说话的人是谁的过程．本文提出了一种基于特征提取技术的模板匹配语音识别算法．该算法中，采用与文本有关（主要用于时域分析）和与文本无关（主要用于频域分析）相结合的三种识别方法：快速傅立叶变换（FFT）、平均过零率分析（RBZ）和高斯混合模型（GMM），最后通过三种方法的加权平均来生成判决门限值．通过比较门限值误差的大小，根据“最大似然准则”给出待识别语音的身份．     

基于改进3D卷积网络的人体动作识别

为解决现有多数视频人体动作识别3D卷积方法无法区分信息中各维度的重要和非重要特征问题,提出了通过门控循环单元(GatedRecurrentUnit,GRU)和空间注意力增强模块构建时空特征处理网络的方法,基于多级特征融合和多组通道注意力特征选择构建网络,改进基础网络模型Res Net3D对视频人体动作识别中的网络模型.改进后模型在2个公开数据集UCF101和HMDB51上的准确率分别为96.42%和71.08%,与C3D、Two-stream等网络模型相比,具有更高的识别准确率.     

基于单字特征和搜索引擎的新词识别

新词识别是影响搜索准确率以及速率的重要因素.本文提出了一种基于统计模型和词语搭配的中文新词自动识别方法.采用条件概率的方法提取单字词搭配特征和临界词特征,并采用层次结构实现新词定位以及识别.首先采用双向最大匹配相结合的方法对文本进行词法粗切分,然后根据单字词搭配得到候选新词的位置,用临界词方法确定候选新词的边界,采用改进Nagao串频统计方法对新词候选词在本文内进行重复串统计,对于只在文中出现一次的新词则借助搜索引擎进行确定.对新浪网近期的网络文章进行测试,结果表明,基于本文方法设计的系统可以识别不同领域的新词,在低频词、较长的词以及新词语搭配方面取得了良好的效果.单字词搭配检查发现新词位置综合指标F值达到96.8%.     

一种基于深度学习的古彝文识别方法

作为世界六大古文字之一的古彝文记录了几千年来人类的发展历史。通过对古彝文的识别能够将这些珍贵文献资料转换为电子文档,便于保存和传播。由于历史发展、区域限制等原因,针对古彝文识别的研究鲜有成果。本文将当前新颖的深度学习技术应用于古老的文字识别。在四层卷积神经网络（convolutional neural network, CNN）基础上扩展出5个模型,然后利用Alpha-Beta散度作为惩罚项,对5个模型的输出神经元重新进行自编码,接着用2个全连接层完成特征压缩,最后在softmax层对古彝文字符特征进行重新评分,得到其概率分布,选择对应的最高概率作为识别的字符。实验表明,相对于传统CNN模型,本文方法对古彝文手写体的识别精度更高。     

一种基于深度学习的古彝文识别方法

作为世界六大古文字之一的古彝文记录了几千年来人类的发展历史。通过对古彝文的识别能够将这些珍贵文献资料转换为电子文档,便于保存和传播。由于历史发展、区域限制等原因,针对古彝文识别的研究鲜有成果。本文将当前新颖的深度学习技术应用于古老的文字识别。在四层卷积神经网络（convolutional neural network, CNN）基础上扩展出5个模型,然后利用Alpha-Beta散度作为惩罚项,对5个模型的输出神经元重新进行自编码,接着用2个全连接层完成特征压缩,最后在softmax层对古彝文字符特征进行重新评分,得到其概率分布,选择对应的最高概率作为识别的字符。实验表明,相对于传统CNN模型,本文方法对古彝文手写体的识别精度更高。     

基于细粒度信息交互注意力的情绪分类方法

现有细粒度分析方法未能充分利用细粒度情绪信息来增强上下文与评价目标间的语义关联性,且对多词构成的评价目标仅平均化处理,损失了词间内容与关系信息,导致分类不精准。针对上述问题,本文提出了一种基于细粒度信息交互注意力（interactive attention with fine-grained information,FGIA）的情绪分类方法,通过采用更加细粒度的注意力机制来实现评价目标与上下文之间的充分交互,同时得到目标对上下文以及上下文对目标的交互注意力表示,进而辅助完成情绪分类。在本文构建的COVID-19网络舆情中文数据集上进行了实验验证,结果表明,FGIA能够有效地提升网络舆情数据情绪分类的准确性,相比于主流的分类方法,在各项评价指标上均取得了较高的提升。     

基于词嵌入扩充的口语对话文本领域分类

针对口语对话系统领域分类任务中传统领域分类方法如SVM需要进行大量人工标注的问题,将LDA(Latent Dirichlet Allocation)模型应用于口语对话系统领域分类;针对口语对话内容少、长度短、数据稀疏等问题,在LDA模型基础上提出了基于词嵌入文本扩充的口语对话系统领域分类方法.该方法主要特点是:1)使用词嵌入方法word2vec对类似于短文本的语音识别后的口语对话文本进行语义扩充,将短文本转化为长文本,使主题模型LDA更加有效地估计口语对话文本的隐含主题;2)采用无监督的概率生成模型LDA对扩充后的口语对话文本进行建模以及领域分类,从而降低人工标注成本.实验结果表明,与直接使用LDA模型进行口语对话系统领域分类方法对比,适当扩充长度的word2vec文本扩充方法在口语对话系统领域分类中的平均准确率、平均召回率和平均F1值分别提高了26.1%、25.5%、27.2%,且该方法具有一定的鲁棒性..     

基于持续时空注意力网络的人脸微表情识别

人脸微表情具有持续时间短，运动幅度小，只发生在面部局部区域的特点，给微表情的准确识别带来了极大的挑战。针对上述问题，提出一种基于持续时空注意力网络(Continuous Spatiotemporal Attention Network, CSTN)的人脸微表情识别算法。该算法由主、副两个通道组成，主通道为持续时空注意力模块，副通道为位置校准模块。首先主通道进行离散采样，等间隔抽取原始视频帧组成一个新的视频序列，利用帧间差分法提取各帧之间的运动差异，再将其输入到持续时空网络，提取面部肌肉运动的时空特征；其次利用副通道提取的面部位置信息对主通道信息进行位置校准，最后将融合信息输入到Softmax分类器对微表情进行分类。实验表明在3个公开微表情数据集CASMEⅡ,SAMM,MMEW上该算法识别的平均准确度分别达到了89.96%,86.73%,89.76%,优于现有其他算法。