基于持续时空注意力网络的人脸微表情识别

人脸微表情具有持续时间短,运动幅度小,只发生在面部局部区域的特点,给微表情的准确识别带来了极大的挑战。针对上述问题,提出一种基于持续时空注意力网络(Continuous Spatiotemporal Attention Network, CSTN)的人脸微表情识别算法。该算法由主、副两个通道组成,主通道为持续时空注意力模块,副通道为位置校准模块。首先主通道进行离散采样,等间隔抽取原始视频帧组成一个新的视频序列,利用帧间差分法提取各帧之间的运动差异,再将其输入到持续时空网络,提取面部肌肉运动的时空特征;其次利用副通道提取的面部位置信息对主通道信息进行位置校准,最后将融合信息输入到Softmax分类器对微表情进行分类。实验表明在3个公开微表情数据集CASMEⅡ,SAMM,MMEW上该算法识别的平均准确度分别达到了89.96%,86.73%,89.76%,优于现有其他算法。     

一种基于LSTM-Blacklist的动态信任度证明机制

针对区块链网络中共识节点的恶意行为导致的区块链系统安全问题,提出一种基于LSTM(long short-term memory)-Blacklist的动态信任度证明机制(PoDT-LSTMB)。该动态信任度证明机制通过前向注意力机制的两层LSTM神经网络学习并分析参与共识节点的行为数据,预测节点行为倾向。以节点信任度为基础构建黑名单,剔除低于信任度阈值的节点,提高全网节点的总体可信性。以正常区块上链率以及节点信任度的变化为主要评估指标,与信任度证明PoT(Proof of Trust)机制以及不带黑名单的PoDT-LSTM机制进行了对比实验。实验结果表明,基于前向注意力机制的两层LSTM神经网络结构准确率可达0.915 1,本文提出的PoDT-LSTMB机制比PoT机制的正常区块上链率提高30%～33%。     

基于改进3D卷积网络的人体动作识别

为解决现有多数视频人体动作识别3D卷积方法无法区分信息中各维度的重要和非重要特征问题,提出了通过门控循环单元(GatedRecurrentUnit,GRU)和空间注意力增强模块构建时空特征处理网络的方法,基于多级特征融合和多组通道注意力特征选择构建网络,改进基础网络模型Res Net3D对视频人体动作识别中的网络模型.改进后模型在2个公开数据集UCF101和HMDB51上的准确率分别为96.42%和71.08%,与C3D、Two-stream等网络模型相比,具有更高的识别准确率.     

基于协同注意力的RGB-D图像显著性检测

在RGB-D显著性检测视觉任务中,RGB彩色模态和深度模态的信息均被视为十分重要的特征线索。但现有的RGB-D显著性检测模型无法高效执行多尺度特征的交互和多模态特征的融合,因此在真实的开放场景下表现欠佳。针对上述问题,提出了一种基于协同注意力（synergistic attention）机制的RGB-D显著性检测算法模型（SANet）,并引入多模态学习中通用的引导与教导策略（guidance and teaching strategy）。在编码器进行多尺度特征提取的阶段中进行隐式引导（implicit guidance）,在解码器进行特征融合时进行显式的教导（explicit teaching）,实现了编码、解码的分阶段学习。在4个显著性检测评测数据集上进行的综合实验表明,该算法在4个评测指标上均优于已有的18个前沿RGB-D显著性检测模型。     

Point-GAT：图注意力机制与关键点检测的融合

针对以往基于关键点的目标检测存在小尺度上的检测结果不太理想,忽略关键点之间的类别语义信息的问题,提出了一种新的关键点检测算法Point-GAT。该算法通过在Hourglass和ResNeXt主干网络上加入快捷连接,解决网络深度增加带来的学习退化问题;使用反卷积和特征融合增强小尺度目标的检测效果;同时算法使用了图注意力机制,通过构建有向有权重图映射类别之间的语义关系,获得关键点之间的类别语义信息;在优化定位和回归函数的同时,加入分类损失函数分支来反映类别语义信息。在COCO数据集上实验结果表明,该算法平均精度达到了48.3%,在PASVAL VOC 2007和PASVAL VOC 2012数据集上平均精度均高于其他算法。     

融合语义增强与多注意力机制的视频描述方法

随着视频数据爆发式增长,视频描述任务越来越被研究者们关注。如何让计算机像人类一样理解视频的内容并能够准确无误地用语言表达出来,是视频描述任务领域尚未得到完美解决的难题之一。针对现有代表性视频描述模型中存在的未充分利用语义信息、生成描述不准确等问题,本文基于编码器-解码器框架的视频描述模型,提出了一种融合语义增强与多注意力机制的视频描述方法。该方法首先通过视觉文本特征聚合方法,为模型编码提供高层语义指导。然后,使用Faster-RCNN网络提取视频对象特征,通过图卷积网络获取视频对象的潜在语义信息,得到增强特征。最后,引入多重注意力机制,使模型更好地利用输入信息,增强模型的学习能力。MSVD和MSR-VTT数据集上的实验结果表明,相比于基准模型,本文提出的方法能合理优化视频描述模型的输入信息,有效提取视频潜在语义,从而解决视频文本跨模态问题和生成语句的语法结构问题,并能有效提升视频描述模型的准确度和对复杂场景的描述能力,更具先进性。     

基于交互和图注意力网络的代码搜索方法

在代码搜索任务中,已有的基于深度学习的算法,一方面不能有效提取代码特征和查询特征之间的细粒度交互关系,另一方面未考虑特征之间潜在的结构化特征,无法实现更精确的匹配。本文提出了一种基于交互和图注意力网络的代码搜索模型IGANCS(Interaction and Graph Attention Network based model for Code Search)。该模型通过引入基于相似度矩阵的交互机制,学习代码特征和查询特征的细粒度交互关系,实现代码与查询之间的对齐;引入图注意力机制,利用自注意力层学习代码和查询中隐藏的结构化特征,更深入地挖掘代码和查询的结构化语义;利用最大池化机制分别聚合代码特征和查询特征,提取最重要的特征信息。本文在公开的Java数据集和Python数据集上对IGANCS进行了评估。实验结果表明,IGANCS在Mean Reciprocal Rank(MRR)和SuccessRate@1/5/10指标上优于已有的基线模型。     

基于改进的DenseNet-BC对少数民族服饰的识别

随着信息技术的发展,数字技术越来越多地应用于民族文化数字化保护,民族服饰的数字化及分类问题也日益受关注。相比一般服饰,少数民族服饰具有更多的细节特征信息,对其进行分类识别具有很大挑战。选用卷积神经网络DenseNet-BC作为基础网络结构,设计并使用了多尺度密集连接单元,用不同大小的卷积提取不同尺度的特征信息,以提高网络的学习能力;此外,为进一步提高网络的鲁棒性,提出一种局部和全局注意力机制方法进行分类识别。实验结果表明,改进的DenseNet-BC模型对少数民族服饰的识别准确率达95.18%,较ResNet-18、ResNet-34和DenseNet模型的识别准确率分别提升了3.84%、2.27%和1.18%。改进的DenseNet-BC模型具有更好的特征提取能力,能够提取更多的细节特征信息,一定程度上解决了普通模型提取特征尺度单一、特征丰富度低的问题。     

基于细粒度信息交互注意力的情绪分类方法

现有细粒度分析方法未能充分利用细粒度情绪信息来增强上下文与评价目标间的语义关联性,且对多词构成的评价目标仅平均化处理,损失了词间内容与关系信息,导致分类不精准。针对上述问题,本文提出了一种基于细粒度信息交互注意力（interactive attention with fine-grained information,FGIA）的情绪分类方法,通过采用更加细粒度的注意力机制来实现评价目标与上下文之间的充分交互,同时得到目标对上下文以及上下文对目标的交互注意力表示,进而辅助完成情绪分类。在本文构建的COVID-19网络舆情中文数据集上进行了实验验证,结果表明,FGIA能够有效地提升网络舆情数据情绪分类的准确性,相比于主流的分类方法,在各项评价指标上均取得了较高的提升。     

MFDC-Net：一种融合多尺度特征和注意力机制的乳腺癌病理图像分类算法

乳腺癌是全球最常见的恶性肿瘤之一,采用传统方法诊断需花费大量时间和精力,且受个人能力影响较大。用计算机辅助诊断的方法,可以提高病理图像分类的准确率和效率,从而满足临床应用的需求。为此,提出一种基于DenseNet的融合多尺度特征和注意力机制的乳腺癌病理图像分类算法（MFDC-Net）。在密集块中引入坐标注意力机制,精准定位重要特征的空间信息。采用多尺度池化过渡层,通过不同卷积核的平均池化和普通卷积,在实现降维的同时扩大感受野。采用多尺度特征增强模块,融合深层次图像特征,提高分类性能。结果显示,MFDC-Net模型的分类性能较其他经典模型更优,分类准确率达97.12%,易混淆率低至3.34%,能较好地进行乳腺癌组织病理图像分类,为诊断和治疗提供重要依据。     

融合图卷积神经网络和注意力机制的PM2.5小时浓度多步预测

PM_2.5小时浓度多为单步预测。为实现PM_2.5小时浓度的多步预测,基于“编码器-解码器”的序列-序列预测（Seq2Seq）模型,集合图卷积神经网络提取非欧式空间数据特征的能力以及注意力机制自适应关注特征的能力,提出了融合图卷积神经网络和注意力机制的PM_2.5小时浓度多步预测（GCN_Attention_Seq2Seq）模型。并与Seq2Seq模型和使用了图卷积神经网络、未使用注意力机制的GCN_Seq2Seq模型进行了对照,以2015—2016年北京市22个空气质量监测站点的空气质量数据为样本进行实例验证,结果表明,Seq2Seq模型和图卷积神经网络（GCN）可对PM_2.5小时浓度数据的时空依赖进行有效建模,注意力机制有助于减缓多步预测中的预测精度衰减,提升PM_2.5小时浓度多步预测的精度。GCN_Attention_Seq2Seq模型可有效应用于多种长度的PM_2.5浓度预测窗口。     

意识的物理学原理和记忆的生物学机制

意识与记忆是大脑中2个独立的功能组织,肌体将外部获得的信息以电信号方式传入脑内对应的神经核,神经核通过同步振荡将电信号转换成电波信号。意识当下就是以脑干网状结构为核心、以运动神经为辅助,在一个单位活动时间内,所有感知神经接收到对应电波信息后形成的综合反应—–当下的意识状态。这种感受状态的电波信息同时也被大脑皮层的记忆神经元捕获,形成记忆储存。记忆是以神经元树突树棘增生的方式储存,增生变形有违神经元保持稳定的生物学规则而开始恢复原状活动,记忆神经元活动产生的记忆电波成为皮层向外发送信息的信号源。意识与记忆两者互为推动,致使生命衍化出丰富多彩的行为方式和精神世界。     

基于BP网络分类器的交通标志识别

针对中国全部3大类116个交通标志,即禁令标志、指示标志、警告标志,用BP网络实现分类功能.实验中使用了3种测试集,即加高斯噪声、水平扭曲和日本交通标志实景图,对BP网络的分类性能进行了测试.实验结果表明:用BP网络实现交通标志粗分类功能的效果是比较理想的,对交通标志的颜色失真和形状失真均具有较好的容错性和鲁棒性.     

基于图注意力网络的三维网格分割算法

针对三维网格模型分割质量提升问题,提出了感知几何的图注意力网络。首先,定义了感知几何的图注意力系数,利用节点之间的边特征扩展由网络学习得到的注意力系数,引入与节点局部几何信息相关的注意力系数,更好地反映节点之间的相似性。然后,通过调整网络架构,将三维网格模型的几何特征与标签信息共同作为图注意力网络的输入,使标签信息参与网络训练和验证,并通过残差形式的线性连接实现网络的更稳定输出。大量实验结果表明,本文算法能够获得精确的分割边界,其在PSB数据集上的分割准确率较现有经典算法提升约2个百分点,也取得了更好的兰德指数。同时,通过消融实验验证了算法的合理性。     

基于图文双向引导注意力的新闻图集描述生成方法

在传统的图像描述生成任务中,已有方法对图像的描述仅仅停留在浅层,并缺乏真实世界知识的指导,难以挖掘出对象在特定背景下的逻辑语义关系。新闻文本的引入为图像描述带来了新的可能,同时对模型的学习能力有了更高要求;此外,新闻图集中往往存在多幅图像,且相互之间联系紧密,导致现有单图描述生成方法不适用于新闻图集描述生成。针对上述问题,本文提出了一种基于图文双向引导注意力(image and text bidirectional guidance attention,ITBGA)的新闻图集描述方法,以图集作为研究对象,并辅以对应的新闻文本作为背景知识,基于ITBGA分别实现粗、细两个粒度的跨模态信息交互,并通过指针网络辅助命名实体词生成。在本文构建的新闻图集数据集上进行了实验验证,结果表明ITBGA能有效提升描述文本的质量,在关键的CIDEr指标上达到了最优。     

基于BERT-LSTM的答案选择模型

目前主流答案选择算法主要首先基于word2vec/glove进行词语表示,再使用RNN或CNN提取文本语义特征,但word2vec/glove无法解决一词多义问题,RNN和CNN在文本全局特征提取方面也有局限。针对以上不足,论文提出一种基于BERT预训练模型的答案选择算法BERT-LSTM,首先采用BERT模型提取问答文本的语义特征表示,再利用BiLSTM加强文本序列信息并整合文本语义,最后引入注意力机制突出重点信息,以此完成答案选择任务。在答案选择基准数据集InsuranceQA和WiKiQA上的测试验证了所提出算法的有效性。     

基于RFID和指静脉识别的化学药品智能管理柜设计

为保障实验室中存放的药品安全, 提出一种基于射频识别(RFID)和指静脉识别的化学药品智能管理柜. 智能柜采用RFID、指静脉识别等物联网技术, 通过用户身份认证, 化学药品的自动识别、记录以及存储空间的智能控制, 实现实验室化学药品的高效安全管理. 样机实际测试结果表明, 系统可以较好地通过指静脉识别对使用者的身份进行认证, 也能够通过RFID快速识别化学药品; 系统智能化程度高, 各项功能完备, 可显著提高实验室化学药品管理能力.     

基于CNN-SVM的地下目标形状识别

针对传统地下目标识别算法中特征提取方法的缺陷,鉴于深度学习中的卷积神经网络（CNN）能自动从数据中提取特征,但CNN自带的分类器不能很好的解决非线性分类问题,由于SVM具有良好的泛化分类能力,为此提出基于CNN-SVM的地下目标形状识别方法。本文首先在地表面光滑场景下,利用该方法对地下圆形和矩形目标识别,然后加大场景难度,在地表面粗糙场景下进行地下目标形状识别。实验结果表明,相比传统人工设计的特征分类方法,该算法利用CNN自动提取的特征联合SVM提高了CNN的分类准确率,并且在两种场景下都具有更高的地下目标识别精度。     

基于模糊识别的三维模型检索

提出了基于2D图像模糊识别的3D模型检索的方法。该方法根据人识别习惯模式,从6个方向采集3D模型的2D图像。考虑到人眼对色差的敏感的特点,采用适当的均匀色空间,建立各2D图像的纹理特征。然后对这些纹理特征采用模糊C-均值算法建立模糊集,这些模糊集用于模拟人对图像模糊认识,模糊集对图像变形具有鲁棒性,故提高了提取特征的稳定性和灵活性,同时改善了检索效果与人识别效果的一致性。     

基于规则的维吾尔语对偶词识别算法研究

维吾尔语对偶词的自动识别是维吾尔语自然语言处理中的一项基础性工作．维吾尔语对偶词的自动识别是维吾尔语自动分词的难点之一,也是一个重点．在维吾尔语中,内部成分平等连接而形成的词汇单位叫做对偶词．本文首先介绍了对偶词的基本概念和特征,然后分析了维吾尔语对偶词的结构特征和结合规则．在字符串匹配算法的基础上,提出了一种基于规则的维吾尔语对偶词的识别算法,并通过试验证明了该算法的正确性．