基于注意力卷积神经网络的动态手势识别研究北大核心CSCD

针对复杂环境下动态手势识别准确率低的问题,提出了一种基于长短期记忆网络和卷积神经网络的动态手势识别算法。采用长短期记忆网络学习每个滤波器的权重,预测人体外形相关的滤波器组;采用卷积神经网络提取目标手势的轨迹图,创建彩色的轨迹图像;将轨迹图像送入注意力卷积神经网络训练,利用神经网络识别出复杂环境下的手势。实验结果表明,该算法能够准确地检测与跟踪手势的动态变化,并且实现了较好的手势识别准确性。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型.首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提...     

基于可见光谱和支持向量机的黄瓜叶部病害识别方法研究

以黄瓜叶部病害作为研究对象,基于可见光谱反射率差异识别黄瓜叶部病害,研究基于SVM的黄瓜叶部病害识别预测模型。采用小波变换进行数据预处理;选取Otsu、边缘分割法和K均值聚类三类分割方法进行病斑分割,比较错分率和运行时间,K均值聚类方法更适合黄瓜叶部病斑分割;提取纹理、颜色和形状特征参数,共15个特征参数;通过交叉验证选择最优参数c和g,对核函数参数进行优化处理,并通过比较线性核、多项式核、RBF核等不同核函数情况下SVM的正确识别率,确定RBF核SVM模式识别方法能够更精准地识别黄瓜叶部病害。并将基于SVM与另外两种常见的黄瓜叶部病害识别方法,BP神经网络和模糊聚类进行比较,结果表明,基于SVM的识别模型对霜霉病的正确识别率为95%,白粉病和褐斑病的正确识别率均为90%,平均诊断正确率为92%;该模式识别方法识别效果最佳,运行时间最短,为基于可见光谱的黄瓜病害识别模型提供参考。     

基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法

传统卷积神经网络模型在高光谱图像分类生成特征图的空间维度中存在大量的空间特征信息冗余,而且把高光谱图像单个像元上的光谱带数据看作是无序高维向量进行数据处理,并不符合光谱数据的特性,极大影响了模型的运行效率和分类性能.针对该问题,提出一种三维Octave卷积和双向循环神经网络注意力网络相结合的高光谱图像分类方法.首先,利...     

基于注意力和角度间隔损失的高光谱目标跟踪北大核心CSCD

随着计算机技术的发展,基于深度学习的目标跟踪方法已成为计算机视觉领域中重要的研究方向;但跟踪环境的复杂多变使得跟踪算法在背景干扰、颜色相近等问题上仍面临巨大挑战。相比于传统彩色图像,高光谱图像包含丰富的辐射、空间和光谱信息,能够有效提升目标跟踪的准确率。提出了将注意力机制(attention mechanism)和加性角度间隔损失(additive angular margin loss, AAML)相结合的方法来进行针对高光谱图像的目标跟踪。通过融合多域神经网络对不同波段组合进行特征提取,同时设计了融合的注意力机制模型,使得来自不同波段组合之间的相似特征进行整合和强化,在目标背景颜色相近的情况下,网络会更多地注意目标物体,使得跟踪结果更为准确。在此基础上为了使目标和背景的区分更具有判别性,网络使用加性角度间隔损失作为损失函数,在训练过程中可以有效减小同类样本的类内距离,增大正负类样本的类间距离,从而提高网络的准确性和稳定性。实验结果表明,本文方法可使两种跟踪精度评价指标精确率和成功率分别提升1.3%和0.3%,相较于其他方法更具优势。     

基于残差注意力网络的波前畸变复原方法

针对自由空间光通信中大气湍流造成涡旋光束相位畸变,导致通信系统性能下降的问题,提出一种基于残差注意力网络的自适应光学波前复原方法。为防止神经网络的退化现象,首先采用残差网络作为主干网络,并在此基础上构建多尺度残差混合注意力网络结构,用卷积操作将光强图像转换为特征图向后传播;其次通过不同尺度的卷积核来分布式提取特征,利用注意力机制提高网络对破损光斑特征的识别率,以增强网络表达光强图像特征的能力;最后设计结合现实评价指标的网络损失函数,从而得到符合实际波前像差的Zernike系数。在不同大气湍流强度条件下开展仿真,结果表明,残差注意力网络能快速准确地重构湍流相位,复原的残余像差的波峰波谷在0.05～0.3 rad之间,均方根在0.01～0.07 rad之间。     

基于注意力机制的多目标优化高光谱波段选择

神经网络的注意力机制可以从数据中提取关键信息,将这一特性运用在高光谱波段选择上有助于充分学习波段之间的相互依赖和非线性关系,提取更重要的波段。提出了一种基于注意力机制的多目标优化高光谱波段选择算法。首先,利用注意力模块和自编码器构建网络;然后,将一维光谱数据作为网络输入,采用两种损失函数并结合多目标优化方法对输入数据进行训练,使嵌入在网络中的注意力模块充分学习各波段之间的非线性关系,对信息量大和易于分类的波段赋予更大的权重,以实现波段选择;最后,利用支持向量机分类器和平均光谱散度验证波段子集的性能。实验结果表明:相比于其他算法,所提算法在Botswana与Indian Pines数据集上提取的波段子集的分类精度更高,信息量更大,由此证明了所提算法对高光谱波段选择的有效性。     

注意力机制融合前端网络中间层的语声情感识别

为了使机器能够更好地理解人的情感并改善人机交互体验,可对语声特征及分类网络进行融合以提升情感识别性能。本文从网络融合的角度,把基于梅尔倒谱系数和逆梅尔倒谱系数的二维卷积神经网络和基于散射卷积网络系数的长短期记忆网络作为前端网络,提取前端网络的中间层作为话语级的特征表示,利用压缩-激励(SE)通道注意力机制对前端网络的中间层的权重进行调整并融合,然后由深度神经网络后端分类器输出情感分类结果。在汉语情感数据集中进行五折交叉验证的对比实验,实验结果表明,基于SE通道注意力机制的网络融合方式可以有效地利用不同前端网络在语声情感识别任务中的优势,提高语声情感识别的准确率。     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

结合注意力和残差聚合的图像超分辨率算法

为解决残差块间的层级特征利用不充分导致生成的图像结构扭曲、视觉模糊等问题,提出结合注意力和残差聚合的图像超分辨率重建算法。网络通过浅层特征聚合模块获取多尺度的特征并输入到残差聚合网络,采用渐进式融合策略从局部和全局两方面对各个残差块的特征进行聚合,以达到充分利用残差块层级特征的目的。为进一步增强特征表示,利用双重注意力机制分别从空间和通道来关注特征之间的相互依赖性。实验结果表明,与SRCNN、FSRCNN等方法相比,算法重建的图像结构清晰且细节信息丰富。     

基于可见光谱和卷积神经网络的贝类识别方法

目前卷积神经网络（CNN）在物体种类识别方面取得突破性进展。贝类作为农业经济的重要组成部分,种类繁多,特点复杂,大多贝类存在着相似度高,各类样本分布不均衡情况,以致CNN对贝类分类的准确率偏低。针对这一情况,提出了基于可见光谱和CNN的贝类识别方法,旨在提取更有效的贝类特征,从而提高贝类分类的准确率。首先,提出了一种包含输出熵度量和正交性度量的滤波器信息度量与特征选择方法,重新初始化修剪掉的滤波器并使其正交,捕获网络激活空间中的不同方向,使神经网络模型学习到更多有用的贝类特征信息,提升模型分类准确率;其次,提出了一种包含正则化项和焦点损失项的贝类分类目标函数,通过控制各类别样本对总损失的共享权重,来减少易分类样本的权重,以使模型注意力向预测不准的样本倾斜,均衡样本分布和样本分类难度,进一步提高贝类分类的准确率。贝类图像数据集由74类贝类组成,共11 803张图像。获取原始数据集后,对数据集图像进行水平翻转、垂直翻转、随机旋转、在[0, 30°]范围内旋转、在[0, 20%]范围内缩放和移动等数据增强操作,将图像数量从11 803张增加到119 964张。整个图像数据集按8∶1∶1的比例随机分为训练集95 947张图片、验证集11 996张图片和测试集12 021张图片。在建立贝类图像数据集的基础上进行了实验验证,达到了93.38%的分类准确率,将基准网络（Resnest）的准确率提高了1.18%,相较网络SN_Net和MutualNet,准确率分别提升了4.34%和0.85% ,并且训练时长为22 320 s,将基准网络（Resnest）的训练时长缩短了960 s,训练时长分别比SN_Net和MutualNet短3 180和2 460 s。实验结果证明了该方法的有效性。     

基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组.基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合.通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制...     

Underwater Acoustic Target Recognition Based on Attention Residual Network

Underwater acoustic target recognition is very complex due to the lack of labeled data sets, the complexity of the marine environment, and the interference of background noise. In order to enhance it, we propose an attention-based residual network recognition method (AResnet). The method can be used to identify ship-radiated noise in different environments. Firstly, a residual network is used to extract the deep abstract features of three-dimensional fusion features, and then a channel attention module is used to enhance different channels. Finally, the features are classified by the joint supervision of cross-entropy and central loss functions. At the same time, for the recognition of ship-radiated noise in other environments, we use the pre-training network AResnet to extract the deep acoustic features and apply the network structure to underwater acoustic target recognition after fine-tuning. The two sets of ship radiation noise datasets are verified, the DeepShip dataset is trained and verified, and the average recognition accuracy is 99%. Then, the trained AResnet structure is fine-tuned and applied to the ShipsEar dataset. The average recognition accuracy is 98%, which is better than the comparison method.     

可见/近红外光谱图像在作物病害检测中的应用

农作物病害严重影响了我国正常的农业生产,现代农业迫切需要快速、准确、高效的作物病害诊断方法。首先简单介绍了常用病害检测技术,如：聚合酶链式反应技术、人工感官判定技术、统计学方法等,这些方法或是比较费时、或是只能用于产生明显病斑后的病害诊断,而光谱技术在植物病害的快速检测方面有一定的潜力,目前已有大量的研究成果。主要围绕可见/近红外光谱图像在病害检测的应用展开分析和讨论,讨论了该技术所涉及的仪器,并从细胞、植物组织、冠层及更大尺度层面分析了该技术在病害检测中的现况。目前大部分与植物病害有关的可见/近红外光谱研究都以植物叶片为对象,而在更小尺度（细胞至显微尺度）和更大尺度（冠层至航空/航天遥感方面）上的研究较少,特别是单细胞级别的病害研究,只在动物细胞领域展开,而且以荧光、拉曼、红外光谱为主。可见/近红外在以植物叶片为主要研究对象的器官尺度上有大量的成功应用,目前的研究已涉及了大部分的常见作物及其主要病害,包括真菌性、细菌性等各种病原引起的病害的检测。植物叶片尺度的研究主要从以下三个方面展开：(1）基于计算机图像处理和模式识别的病害信息自动快速判断;(2）基于化学计量学方法的高光谱或高光谱图像病害程度模型;(3）建立与作物病害有关的叶片某些理化参数的光谱模型,从而量化病害的程度。在植物叶片这一尺度相关研究的主要问题是：研究过于碎片化,往往只研究了某一种或少数几种病害,所建的模型只能用于特定实验条件,无法直接自动判断任意田间样本的染病种类与程度。在近地冠层尺度,植株的三维形态对光谱模型有较大的干扰,有文献表明以植株近地冠层2D图像作为病害检测数据,偏差较大,所建模型不稳定,基于卫星影像的病害模型较少。还讨论了常用光谱及光谱图像建模与分类方法。目前可见/近红外光谱在农作物病害方面有一定的应用潜力,但存在研究内容的不平衡、研究系统性不够、各学科合作研究不够深入等几大问题。最后提出可见/近红外光谱在病害检测领域中应更注重多学科的深入合作,并急需相关的仪器设备、方法模型方面的突破。     

基于热红外图像处理技术的农作物冠层识别方法研究

为解决农作物冠层热红外图像边缘灰度级分布不均且噪声较大,而传统图像分割方法难以实现其目标区域有效识别的难题,以苗期红小豆冠层热红外图像为研究对象,将模糊神经网络和仿射变换有机结合,提出了基于热红外图像处理技术的农作物冠层识别模型。首先利用五层线性归一化模糊神经网络的自适应特性,选取高斯隶属度函数,自动计算冠层可见光图像识别的推理规则,有效地分割了可见光图像中的冠层区域。通过分析3种分割指标和熵,定量评价可见光图像冠层分割质量。网络迭代38次时,误差精度为0.000 952,该算法平均有效识别率为96.13%,获取可见光冠层图像的像元信息熵值范围为2.454 4~5.198 7,与标准算法所得冠层图像的像元信息熵仅相差0.245 9。然后以取得可见光图像的冠层有效区域为参考图像,采用仿射变换算法,调整优选平移、旋转、缩放等图像变换因子,配准原始热红外图像,提出了基于仿射变换的冠层热红外图像识别方法。对于初始温度范围值在16.35~19.92 ℃的农作物热红外图像,计算选取旋转幅度为1.0和缩放因子为0.9时,作为异源图像的最优配准参数,获取目标图像的最大温差为3.17 ℃,相对于原图像的平均温度值由18.711 ℃下降至17.790 ℃,进而实现了基于热红外图像处理技术的农作物冠层识别。最后以熵的互信息作为监督指标,对农作物冠层热红外图像识别方法进行评价。提出的冠层热红外图像识别方法,所获取的目标图像与初始热红外图像的平均互信息为4.368 7,标准目标图像和初始热红外图像的平均互信息为3.981 8,二者仅相差0.486 9。同时,两种冠层热红外图像的平均温度差值为0.25 ℃,高效消除了原始热红外图像的背景噪声。结果表明本研究方法的有效性和实用性,能够为应用热红外图像反映农作物生理生态信息特征指标参数提供技术借鉴。     

基于可见-近红外光谱与稀疏表示的注水肉识别

为了能快速准确的识别原料肉与注水肉,提出了一种基于可见-近红外光谱和稀疏表示的无损的识别方法。通过向猪肉样本(包括猪皮、脂肪层和肌肉层)注水的方法建立注水肉模型,采集未注水的原料肉和6类不同注水量的注水肉的可见和近红外漫反射光谱数据。为了消除光谱数据中的冗余信息并提高分类效果,对光谱数据进行光调制和归一化等预处理并截取有效波段,根据是否注水以及注水量的多少对样本进行分类。用所有训练样本构成原子库(字典),通过ｌ1最小化将测试样本表示为这些原子的最稀疏的线性组合。计算测试样本与各类的投影误差,将最小投影误差对应的类作为测试样本的所属类别,并应用留一法进行交叉检验,比较了稀疏表示法与支持向量机的识别结果。实验结果表明,利用稀疏表示法对于原料肉与注水肉的识别准确率可达到90%以上,获得了较好的分类效果,优于支持向量机的识别结果。而对于不同注水量的注水肉识别准确率与注水量之差正相关。稀疏方法不需要进行传统模式识别模型的前期学习与特征提取,适用于高维、小样本量数据的处理,计算成本低,将其用于注水肉的光谱数据识别具有一定的创新性,并取得了较满意的结果,为原料肉和注水肉的无损识别提供了一种有效方法。     

基于可见-近红外光谱与稀疏表示的注水肉识别

为了能快速准确的识别原料肉与注水肉, 提出了一种基于可见-近红外光谱和稀疏表示的无损的识别方法。通过向猪肉样本(包括猪皮、脂肪层和肌肉层)注水的方法建立注水肉模型, 采集未注水的原料肉和6类不同注水量的注水肉的可见和近红外漫反射光谱数据。为了消除光谱数据中的冗余信息并提高分类效果, 对光谱数据进行光调制和归一化等预处理并截取有效波段, 根据是否注水以及注水量的多少对样本进行分类。用所有训练样本构成原子库(字典), 通过ｌ1最小化将测试样本表示为这些原子的最稀疏的线性组合。计算测试样本与各类的投影误差, 将最小投影误差对应的类作为测试样本的所属类别, 并应用留一法进行交叉检验, 比较了稀疏表示法与支持向量机的识别结果。实验结果表明, 利用稀疏表示法对于原料肉与注水肉的识别准确率可达到90%以上, 获得了较好的分类效果, 优于支持向量机的识别结果。而对于不同注水量的注水肉识别准确率与注水量之差正相关。稀疏方法不需要进行传统模式识别模型的前期学习与特征提取, 适用于高维、小样本量数据的处理, 计算成本低, 将其用于注水肉的光谱数据识别具有一定的创新性, 并取得了较满意的结果, 为原料肉和注水肉的无损识别提供了一种有效方法。     

基于量子模距离的量子态聚类识别

针对量子系统的状态识别，定义了一种量子模距离作为量子态之间的相似性度量，提出了一种基于量子模距离的聚类算法，它既适用于对量子叠加态的识别，也适合对量子纠缠态的识别。在算法中，根据待识别的样本量子态求取聚类中心，分别计算各量子态到聚类中心的量子模距离，根据量子模距离对量子态进行聚类识别。算例说明了这种聚类识别方法的合理性和有效性。     

基于特征级融合的多波段舰船目标识别方法

针对复杂情况下海上舰船目标单波段特征识别能力不足的问题,研究可见光、中波红外和长波红外三波段特征图像融合技术,重点解决图像融合方法中存在的算法耗时和融合策略选择的问题,提出了一种新的基于区域协方差矩阵的多波段特征级融合方法,针对可见光图像和红外图像分别设计11维和5维特征向量,协方差矩阵可以将多个特征进行融合,既保证了不同目标之间的区别性,同时又减小计算量。该方法首先利用显著性检测,快速定位图像中的目标区域,然后,针对不同波段图像设计的特征向量定义协方差阵的距离计算公式并进行匹配,通过对图像的一次遍历操作获得积分图像,在协方差计算时达到快速计算的目的,最后利用k-阶最近邻算法对多种舰船目标进行分类识别。利用实拍的3 400余张三波段舰船目标图像作为测试数据。实验主要分为两部分,首先对比单波段和三波段融合识别的识别率,验证所提出的融合方法具有更广的应用范围;然后,在计算效率上对比多种传统的像素级方法,验证采用的特征级融合在计算时间上的优势。实验结果表明,该方法可达到95.1%的识别率,单帧计算耗时约为0.5 s,在实时性和检测率方面都有明显提高。