基于时空图像融合与多任务分类网络的步态识别研究

通过研究一种基于多尺度卷积神经网络和人体姿态估计模型相结合的多任务步态识别方法,对神经网络识别结果做出一定的解释说明,同时提高其在面对协变量改变场景下的识别效果。该方法将卷积神经网络提取的步态空间特征和人体姿态估计模型得到人体关节时序特征融合,进行身份的识别。使用步态数据集CASIA-B中的正常行走序列和合成行走序列数据以及TUM-GAID步态数据集进行实验。结果表明,该方法在TUM-GAID步态数据集实验中,三种场景T₁、T₂和T₃下的识别率分别达到95.2%、72.4%和84.5%。在CASIA-B步态数据集实验中,对于正常行走序列以及两种合成行走序列,该方法在识别精度上均有较好的表现,体现该模型有较强的鲁棒性。     

基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组.基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合.通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制...     

基于图像局部区域梯度特征描述的红外人体识别算法

提出了一种新的红外图像中人体目标识别方案并进行了算法实现。通过直方图聚类分析对红外图像进行分割,根据二值化图像团块的特点,确定图像中的候选目标图像区域。将候选目标图像按比例划分为多个区域,使用梯度位置朝向直方图(GLOH,Gradient location-orientation histogram)对候选目标图像进行描述。与其它红外图像中人体识别算法相比,不需要多种特征提取算法组合进行分步骤识别,仅使用单个SVM分类器即可达到满意的识别率,避免了分类器的级联,算法简单有效。     

基于注意力机制与图卷积神经网络的单目红外图像深度估计

对场景中的物体进行深度估计是无人驾驶领域中的关键问题,红外图像有利于在光线不佳的情况下解决深度估计问题.针对红外图像纹理不清晰与边缘信息不丰富的特点,提出了将注意力机制与图卷积神经网络相结合来解决单目红外图像深度估计问题.首先,在深度估计问题中,图像中每个像素点的深度信息不仅与其周围像素点的深度信息相关,还需考虑更大范...     

一种基于深度摄像机的3D人体步态建模和识别方法

步态识别在反恐、安防、智能监控和现实挖掘等领域具有广泛的应用前景,但现有的二维步态分析方法在面对视角变化、物体携带等复杂应用场景时受到限制。对此,探讨一种以人体点云数据为基础的三维参数化步态建模和识别方法。运用深度摄像机获取人体点云数据,对标准的参数化人体模型进行形体和姿态变形;通过观测步态点云轮廓与标准三维参数人体轮廓之间的距离度量函数,运用改进鲍威尔法进行极小值求解,实现人体点云数据到三维参数化步态模型的估计;以估计的三维人体姿态和形体语义参数作为结构化步态数据,通过具有时序结构的长短时序记忆模型来提取步态时空特征,借助SoftMax分类器进行训练,实现人体步态识别。实验结果表明,基于三维的人体步态识别方法在处理视角可变的步态识别问题上有很好的效果和应用前景。     

红外图像的疲劳状态识别方法

目的：为了解决光照变化对疲劳检测系统造成的准确性不高的问题,提出了一种近红外环境下判断人眼状态的方法,即针对红外光补图像的人眼状态判断。方法：首先,利用Adaboost算法对人眼区域进行定位,在网格法标记人眼瞳孔部分的基础上,进行Retinex红外图像增强。接着,对二值化与边缘检测后的红外图像分别进行网格法闭合度计算,得到人眼闭合度。最后,根据闭合度计算结果设定双阈值并结合PERCLOS来判断眼睛状态。结果：在DM642硬件平台上进行疲劳检测试验,实验结果表明,人眼状态识别率达到了90%以上,且平均每秒能处理21帧图片。结论：证明了该方法不仅能有效解决光照变化带来的问题,而且满足疲劳状态检测系统的快速性、可靠性和有效性等要求。     

基于DSA-BCNN的毫米波图像隐藏物检测

自动检测毫米波图像中被检人员是否携带隐藏物,是实现智能毫米波安检系统的重要技术之一.针对隐藏物在毫米波图像中的特征局部性和低辨识性问题,提出一种动态自注意力的双线性卷积神经网络,能够仅以图像级标签训练,实现图像中隐藏物的存在检测.引入自注意力机制以引导网络对隐藏物区域进行特征提取,增强网络刻画全局信息的能力;双线性池化...     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

基于桥接Transformer的小样本优化鸟声识别网络

针对实际鸟类监测环境中,收集鸟声声频数据分布不均匀,导致神经网络训练不充分,分类识别测试准确率低的问题,设计了一种桥接Transformer神经网络模型。该网络首先利用原始鸟声声频信号生成短时傅里叶变换语谱图作为输入特征,之后将语谱图输入到由注意力模块和卷积模块桥接组成的Transformer网络中,完成对语谱图中全局特征和局部特征的信息交互,最后利用单层Transformer编码器实现对每一个批次样本的损失优化,得到最终的分类结果。在Birdsdata和xeno-canto鸟声数据集上进行小样本实验,分别获得了91.34%和82.63%的平均准确率,与其他鸟声识别网络进行了对比实验,验证了该网络的有效性。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型.首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提...     

改进GSO与二维OTSU融合的红外图像多阈值分割方法

针对二维最大累间方差（Nobuyuki OTSU,OTSU）图像分割算法在电气设备故障诊断与定位中,其红外图像的多阈值分割中存在的耗时多、分割精度低、误分割等不足,造成故障区域欠分割或者过分割的问题,提出一种改进的萤火虫算法（glowworm swarm optimization,GSO）与二维OTSU的融合算法来提高电气设备红外图像多阈值分割的实时性与准确度。寻优过程中,将局部寻优扩展到全局寻优,并引入非线性递减步长及新的移动策略对GSO进行优化改进。实验结果表明:该融合算法在分割结果上较二维OTSU及未改进GSO与二维OTSU融合算法更能准确分割运行电气设备图像异常区域,分割速度分别提高19倍、1.28倍,为红外图像早期故障的有效识别与定位奠定基础。     

基于目标识别的红外与微光图像融合方法

 为了在融合图像中突出运动目标,提出了一种基于动态目标检测和识别的图像融合算法。先对红外图像序列中的运动目标进行检测和提取,同时对红外和微光图像进行融合,最后将提取到的红外目标与融合图像进行二次融合。试验结果表明,该算法获得的融合图像不仅具有普通融合算法信息丰富的特点,还具有鲜明的红外目标指示特性。     

基于改进Faster RCNN的零件识别方法研究北大核心CSCD

针对传统机器视觉检测识别方法受到装配零件之间相互遮挡、零件不同位姿、外部光照强度、小目标漏检影响,检测准确率不高的问题,提出了一种改进的Faster RCNN(region-based convolutional neural networks)零件识别方法。首先使用提取特征更好的ResNet101网络代替原始Faster RCNN模型中的VGG16特征提取网络;其次针对原始候选区域网络,增加2个新的锚点并重新设置候选框的纵横比,以得到15种尺寸不同的锚点;然后针对传统非极大值抑制(non-maximum suppression,NMS)方法因删除交并比大于阈值的候选框而出现漏检问题,使用Soft-NMS方法替换传统的NMS方法,从而减少密集区域漏检的情况;最后在训练模型阶段采用多尺度训练策略,降低漏检率,提高模型准确率。对零件的识别实验结果表明:改进后的Faster RCNN模型能够达到96.1%的精度,较原始模型提升了4.6%,可以满足光照较强、存在水渍干扰等较为复杂环境中零件的识别检测。     

Validation method of infrared imaging simulation based on recognition range北大核心CSCD

随着红外成像技术的发展和应用,红外系统成像仿真及验证技术越来越受到重视。现有仿真模型验证方法没有考虑到人眼视觉的影响,可能导致严重后果,为了解决这一问题,提出了基于识别距离的红外系统成像仿真模型验证方法。以识别距离作为红外系统成像仿真模型的准确度评价因子,考评仿真图像与实测图像在灰度分布、信噪比、分辨率、成像大小、人眼视觉等方面的综合差异。     

一种改进的DNN-HMM的语音识别方法*

针对深度神经网络与隐马尔可夫模型(DNN-HMM)结合的声学模型在语音识别过程中建模能力有限等问题,提出了一种改进的DNN-HMM模型语音识别算法。首先根据深度置信网络(DBN)结合深度玻尔兹曼机(DBM),建立深度神经网络声学模型,然后提取梅尔频率倒谱系数(MFCC)和对数域的Mel滤波器组系数(Fbank)作为声学特征参数,通过TIMIT语音数据集进行实验。实验结果表明:结合了DBM的DNN-HMM模型相比DNN-HMM模型更具优势,其中,使用MFCC声学特征在词错误率与句错误率方面分别下降了1.26%和0.20%。此外,使用默认滤波器组的Fbank特征在词错误率与句错误率方面分别下降了0.48%和0.82%,并且适量增加滤波器组可以降低错误率。总之,研究取得句错误率与词错误率分别降低到21.06%和3.12%的好成绩。     

An improved fusion algorithm for infrared and visible images based on multi-scale transform

In this paper, an improved fusion algorithm for infrared and visible images based on multi-scale transform is proposed. First of all, Morphology-Hat transform is used for an infrared image and a visible image separately. Then two images were decomposed into high-frequency and low-frequency images by contourlet transform (CT). The fusion strategy of high-frequency images is based on mean gradient and the fusion strategy of low-frequency images is based on Principal Component Analysis (PCA). Finally, the final fused image is obtained by using the inverse contourlet transform (ICT). The experiments and results demonstrate that the proposed method can significantly improve image fusion performance, accomplish notable target information and high contrast and preserve rich details information at the same time.     

一种基于Mumford-Shah模型的红外图像边缘检测方法

Chan-Vese模型是一种优秀的简化Mumford-Shah模型。然而Chan-Vese模型是以两个同质区域为基础建立的,这并不符合红外图像的特点,导致直接应用该模型处理红外图像时可能失败。针对这一问题,提出了一种适用于红外图像边缘检测的改进Mumford-Shah模型,并对该模型中目标边缘的保持、停止准则的建立及算法速度的提高作了详细讨论。实验表明,改进Mumford-Shah模型能够克服Chan-Vese模型在对红外图像边缘检测时不能跨越过渡区域的缺点,有效地检测出目标边缘。     

一种基于Mumford-Shah模型的红外图像边缘检测方法

 Chan-Vese模型是一种优秀的简化Mumford-Shah模型。然而Chan-Vese模型是以两个同质区域为基础建立的,这并不符合红外图像的特点,导致直接应用该模型处理红外图像时可能失败。针对这一问题,提出了一种适用于红外图像边缘检测的改进Mumford-Shah模型,并对该模型中目标边缘的保持、停止准则的建立及算法速度的提高作了详细讨论。实验表明,改进Mumford-Shah模型能够克服Chan-Vese模型在对红外图像边缘检测时不能跨越过渡区域的缺点,有效地检测出目标边缘。