面向嵌入式平台的轻量化神经网络手势识别方法

针对传统基于图像分割和特征提取的手势识别算法在复杂背景下识别准确率低、灵活性差的问题,基于目标检测神经网络的手势识别算法可以有效提高复杂环境下手势识别的准确性。受嵌入式处理器体积和功耗的限制,常用的目标检测神经网络在嵌入式上的识别速度较低,不能满足实时手势识别的要求。在SSD目标检测的基础上对其进行优化,使用MobileNetv3网络实现特征提取,目标检测方面则是使用SSD-lite结构,其使用深度可分离卷积替代普通卷积,实现了轻量化MobileNetv3-SSDLite手势识别算法的设计。针对手势识别的要求,制作了包含不同手势的数据集,利用它在服务器上完成了模型的训练。为了满足嵌入式的算力限制,通过模型的量化压缩将float64的网络参数量化为int8,并压缩网络结构,提高网络在嵌入式上的推理速度,实现基于嵌入式的手势识别。实验结果表明,基于嵌入式的MobileNetv3-SSDLite手势识别算法可以达到平均准确率99.61%,且识别速度达到每秒50帧以上,满足实时手势识别的要求。     

基于长短期记忆网络与特征融合的微表情识别算法

为了提高视频识别领域中微表情识别的准确率,提出了一种基于长短期记忆网络与特征融合的微表情识别算法。提取微表情图像的颜色特征和纹理特征,将所提取的空间特征传入卷积神经网络进行融合。设计了学习时域相关性的长短期记忆网络结构,将融合的特征集传入长短期记忆网络学习微表情的时域特征,将长短期记忆网络接入分类器网络识别出微表情的类标签。在两个公开的微表情识别数据集上完成了验证实验,结果显示算法实现了较好的微表情识别性能,在SMIC数据集和CASMEⅡ数据集上的准确率分别达到64.7%和65.8%.     

基于改进SSD的交通大场景多目标检测

现有目标检测算法在复杂大场景下多目标检测的精度和实时性难以平衡,为此,受深度神经网络卷积核形态启发,模仿了人眼视觉机理,改进了基于深度学习的目标检测框架,即单向多框检测器(SSD),提出了多目标检测框架——自适应感知SSD,将其专用于复杂大交通场景多目标检测。设计了由多形态、彩色Gabor构成的特征卷积核库,训练筛选最优特征提取卷积核组替换原有网络的低级卷积核组,从而提高检测精度;将单图像检测框架与卷积长短期记忆网络结合,通过瓶颈-长短期记忆层提炼传播帧间的特征映射,实现网络帧级信息的时序关联,降低计算成本,从而实现对视频中受强干扰影响目标的追踪识别;同时加入自适应阈值策略,降低漏警率和虚警率。实验结果表明,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了9%～16%,平均准确率均值提高了14%～21%,多目标检测率提高了21%～36%,检测帧率达到32frame·s-1,实现了算法精度与实时性的平衡,取得较好的检测识别效果。     

基于STA-CRNN模型的语声情感识别*

语声情感识别对人机交互和情感计算研究领域具有重要作用,各类研究方法层出不穷。近期研究学者应用卷积神经网络和长短期记忆网络方法提取对数Mel谱图空间特征和时间特征,取得了一定的成果。然而不论是卷积神经网络还是长短期记忆网络提取特征时,都会产生特征冗余,导致语声情感识别效果下降。针对这一问题,该文提出了一种基于时空注意力机制的卷积-递归神经网络模型,采用对数Mel谱图和其一阶差分、二阶差分作为特征输入,在使用卷积神经网络提取空间特征和长短期记忆网络提取时间特征时,加入空间注意力和时间注意力机制,从而使上述网络能够更好地提取到对数Mel谱图中有效表征情感的空间特征和时间特征。该模型在Emo-DB和IEMOCAP语声数据集上的加权准确率分别达到86.8%、69.4%,未加权准确率分别达到84.7%、65.5%,优于当前大多数先进方法。     

基于双通道神经网络的图像脉冲噪声降噪

脉冲噪声是成像过程中的一个主要噪声源,传统的滤波器难以有效消除高密度的脉冲噪声。针对这一问题,提出了一种基于非对称并行神经网络的图像脉冲噪声降噪算法。算法利用隐写分析丰富模型提取图像的噪声卷积特征图;将原图像特征图与噪声卷积特征图分别送入两个相同的卷积神经网络进行处理;结合l_1损失与l_2损失作为神经网络的总代价函数,同时利用了l_1损失的高视觉效果与l_2损失的强收敛性。实验结果表明:提出的降噪算法在各密度下的降噪性能均优于基于滤波器的降噪算法,对于高密度脉冲噪声也具有明显优势。     

基于时空双流卷积神经网络的红外行为识别

针对红外视频人体行为识别问题,提出了一种基于时空双流卷积神经网络的红外人体行为识别方法。通过将整个红外视频进行平均分段,然后将每一段视频中随机抽取的红外图像和对应的光流图像输入空间卷积神经网络,空间卷积神经网络通过融合光流信息可以有效地学习到红外图像中真正发生运动的空间信息,再将每一小段的识别结果进行融合得到空间网络结果。同时将每一段视频中随机抽取的光流图像序列输入时间卷积神经网络,融合每一小段的结果后得到时间网络结果。最后再将空间网络结果和时间网络结果进行加权求和,从而得到最终的视频分类结果。实验中,采用此方法对包含23种红外行为动作类别的红外视频数据集上的动作进行识别,正确识别率为92.0%。结果表明,该算法可以有效地对红外视频行为进行准确识别。     

基于注意力和强化学习的遥感图像描述方法

针对当前遥感目标检测方法只能识别出遥感目标的类别及位置,无法生成与遥感图像内容相关文本描述的问题,提出了一种基于注意力和强化学习的遥感图像描述方法.首先,采用卷积神经网络构建编码器,提取遥感图像的特征.其次,利用长短期记忆网络搭建解码器,学习图像特征与文本语义特征间的映射关系.然后,引入注意力机制,增强模型对显著性特征的关注,减少无关背景特征的干扰.最后,采用强化学习策略,根据离散且不可微的评价指标直接对模型进行优化,消除暴露偏差及优化方向不一致的缺陷.在公开遥感图像描述数据集中的实验结果表明,本方法的检测精度较高,对密集小目标、雾气积聚、背景特征与目标特征相似等复杂环境下的遥感图像具有良好的描述性能.     

基于稀疏编码和卷积神经网络的地貌图像分类

提出了一种基于稀疏编码和卷积神经网络的地貌场景图像分类算法;利用非下采样Contourlet变换对训练样本进行多尺度分解;在训练样本中选择图像,利用稀疏编码学习局部特征,对特征向量进行排序;选择灰度平均梯度较大的特征向量对卷积神经网络卷积核进行初始化。结果表明:所提算法可以获得比传统底层视觉特征更好的分类结果,有效避免了网络训练陷入局部最优的问题,提高了自然场景下无人机着陆地貌的分类准确率。     

用于弹载线阵激光雷达的卷积神经网络目标识别

为了提高末敏弹在复杂背景条件下对装甲目标的识别能力,将线阵激光雷达作为探测器,结合卷积神经网络对线阵激光雷达距离像进行目标分类与识别.利用末敏弹边旋转边下降的运动特点,实现对扫描区域的距离成像,并通过采样率控制及插值等算法将原始距离像构造成适用于卷积神经网络的灰度像.针对弹载高实时性、小体积和低功耗的要求,建立了由两层卷积层和一层全链接层构成的浅层卷积网络,选用Xilinx ZYNQSoC芯片作为硬件平台,通过基于HLS技术和SDSoC开发环境将卷积操作放在端进行硬件并行加速.缩比模拟试验结果验证了该方法具有较高的目标识别精度,对复杂背景下的装甲目标也能有效识别.ZYNQSoC的PL硬件相较于普通CPU方案,加速性能提升了5倍,能够满足弹载的要求.     

基于改进卷积神经网络算法的语音识别

为了解决传统卷积神经网络识别连续语音数据时识别性能较差的问题,提出一种改进的卷积神经网络算法。该方法引入Fisher准则以及L2正则化约束,在反向传播调整参数阶段,既保证参数误差的最小化,又确保分类以后的样本类间分布较分散,类内分布较集中,同时保证网络权值具有合适的数量级以有效缓解过拟合问题;采用一种更符合生物神经元激活特性的新型log激活函数进行卷积神经网络的优化,进一步提高语音识别的正确率。在语音识别库TIMIT以及THCHS30上的实验结果表明,相较于传统卷积神经网络算法,本文提出的改进算法能较好的提高语音识别率,且泛化能力更强。     

基于卷积神经网络的红外与可见光户外图像融合

针对户外环境下红外与可见光图像融合效果不足的问题,提出一种基于卷积神经网络的红外与可见光户外图像融合方法。该方法先利用滚动引导滤波器对输入的红外图像进行预处理,过滤噪声并消除无用信息。然后,利用Curvelet变换将红外图像与可见光图像分解成高频系数与低频系数,利用基于卷积神经网络的深度特征融合规则融合高频系数,采用最小融合规则融合低频系数。实验结果表明,该方法的融合图像在主观视觉与客观定量两方面均获得了较好的结果。     

多局部残差连接注意网络的图像去模糊

针对现有的基于卷积神经网络的图像去模糊算法存在图像纹理细节恢复不清晰的问题,提出了一种基于多局部残差连接注意网络的图像去模糊算法。首先,采用一个卷积层进行浅层特征提取;其次,设计了一种新的基于残差连接和并行注意机制的多局部残差连接注意模块,用于消除图像模糊并提取上下文信息;再次,采用一个基于扩张卷积的成对连接模块进行细节恢复;最后,利用一个卷积层重建清晰图像。实验结果表明：在GoPro数据集上的PSNR (peak signal to noise ratio)和SSIM (structure similarity)分别为31.83 dB、0.927 5,在定性和定量两方面都表明所提方法能够有效地恢复模糊图像的纹理细节,网络性能优于对比方法。     

宽带电磁图像卷积神经网络盲恢复方法研究

在利用抛物反射面对电磁干扰源成像过程中,由于系统衍射受限及成像频带较宽,导致干扰源成像模糊,分辨率低,难以分辨,不同频率不同区域干扰源所成图像分辨率不同,采用已有超分辨算法难以提高分辨率。为了实现宽带电磁图像的盲复原, 应用卷积神经网络的方法。网络训练是直接输入模糊图像,不假设任何特定的模糊和噪声模型情况下,重建出高质量图像。实验和仿真结果证明了卷积神经网络盲恢复方法在宽频带不同成像区域下表现了优于其他盲恢复算法的优势。     

深度卷积神经网络在辐射环境下核废料检测中的应用

针对辐射环境下核废料检测准确率低的问题,提出一种基于深度卷积神经网络的辐射环境下核废料检测算法Dense-Dilated-YOLO V3。实验结果表明,Dense-Dilated-YOLO V3在不增加参数的情况下扩大了网络感受野,也有效避免图像信息的损失,同时能够在核辐射环境下提取到更多的目标细节特征,对辐射环境下目标检测的准确率可达93.29%,比原算法提高5.53%,召回率可达91.73%,提高了8.28%,有效解决了复杂辐射环境下核废料检测准确率低的问题,为辐射环境下核废料检测提供了新的途径。     

基于YCbCr颜色空间背景建模与手势阴影消除

为了提高动态手势检测的精确度,本文将基于YCbCr颜色空间的混合高斯背景建模应用于动态手势识别中,并且提出手势阴影消除的有效算法。首先,对待检测视频帧通过抠图抠出手势图像,在YCb'Cr'颜色空间进行椭圆拟合,统计建立椭圆肤色模型,继而在YCbCr颜色空间进行混合高斯背景建模检测出动态手势,点乘原图像得到含有阴影的RGB手势图像,对检测出的含有阴影的手势图像利用已建立的椭圆肤色模型进行阴影消除,最后将手势图像连成视频序列。实验结果表明,该算法在复杂背景下进行动态手势的检测率可达91.4%,高出传统方法10%左右,能够满足动态手势检测基本要求,且具有较高的实用价值。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型。首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提取结构,实现了多尺度特征的融合;最后,利用注意力机制使网络关注重要的空谱特征,并抑制噪声和冗余信息。在两个常用数据集上对本文算法和四种基于深度学习的分类算法进行对比实验,结果表明,所提模型取得了最准确的分类结果,有效提高了训练样本有限条件下的分类精度。     

改进的基于卷积神经网络的图像超分辨率算法

针对现有的基于卷积神经网络的图像超分辨率算法参数较多、计算量较大、训练时间较长、图像纹理模糊等问题,结合现有的图像分类网络模型和视觉识别算法对其提出了改进。在原有的三层卷积神经网络中,调整卷积核大小,减少参数;加入池化层,降低维度,减少计算复杂度;提高学习率和输入子块的尺寸,减少训练消耗的时间;扩大图像训练库,使训练库提供的特征更加广泛和全面。实验结果表明,改进算法生成的网络模型取得了更佳的超分辨率结果,主观视觉效果和客观评价指标明显改善,图像清晰度和边缘锐度明显提高。     

复合深度神经网络在直升机声目标识别中的研究

针对直升机探测中目标运动过程连续识别的鲁棒性问题,提出了一种基于复合深度神经网络的直升机声学特征提取和识别框架。复合深度神经网络由卷积神经网络和长短时记忆神经网络以并行结构组合,进行直升机声学特征的优化,完成直升机类型识别。针对直升机声信号特性,对卷积神经网络进行了改进,使得该复合深度神经网络在信号短时谱基础上优化声信号特征表征并提取前后帧之间的相关信息,弥补通常声目标识别方法不能充分利用目标信号时间历程信息的缺陷。真实外场实验数据测试结果显示:相较于传统识别方法,该算法显著提升了直升机进入有效探测范围后连续识别的鲁棒性和目标识别正确率。     

基于深层残差网络的加速图像超分辨率重建

针对目前卷积神经网络的超分辨率算法存在卷积层数少、模型简单、计算量大、收敛速度慢以及图像纹理模糊等问题,提出了一种基于深层残差网络的加速图像超分辨率重建方法,该方法在提高图像分辨率的同时加快收敛速度。设计更深的卷积神经网络模型来提高精确度,通过残差学习并且使用Adam优化方法使网络模型加速收敛。在原始低分辨率图像上直接进行特征映射,只在网络的末端引入子像素卷积层,将像素进行重新排列,得到高分辨率图像。实验结果表明,在set 5,set 14,BSD100测试集上,所提算法的峰值信噪比与结构相似性指数均高于现有的几种算法,能够恢复更多的图像细节,图像边缘也更加完整且收敛速度更快。     

结合卷积神经网络的浅海有源探测信道匹配

信道匹配方法在有源探测领域是一种重要的提升检测信噪比的方法。针对非确知海底参数环境下的有源探测信道匹配问题,提出一种结合卷积神经网络进行信道匹配的算法。该算法基于海底参数扰动开展声场仿真生成卷积网络训练数据;首先通过分类网络将信号按照海底底质类型分类,在每个分类区间内采用单独的卷积网络反演海底参数;然后结合声场模型估计信道传递函数,进行信道匹配,从而在非确知环境下抑制多途影响,提升回波检测能力。仿真与实验结果表明,该算法能够在不确知海底环境条件下,有效估计信道传递函数,实现信道最优化匹配,在实验条件下可提高回波检测信噪比4 dB左右。相比传统方法,该算法可以在海底参数不确知条件下对低接收信噪比的信号实现信道匹配,同时不需要高信噪比的实验参考信号,有效提高了信道匹配方法的环境宽容性。