面向嵌入式平台的轻量化神经网络手势识别方法

针对传统基于图像分割和特征提取的手势识别算法在复杂背景下识别准确率低、灵活性差的问题,基于目标检测神经网络的手势识别算法可以有效提高复杂环境下手势识别的准确性。受嵌入式处理器体积和功耗的限制,常用的目标检测神经网络在嵌入式上的识别速度较低,不能满足实时手势识别的要求。在SSD目标检测的基础上对其进行优化,使用MobileNetv3网络实现特征提取,目标检测方面则是使用SSD-lite结构,其使用深度可分离卷积替代普通卷积,实现了轻量化MobileNetv3-SSDLite手势识别算法的设计。针对手势识别的要求,制作了包含不同手势的数据集,利用它在服务器上完成了模型的训练。为了满足嵌入式的算力限制,通过模型的量化压缩将float64的网络参数量化为int8,并压缩网络结构,提高网络在嵌入式上的推理速度,实现基于嵌入式的手势识别。实验结果表明,基于嵌入式的MobileNetv3-SSDLite手势识别算法可以达到平均准确率99.61%,且识别速度达到每秒50帧以上,满足实时手势识别的要求。     

一种超轻量级指静脉纹络实时分割网络

现有的指静脉分割网络大多需要消耗极大内存和计算资源,难以直接部署到嵌入式平台上,大部分模型轻量化方法存在参数减小导致分割性能急剧下降、算力受限和实时性等问题.针对上述问题,本文提出了一种超轻量级指静脉纹络实时分割网络—SGUnet.首先,使用沙漏状的深度可分离卷积极大地减少基础模型参数,并采用轻量级高效注意力模块实现无...     

基于深度可分离卷积的轻量化残差网络高光谱影像分类

针对传统深度残差网络在对高光谱图像进行特征提取和分类过程中因参数量大导致的训练时间长的问题,提出一种基于深度可分离卷积的轻量化残差网络模型（DSC-Res14）。该模型首先基于一层三维卷积层对经主成分分析方法降维后的高光谱影像进行光谱特征和空间特征初提取;其次,引入3个不同尺度的三维深度可分离卷积残差层对影像的深层语义特征进行提取,减少了网络训练参数量,增强了网络对高维、多尺度空间特征信息的表达能力。经在公开的Indian Pines和Pavia University标准数据集上进行实验验证,结果表明：所提模型在两个数据集上的分类精度分别为99.46%和99.65%;对比同类模型,所提模型在保证较高分类精度的同时,参数量和计算量小,训练时间短,并具有良好的鲁棒性。     

可见光谱图与深度神经网络的垩白大米检测方法

针对传统垩白大米检测主观随意性大、可重复性低、检测过程耗时费力、准确率低等问题,提出一种基于可见光谱图结合深度学习算法的垩白大米检测手段。用CCD彩色摄像机获取垩白大米和正常大米可见光谱图,对图像进行旋转、翻转以及调整对比度等随机图像变换方式提升网络训练数据集,防止深度检测模型在学习过程中出现过拟合现象。构建了7层深层次卷积神经网络模型,包括卷积层、池化层、全连接层和输入输出层,通过网络模型对采样的大米可见光谱图集进行卷积与池化操作,采用迭代学习训练方法获取大米可见光谱图在卷积层输出的特征参数,采用连接非线性ReLU激活函数来降低训练时间,以加速大米可见光谱图有效抽象特征提取的收敛速度;然后将深度神经网络嵌入池化层,对大米特征降维以获取能够表达正常大米和垩白大米可鉴别显著意义特征;最后在全连接层输出进行分类,从而实现对垩白大米的精确识别。基于可见光谱图的大米垩白深度检测方法比传统基于可见光谱图的垩白大米鉴别特征提取方法免去了复杂的特征提取步骤,由于卷积网络提取的特征对特定目标具有更鲁棒的表达,算法精度较高且复杂度比较小,泛化效果更好,获得识别精度达到90%,比基于传统特征提取的垩白大米鉴别方法识别精度高, SIFT+SVM, PHOG+SVM和GIST+SVM模型识别精度分别为70.83%, 77.08%和79.16%。提出的方法为当前我国现代农业生产中实现大米品质自动化快速精准检测提供了理论依据和有效的技术手段,对于现阶段实现大米品质人工智能检测产生实际意义。     

深度卷积网络的多品种多厂商药品近红外光谱分类

近红外光谱（NIR）分析具有分析高效、样品无损、环境无污染以及可现场检测等优点,特别适合药品的快速建模分析。但NIR存在吸收强度弱以及谱带重叠等缺点,需要建立稳健可靠的化学计量学模型对其进行分析。深度卷积神经网络是深度学习方法中一个重要分支,它通过逐层抽取数据特征并进行组合、转换,形成更高层的语义特征,具有极强的建模能力,广泛应用于计算机视觉、语音识别等领域,而在药品NIR分析方面尚未见报道。基于深度卷积网络模型,对药品NIR多分类建模进行研究。针对药品NIR数据的特点,设计若干个面向多品种、多厂商药品NIR分类的一维深度卷积网络模型。模型中卷积层和池化层交叠排列用于逐层抽取NIR数据特征,输出层连接softmax分类器,对药品NIR数据进行分类概率预测。在输出层之前采用全局最大池化层,将特征图进行整体池化,形成一个特征点,用于解决全连接层存在的限制输入维度大小,参数过多的问题。同时,在网络模型中引入批处理操作和dropout机制,以防止梯度消失和减小网络过拟合的风险。在网络模型的设计过程中,通过设计不同的卷积网络层数以及不同的卷积核尺寸大小,分析其对建模效果的影响,同时分析五种经典数据预处理方法对NIR分析的影响。以我国7个厂商生产的头孢克肟片和11个厂商生产的苯妥英钠片样本NIR为实验对象, 建立药品的多品种、多厂商分类模型,该模型在二分类、多分类实验中取得了良好的分类效果。在十八分类实验中,当训练集与测试集比例为7∶3时,分类准确率为99.37±0.45,比SVM, BP, AE和ELM算法取得更优的分类性能。同时,深度卷积神经网络模型推理速度较快,优于SVM和ELM算法,但训练速度慢于二者。大量实验结果表明,深度卷积神经网络可对多品种、多厂商药品NIR数据准确、可靠地判别分类,且模型具有良好的鲁棒性和可扩展性。该方法也可推广到烟草、石化等其他领域的NIR数据分类应用中。     

基于深度学习的气溶胶荧光光谱识别应用研究

空气中的高危病原微生物对人类社会存在着极大威胁,而传统的监测方法无法对空气中的微生物实现准确的识别与分类。因此采用激光诱导荧光技术原理,以单光子探测器为核心器件,设计并搭建了一种高效的荧光光谱仪用于空气中高危病原微生物的识别与分类,并且该光谱仪可以实现对微生物浓度的预测,其对于环境安全具有重要意义。对于该光谱仪采集的数据,探索了以一维向量和二维矩阵2种输入形式来实现荧光光谱的识别与分类,并研究对比了主成分分析网络、卷积神经网络和全卷积网络等深度学习网络的识别与分类效果。实验结果表明以矩阵形式输入的卷积神经网络模型在测试集中识别分类准确率达到98.05%。采用矩阵形式输入的全卷积网络模型在测试集中微生物浓度预测准确率达到98.97%。     

基于改进SSD的交通大场景多目标检测

现有目标检测算法在复杂大场景下多目标检测的精度和实时性难以平衡,为此,受深度神经网络卷积核形态启发,模仿了人眼视觉机理,改进了基于深度学习的目标检测框架,即单向多框检测器(SSD),提出了多目标检测框架——自适应感知SSD,将其专用于复杂大交通场景多目标检测。设计了由多形态、彩色Gabor构成的特征卷积核库,训练筛选最优特征提取卷积核组替换原有网络的低级卷积核组,从而提高检测精度;将单图像检测框架与卷积长短期记忆网络结合,通过瓶颈-长短期记忆层提炼传播帧间的特征映射,实现网络帧级信息的时序关联,降低计算成本,从而实现对视频中受强干扰影响目标的追踪识别;同时加入自适应阈值策略,降低漏警率和虚警率。实验结果表明,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了9%～16%,平均准确率均值提高了14%～21%,多目标检测率提高了21%～36%,检测帧率达到32frame·s-1,实现了算法精度与实时性的平衡,取得较好的检测识别效果。     

基于视角信息嵌入的行人重识别

提出一种基于视角信息嵌入的行人重识别模型。结合行人图像视角朝向特点,对PSE (pose-sensitive embedding)网络结构进行了优化。首先将PSE特征向量融合部分由特征的融合改成更符合不同视角特征空间性质的三个视角单元特征向量的拼接;其次视角单元从骨架网络更浅层的blocks-3进行分离,增加三个视角单元特征空间的差异性;最后利用改进的深度可分离卷积,设计了一个深度可分离模块,对视角单元进一步进行提取特征,防止模型参数过大的同时提高网络非线性能力,从而提高网络的泛化能力。利用Market1501、Duke-MTMC-reID和MARS数据集对所提的算法进行有效性验证实验,结果表明所提的改进方法取得了更好的识别效果。     

基于改进DeepLabV3+网络的卫星遥感图像林地提取

针对普通卷积神经网络在遥感图像分割中林地边界区域识别不完整、小片林地分割精度低的问题,提出一种基于transformer与注意力机制的DeeplabV3+网络改进方法。在编码阶段引入transformer机制,将原池化金字塔部分中的空洞卷积操作替换为可获取更多上下文信息的transformer操作,从而提高网络对林地边界信息的提取能力;将注意力机制引入到网络的解码部分,提升模型对小片林地的检测能力。实验表明,采用改进后的方法平均交并比(MIou)可达到81.83%,对比原DeepLabV3+网络模型提升了1.25%。该方法充分考虑了卫星遥感图像分割中林地边缘信息的提取以及对小目标的关注度,提出的改进方法可提升遥感图像中对林地提取的精度。     

基于RGBD图像和卷积神经网络的快速道路检测

针对移动平台有限的计算资源以及基于彩色图像的道路检测方法在极端光照情况下及路面类型变化时存在的不足,提出了一种融合彩色图像和视差图像的基于9层卷积神经网络的快速道路检测算法。提出一种数据输入层预处理方法,将视差图变换为视差梯度图以强化地面特征,降低网络深度需求。所提两种网络结构为双通道后融合网络和单通道前融合网络,分别用于卷积特征分析和快速道路检测。实验使用KITTI道路检测数据集并人为划分为普通和困难两组数据集,对该算法进行实验对比和分析,结果表明:与基于彩色图像的卷积神经网络方法相比,该算法在普通数据集上最大F1指标(MaxF1)提升了1.61%,在困难数据集上MaxF1提升了11.58%,算法检测速度可达26frame/s,可有效克服光照、阴影、路面类型变化等影响。     

视频监控下利用改进型C3D-RF的人群异常行为检测

传统基于卷积神经网络(CNN)算法的人群异常行为检测方法由于采用二维卷积核提取图像特征,故无法准确捕捉视频流在时序上的动态特征。为此,提出一种基于改进C3D网络与随机森林(RF)算法相结合的检测方法。利用具有时间特征捕捉能力的C3D网络进行视频流梯度方向直方图(HOG)特征提取,并作为三维卷积核输入以实现对视频时空特征的提取;使用随机森林分类器替代softmax全连接层以避免训练过程中繁琐的梯度计算操作,并降低对训练数据集样本规模的要求;基于基准数据集的算例结果表明,所提出的改进C3D-RF方案对人群异常行为的检测准确率保持在90%以上,且与传统C3D网络、支持向量数据描述模型(SVDD)、编码深度卷积神经网络(CAE)等方法相比,其训练时间缩短了15.34%以上。     

基于Mel频谱值和深度学习网络的鸟声识别算法*

为了增强网络对鸟鸣声信号的特征学习能力并提高识别精度,提出一种基于深度残差收缩网络和扩张卷积的鸟声识别方法。首先,提取鸟鸣声信号的对数梅尔特征及其一阶和二阶差分系数组成logMel特征集作为网络模型的输入;其次,通过深度残差收缩网络自动学习噪声阈值,减少噪声干扰;然后,引入扩张卷积增大卷积核感受野并利用注意力机制使网络更关注关键帧特征;最后,通过双向长短时记忆网络从学到的局部特征中学习长期依赖关系。以百鸟数据birdsdata鸟声库中的19种中国常见鸟类作为实验对象,识别正确率可以达到96.58%,并对比模型在不同信噪比数据下的识别结果,结果表明该模型在噪声环境下的识别效果优于现有模型。     

基于卷积神经网络的焊缝缺陷图像分类研究

为有效地对焊缝缺陷进行分类,从而判断焊接质量的等级,对传统卷积神经网络进行改进,提出一种多尺度压缩激励网络模型（SINet）。将4组两两串联的3×3卷积模块与Inception模块、压缩激励模块（SE block）相结合。通过多尺度压缩激励模块（SI module）将卷积层中的特征进行多尺度融合和特征重标定以提高分类准确率,并用全局平均池化层代替全连接层减少模型参数。此外考虑到焊接缺陷数量不平衡对准确率的影响,采用深度卷积对抗生成网络（DCGAN）进行数据集的平衡处理,并在该数据集上验证模型的有效性。与传统卷积神经网络相比,该模型具有良好的性能,在测试集上准确率达到96.77%,同时模型的参数个数也明显减少。结果表明该方法对焊缝缺陷图像能进行有效地分类。     

基于广义中心差分卷积和空间分布机制的CG图像检测

针对数字取证和司法鉴定领域中计算机生成图像检测技术日益增长的现实需求,提出一种基于广义中心差分卷积和空间分布机制的计算机生成图像检测网络。首先,设计了一个包含三个并行独立分支的相关性特征提取模块;随后,将三个分支的输出经串接后输入到通道注意力机制子模块;最后,使用5个附带空间分布机制的深度卷积模块进一步学习图像的分层表示来进行最终决策。在SPL2018和DSToK两个公共数据集上的检测准确率可达94.76%和95.38%,相比最好的对比方法对生成图像的检测准确率提高了3.12%和3.23%。消融实验验证了网络中各模块对于模型整体检测效果的贡献。最后,验证了该网络对JPEG压缩和加性噪声的鲁棒性,即使对质量因子为60压缩后的图像,检测准确率仍可达84%以上。提高了模型的检测准确率及鲁棒性。     

一种基于聚类的门控卷积网络语声分离方法*

基于深度聚类的语音分离方法已被证明能有效地解决混合语音中说话人输出标签排列的问题,然而,现有关于聚类进行说话人分离方法,大多数是优化嵌入使每个源的重建误差最小化。本文以时域卷积网络（ConvTasNet）为基础网络,设计了一种改进基于聚类的门控卷积（Gate-conv Cluster）语音分离方法,在时域上通过堆叠的门控卷积网络,实现端到端深度聚类的源分离。该框架将非线性门控激活用于时域卷积网络中,提取语音信号的深层次特征;同时在高维特征空间中聚类对语音信号的特征进行表示和划分,为恢复不同信号源提供了一个长期的说话者表示信息。该框架解决了说话人输出标签排列问题并对语音信号的长期依赖性进行建模。通过华尔街日报数据集进行实验得出,该方法在SDRi（信源失真比）和Si-SNR（尺度不变信源噪声比）指标上分别达到了16.72 dB和16.33 dB的效果。     

基于XRF-CNN土壤重金属Zn元素含量预测模型研究

结合X射线荧光光谱法,针对土壤中重金属元素Zn含量的预测问题,提出基于深度卷积神经网络回归预测模型。对原始土壤进行相关预处理,用粉末压片法制作土壤压片,采用X射线荧光光谱法(X-Ray-fluorescence,XRF)获取土壤光谱,相比于传统检测方式,XRF法具有检测速度快、精度高、操作简单、不破坏样品属性并且可实现多种重金属元素同时检测等优点,故将XRF与深度卷积神经网络相结合,实现对土壤中重金属Zn元素含量的精确预测。采用箱型图来剔除X射线荧光光谱中的异常数据,采用熵权法结合多元散射校正来对样品盒数据进行校正,采用Savitzky-Golay平滑去噪法以及线性本底法对光谱数据进行预处理,可以有效地解决由外界环境和人为因素产生的噪声及基线漂移等问题。针对卷积神经网络结构的特殊性,将获取的一维光谱数据向量,采用构建光谱数据矩阵的方式来进行处理,将同一浓度、同一含水率下5组平行光谱数据向量转化为二维光谱信息矩阵,以该矩阵作为深度卷积神经网络预测模型的输入,以适应卷积层的操作要求,利用深度卷积神经网络特殊的结构模式,能有效提取土壤光谱数据特征,提高了深度卷积神经网络预测模型的学习能力,降低模型的训练难度。深度卷积神经网络预测模型采用3层卷积层搭建,使用ReLU激活函数激活,采用最大池化方式,减少数据的维度,增加Dropout层,防止过拟合,使用ADAM优化器对预测模型进行优化。实验以平均相对误差(mean relative error, MRE)、损失函数(LOSS)、平均绝对误差(mean absolute error, MAE)确定了模型的最优学习率为10-3以及最优迭代次数为3000,并将深度卷积神经网络预测模型与BP预测模型、ELM预测模型、PLS预测模型进行对比,以均方误差(mean square error, MSE)、均方根误差(root mean square error, RMSE)、以及拟合系数R2来分析比较预测模型的好坏,结果表明,基于深度卷积神经网络预测模型在对土壤中重金属Zn元素含量预测方面优于BP,ELM,PLS三种预测模型,提高了预测精度。     

基于U-net模型的航拍图像去绳带方法

光启云端号平台是用电缆绳索牵引气囊的, 由于空中航拍摄像系统悬挂在气囊下方, 摄取的图像不可避免地含有绳带信息, 这些绳带信息影响图像质量, 所以在场景分析和目标检测中需要剔除。提出一种基于U-net模型的绳带检测算法, 引入深度可分离卷积提高计算速度, 采用一种带权重的交叉熵作为损失函数, 解决类别不均衡带来的收敛不稳定问题, 最终的模型能够用较少的样本在较短的时间内, 快速准确地检测绳带, 利用快速行进修复算法(FMM)对绳带图像进行了修复。实验结果表明:该算法的mIOU达到62.8%, 得到了较好的去绳结果。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

基于声发射和GAN-CNN的铝合金管道法兰 连接松动泄漏检测*

面向管道法兰连接松动引起的泄漏检测需求,为解决数据样本不足和减少特征指标手动选取的繁琐环节。本文,考虑到生成性对抗网络（GAN）作为数据扩充工具,已被证明能够生成与真实数据相似的样本数据。同时,卷积神经网络（CNN）作为一种深度学习方法,为自动提取数据的特征提供了一种有效的方法。开展了基于GAN和CNN的铝合金管道法兰连接松动泄漏检测研究。首先,搭建管道泄漏标定和数据采集实验台,利用声发射技术获取不同等级的原始泄漏信号。其次,采用GAN生成样本数据扩充原始数据。同时,为了评估生成模型的性能,引入统计特评估生成质量。最后,将生成的样本数据与原始数据设置为不同训练集,基于卷积神经网络构建智能分类检测模型,应用于管道泄漏检测。同时,分类检测结果与小样本智能分类方法SVM进行了比较,实验结果表明,基于GAN和CNN构建的智能分类模型可显著提高管道法兰连接松动泄漏检测精度。     

基于深度注意力机制的多尺度红外行人检测

针对多尺度目标检测问题,提出一种基于深度注意力机制的多尺度红外行人检测方法。首先,选取较为轻量级的Darknet53作为深度卷积特征提取的主干网络,设计四尺度的特征金字塔网络负责目标的定位和分类,通过引入更低层高分辨率的特征图来改善对小尺度行人目标的检测性能。其次,利用注意力模块替代特征金字塔网络中传统的上采样模块,生成基于卷积特征的局部显著图,可以有效抑制不相关区域的特征响应,突出图像局部特性。最后,利用Caltech行人数据集和U-FOV红外行人数据集进行两次迁移训练,以提高模型的泛化能力,丰富行人的样本特征。实验结果表明,所提方法在U-FOV数据集上的识别平均准确率达到了93.45%,比YOLOv3高26.74个百分点,能检测到的最小行人像素为6×13。在LTIR数据集上的定性实验结果验证,所提模型具有良好的泛化能力,适用于多尺度红外行人的检测。