基于多模态数据特征融合的舰船识别算法研究

在复杂海域场景下如何综合利用舰船监测的多模态数据进行高效特征提取和特征融合，以此来综合提升舰船识别精度仍存在巨大挑战。针对海域环境中舰船单一数据源识别准确率问题，提出一种有效的多模态数据特征提取和特征融合的舰船识别算法，然后基于深度残差网络模型进行特征融合以提升舰船识别准确率。通过实验结果对比，相比于其他算法基于多模态数据的舰船识别算法平均准确率提升约18%，有效地提升了舰船识别准确率，对相关船舶领域的研发工作具有借鉴意义。     

水下目标多模态深度学习分类识别研究

水下目标的分类识别对于水声探测具有重要意义。提出一种水下目标多模态深度学习分类识别方法。针对水声信号的一维时域模态和二维频域模态特征建立一种多模态特征融合的深度学习结构,结合长短时记忆网络和卷积神经网络的优点,对一维时域信号和二维频谱信号分别进行并行处理,对输出进行典型相关分析,形成特征融合表示,并利用相邻帧的相关性进行参数优化。利用实测水声信号对算法进行了验证。结果表明：提出的算法对于水下目标识别的精度有显著的提高。     

基于CNN-SVM的多维度信息融合半月板撕裂分类方法

针对半月板计算机辅助诊断(CAD)系统中半月板撕裂形态各异带来的分类准确率低的问题,提出一种多维度信息融合网络(Multi-Dimensional Information Fusion Network,MDIFNet)模型的半月板撕裂分类方法.首先,使用由四个子网络所构成的卷积神经网络(Convolutional Neural Network,CNN)架构以获取不同视角、不同维度的半月板特征信息;同时,提出了多尺度注意力机制,丰富细粒度特征;最后,构建了基于支持向量机(Support Vector Machines,SVM)的多核模型作为最终的分类器.在MRNet数据集上的实验结果表明,本文提出方法的分类准确率达0.782,较现有先进的基于深度学习的半月板撕裂分类方法有一定提升.     

针对口音识别中冗余特征及长尾效应的有效方法

口音识别是指在同一语种下识别不同的区域口音的过程。为了提高口音识别的准确率,我们采用了多种方法,取得了明显的效果。首先,为了解决声学特征中关键特征权重不突出的问题,引入了有效的注意力机制,并对多种注意力机制进行了比较和分析。通过模型自适应学习通道和空间维度的不同权重,提高了口音识别的性能。在Common Voice英语口音数据集上的实验结果表明,引入CBAM注意力模块是有效的,识别准确率相对提升了12.7%,精确度和F1分数相对提升了17.9%。之后,我们提出了一种树形分类方法来缓解数据集中的长尾效应,识别准确率最多相对提升了5.2%。受域对抗训练(DAT)的启发,我们尝试通过对抗学习方法剔除口音特征中的冗余信息,使得准确率最多相对提升了3.4%,召回率最多相对提升了16.9%。     

结合MGCC特征与多尺度通道注意力的环境声深度学习分类方法*

环境声分类技术在家居安全监测、人机语音交互等领域具有关键作用。然而,声源的多样性与混合性给环境声分类方法设计带来了重大挑战。为提高分类准确率与节约计算资源,本文提出一种基于多尺度通道注意力机制下的深度学习分类模型。所提模型由特征提取模块、多尺度卷积模块、高效通道注意力模块、输出层四部分组成。首先,通过引入加权型梅尔Gammatone频率倒谱系数挖掘环境声频谱幅值与相位结构信息;其次,融合多尺度卷积核与高效通道注意力机制优选出音频关键局部细节和通道特征;最后,在全连接层采用softmax函数映射特征并输出环境声类型的概率值。所提模型在6种环境声的iFLYTEK、10种环境声的Urbansound8k数据集上开展测试验证,分别取得了94%、76.52%、79.24%（iFLYTEK+Urbansound8k）的分类准确率。消融实验结果进一步表明：引入的多尺度卷积模块、通道注意力机制模块对分类准确率的提升贡献率分别接近于3.77%和1.89%。实验还详细对比了7种现有的深度学习分类方法,所提算法在分类准确率上排名第二;另外, 在同级别算法中如ResNet18、GoogLeNet,所提算法在模型参数量和计算复杂度方面上实现了进一步的约减。     

注意力机制融合前端网络中间层的语声情感识别

为了使机器能够更好地理解人的情感并改善人机交互体验,可对语声特征及分类网络进行融合以提升情感识别性能。本文从网络融合的角度,把基于梅尔倒谱系数和逆梅尔倒谱系数的二维卷积神经网络和基于散射卷积网络系数的长短期记忆网络作为前端网络,提取前端网络的中间层作为话语级的特征表示,利用压缩-激励(SE)通道注意力机制对前端网络的中间层的权重进行调整并融合,然后由深度神经网络后端分类器输出情感分类结果。在汉语情感数据集中进行五折交叉验证的对比实验,实验结果表明,基于SE通道注意力机制的网络融合方式可以有效地利用不同前端网络在语声情感识别任务中的优势,提高语声情感识别的准确率。     

基于深度多分支特征融合网络的光学遥感场景分类

针对遥感图像背景复杂且存在某场景图像中关键物体小且尺度变化较大,需提升模型表征能力来准确辨别各类场景的问题,提出了一种深度多分支特征融合网络的方法进行遥感图像场景分类.利用多分支网络结构提取高、中、低三个层次的特征信息,将三个层次的特征进行基于拆分-融合-聚合的分组融合,最后为了关注难辨别样本和标签位置损失,提出一种损失函数.试验结果证明,本文所提出的方法对于提高分类准确率十分有效,在UCM、AID和OPTIMAL三个数据集上的准确率超过其他算法.在数据集UCM上80%样本训练,准确率达到了99.29%,与ARCNet-VGG16算法相比分类准确率提高了1.35%.在数据集AID上50%样本训练,准确率达到了95.56%,与Two-Stream算法相比提高了0.98%.在数据集OPTIMAL上80%样本训练,准确率达到95.43%,与ARCNet-VGG16算法相比提升2.73%.     

基于深度残差网络的脱机手写汉字识别研究

摘 要: 手写汉字识别是模式识别与机器学习的重要研究方向和应用领域。近年来,随着深度学习理论方法的完善、新技术的层出不穷,深度神经网络在图像识别分类、图像生成等典型应用中取得了突破性的进展,其中,深度残差网络作为最新的研究成果,已成功应用于手写数字识别、图片识别分类等多个领域。本文将研究深度残差网络在脱机孤立手写汉字识别中的应用方法,通过改进残差学习模块的单元结构,优化深度残差网络性能,同时通过对训练集的预处理,从数据层面实现训练生成模型性能的提升,最后设计实验,验证深度残差网络、End-to-End模式在脱机手写汉字识别中的可行性,分析、总结存在的问题及今后的研究方向。     

基于多模态MRI与深度学习的乳腺病变良恶性鉴别

为提高基于动态增强磁共振成像（DCE-MRI）的计算机辅助（CAD）方法对乳腺病变良恶性鉴别的精度,本文基于多模态特征融合,提出一种联合非对称卷积和超轻子空间注意模块的卷积神经网络AC_Ulsam_CNN.首先,采用迁移学习方法预训练模型,筛选出对乳腺病变良恶性鉴别最为有效的DCE-MRI扫描时序.而后,基于最优扫描时序图像,搭建基于AC_Ulsam_CNN网络的模型,以增强分类模型的特征表达能力和鲁棒性.最后,将影像特征与乳腺影像数据报告和数据系统（BI-RADS）分级、表观扩散系数（ADC）和时间-信号强度曲线（TIC）类型等多模态信息进行特征融合,以进一步提高模型对病灶的预测性能.采用五折交叉验证方法进行模型验证,本文方法获得了0.826的准确率（ACC）和0.877的受试者工作曲线下面积（AUC）.这表明该算法在小样本量数据下可较好区分乳腺病变的良恶性,而基于多模态数据的融合模型也进一步丰富了特征信息,从而提高病灶的检出精度,为乳腺病灶良恶性的自动鉴别诊断提供了新方法.     

基于Improved DR-Net算法的糖尿病视网膜病变识别与分级

针对糖尿病性视网膜图像数据集的不均衡、组织形态的特征提取不充分、分级准确率不高等问题,本文提出一种基于DR-Net模型的改进识别算法,即Improved DR-Net.选用Kaggle失明检测竞赛数据集APTOS 2019 Dataset,采用多种数据增强策略扩充数据集,并引入Eye-PACS数据集进行无偏修正,同时采用高斯滤波等形态学方法增强眼底图像特征;对ResNext50聚合残差结构进行预训练,通过迁移学习对基线模型进行参数及结构微调;引入空洞卷积代替普通卷积,融合注意力机制进一步优化模型性能.测试结果表明,本文所提的Improved DR-Net模型大大提高了糖尿病视网膜病变分级的准确率:阳性预测值97.9％,阴性预测值98.03％,准确率达到98.04％,远高于同类算法.结合深度学习技术辅助视网膜病变的筛查,对于视网膜病变的早期自动筛查具有一定的指导意义.     

基于三维卷积神经网络与超像素分割的高光谱分类

高光谱遥感数据具有详细的地物光谱与空间信息.针对高光谱数据空间信息在以往分类方法中未得到充分利用而导致鲁棒性与分类精度较低的问题,提出了一种改进的超像素分割与三维卷积神经网络分类方法.该方法首先通过超像素分割与模糊聚类对高光谱遥感数据进行区域分割,再使用三维卷积神经网络对得到的区域分割结果与高光谱数据形成的空-谱联合数据进行训练与分类.通过对空间区域进行划分融合,所提方法提升空间信息在分类中的作用,减小"同物异谱"现象对分类的影响,同时引入三维卷积神经网络对空-谱联合数据进行训练与分类,提升了高光谱分类精度.所提方法在Pavia University和Salinas数据集的总体准确率为97.53％和98.48％,与各对照实验相比,具有更为良好的分类效果,验证了所提方法的有效性.     

基于卷积神经网络的焊缝缺陷图像分类研究

为有效地对焊缝缺陷进行分类,从而判断焊接质量的等级,对传统卷积神经网络进行改进,提出一种多尺度压缩激励网络模型（SINet）。将4组两两串联的3×3卷积模块与Inception模块、压缩激励模块（SE block）相结合。通过多尺度压缩激励模块（SI module）将卷积层中的特征进行多尺度融合和特征重标定以提高分类准确率,并用全局平均池化层代替全连接层减少模型参数。此外考虑到焊接缺陷数量不平衡对准确率的影响,采用深度卷积对抗生成网络（DCGAN）进行数据集的平衡处理,并在该数据集上验证模型的有效性。与传统卷积神经网络相比,该模型具有良好的性能,在测试集上准确率达到96.77%,同时模型的参数个数也明显减少。结果表明该方法对焊缝缺陷图像能进行有效地分类。     

一种混合入侵检测模型

为了提高入侵检测模型的准确率,提出一种基于K-均值算法、朴素贝叶斯分类算法和反向传播神经网络的混合入侵检测模型。首先,采用基于分区、无监督式聚类分析的K-均值算法进行数据的聚类处理,得到易于被机器处理和学习的数据集。为了进一步获取必要的数据属性,将聚类处理的结果输入到贝叶斯分类器进行分类。然后,具有较短学习周期的反向传播神经网络负责训练数据分类样本。最后,基于KDD CUP99数据集,对混合入侵检测模型进行了仿真实验,实验结果表明,通过混合入侵检测模型,DoS、U2R、R2L和Probe等入侵数据被精准地检测出。相比其它入侵检测模型,混合入侵检测模型取得了较高的准确率和召回率,以及较低的误报率,具有一定的实用价值。     

基于可见光谱图的大豆外观品质判别方法

提出一种基于可见光谱图多模态词典特征低秩稀疏表示框架的大豆外观品质判别方法,以精确确定大豆品质等级。首先,提取大豆粒子可见光谱图像的多尺度空间梯度特征和色差分量(YCbCr)颜色空间特征;将上述提取的空间梯度特征和颜色空间特征看作视觉词汇,通过Kernel K-means聚类算法获取视觉词汇的核空间局部分布聚类中心,形成视觉词典;然后,使用低秩稀疏表示法耦合上述两种特征,用于消除高维异质模态词典描述符中冗余信息的影响;最后,在高维耦合空间中根据样本之间的度量对低秩稀疏耦合表示多模态词典特征进行分类。所提方法充分利用多模态多尺度空间梯度特征和YCbCr颜色空间特征来描述大豆粒子外观品质的语义特征归属。实验结果表明:建模集和预测集总的识别精度分别达92.7%和80.1%,所提方法的识别精度优于文献中提出的基于单一模态的视觉词典特征表示方法。     

基于可见光谱和卷积神经网络的贝类识别方法

目前卷积神经网络（CNN）在物体种类识别方面取得突破性进展。贝类作为农业经济的重要组成部分,种类繁多,特点复杂,大多贝类存在着相似度高,各类样本分布不均衡情况,以致CNN对贝类分类的准确率偏低。针对这一情况,提出了基于可见光谱和CNN的贝类识别方法,旨在提取更有效的贝类特征,从而提高贝类分类的准确率。首先,提出了一种包含输出熵度量和正交性度量的滤波器信息度量与特征选择方法,重新初始化修剪掉的滤波器并使其正交,捕获网络激活空间中的不同方向,使神经网络模型学习到更多有用的贝类特征信息,提升模型分类准确率;其次,提出了一种包含正则化项和焦点损失项的贝类分类目标函数,通过控制各类别样本对总损失的共享权重,来减少易分类样本的权重,以使模型注意力向预测不准的样本倾斜,均衡样本分布和样本分类难度,进一步提高贝类分类的准确率。贝类图像数据集由74类贝类组成,共11 803张图像。获取原始数据集后,对数据集图像进行水平翻转、垂直翻转、随机旋转、在[0, 30°]范围内旋转、在[0, 20%]范围内缩放和移动等数据增强操作,将图像数量从11 803张增加到119 964张。整个图像数据集按8∶1∶1的比例随机分为训练集95 947张图片、验证集11 996张图片和测试集12 021张图片。在建立贝类图像数据集的基础上进行了实验验证,达到了93.38%的分类准确率,将基准网络（Resnest）的准确率提高了1.18%,相较网络SN_Net和MutualNet,准确率分别提升了4.34%和0.85% ,并且训练时长为22 320 s,将基准网络（Resnest）的训练时长缩短了960 s,训练时长分别比SN_Net和MutualNet短3 180和2 460 s。实验结果证明了该方法的有效性。     

基于改进ViT的红外人体图像步态识别方法研究

针对卷积神经网络在步态识别时准确率易饱和现象,以及Vision Transformer(ViT)对步态数据集拟合效率较低的问题,提出构建一个对称双重注意力机制模型,保留行走姿态的时间顺序,用若干独立特征子空间有针对性地拟合步态图像块;同时,采用对称架构的方式,增强注意力模块在拟合步态特征时的作用,并利用异类迁移学习进一步提升特征拟合效率。将该模型运用在中科院CASIA C红外人体步态库中进行多次仿真实验,平均识别准确率达到96.8%。结果表明,本文模型在稳定性、数据拟合速度以及识别准确率3方面皆优于传统ViT模型和CNN对比模型。     

基于加权特征融合的多尺度遥感影像分类

针对普通的三维卷积神经网络（3D CNN）从一个尺度上提取特征,会丢失部分细节信息,且对小样本任务表现一般的问题,本文提出了一种三支路的3D CNN,从不同尺度上提取特征后进行加权特征融合,从而获取了更为全面的特征;并引入数据增强技术,从而改善了小样本情形下的分类性能。现有特征融合方法通常对各个支路直接进行拼接,本文采用加权拼接的特征融合方法,将各特征分别乘以一个加权系数后再进行拼接,该系数通过模拟退火算法求取。本文方法在公开数据集Indian Pines,Pavia University,Salinas等上采用10%的数据进行训练,分别得到了98.60%、99.83%、99.97%的总体准确率,与各类对比方法相比,提升了高光谱遥感影像分类问题的准确率。     

基于不同卷积尺度融合与近红外光谱的土地分类模型研究

为了提高基于近红外光谱的土地覆盖分类模型的准确率，以欧盟统计局发布的土壤近红外光谱数据为研究对象，研究基于短时傅里叶变换(STFT)预处理方法和不同卷积尺度融合的土地覆盖分类模型，实现耕地、林地和草地的快速区分。为适应二维卷积要求，将一维光谱的400～2 500 nm波段的4 200个波长进行短时傅里叶变换，转换成二维图像同时提取光谱数据的频谱信息。将样本按6∶2∶2的比例随机划分为训练集、验证集和测试集。建立单一尺寸卷积核卷积神经网络(CNN)以及多尺寸卷积核融合的卷积神经网络土地覆盖分类模型，为了防止模型出现梯度消失现象，网络采用ReLU激活函数以及批标准化(BN)、 Dropout等方法。并采用早停法(early stopping)训练网络，防止模型出现过拟合风险。首先，探讨了不同STFT窗口长度(64, 100和128)、不同卷积核尺寸(3×3, 5×5和7×7)等对模型分类效果的影响规律。实验结果显示：当STFT窗口长度为100、窗口重叠长度为50%时，模型总体分类准确率均最高；模型的分类准确率随卷积核尺寸的增大而降低，较小尺寸卷积核模型准确率更高，卷积核尺寸为3×3的CNN...     

八度卷积和双向门控循环单元结合的X光安检图像分类

针对主动视觉安检方法准确率低、速度慢,不适用于实时交通安检的问题,提出了八度卷积(OctConv)和注意力机制双向门控循环单元(GRU)神经网络相结合的X光安检图像分类方法。首先,利用八度卷积代替传统卷积,对输入的特征向量进行高低分频,并降低低频特征的分辨率,在有效提取X光安检图像特征的同时,减少了空间冗余。其次,通过注意力机制双向GRU,动态学习调整特征权重,提高危险品分类准确率。最后,在通用SIXRay数据集上的实验表明,对8 000幅测试样本的整体分类准确率(ACC)、特征曲线下方面积(AUC)、正类分类准确率(PRE)分别为98.73%、91.39%、85.44%,检测时间为36.80 s。相对于目前主流模型,本文方法有效提高了X光安检图像危险品分类的准确率和速度。     

基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法

传统卷积神经网络模型在高光谱图像分类生成特征图的空间维度中存在大量的空间特征信息冗余,而且把高光谱图像单个像元上的光谱带数据看作是无序高维向量进行数据处理,并不符合光谱数据的特性,极大影响了模型的运行效率和分类性能。针对该问题,提出一种三维Octave卷积和双向循环神经网络注意力网络相结合的高光谱图像分类方法。首先,利用三维Octave卷积获取高光谱图像的空间特征的同时减少空间特征冗余信息。其次,利用Bi-RNN光谱注意力网络将光谱带数据视为有序序列以获取高光谱图像的光谱信息。然后,通过全连接层将空间和光谱特征图连接起来实现特征融合。最后,经过softmax输出分类结果。实验结果表明,所提方法在Pavia University和Botswana两个数据集上的分类精度分别达到了99.97%和99.79%,与其他主流算法相比,该方法可以充分利用空间和光谱特征信息,具有更佳的分类性能。