累积结构特征描述的多模态遥感影像匹配

针对相位一致性图大部分特征值为零且易受噪声干扰,导致其构造的多模态图像特征描述子能力有限的问题,提出了一种累积结构特征图(Cumulative Structural Feature,CSF)构造及其特征描述子建立方法,通过增强图像结构来提高特征点描述子的辨识能力。首先,采用Log-Gabor奇对称滤波器提取多模态图像多个尺度和方向的边缘结构特征,通过特征信号平方和归一化构造CSF,增强图像的结构相似性,并直接在CSF上提取特征点;再利用多个尺度和方向的边缘结构信息构造方向特征图;最后,结合CSF和方向特征图建立特征描述子,提高描述子的辨识能力。六种场景的多模态图像匹配实验表明,与其他方法的最好结果相比,所提方法的平均正确匹配数量提升了27.07%,平均正确率提升了2.26%,且增强了对场景的适应能力。     

基于多模态遥感影像的边缘感知引导显著性检测

针对多模态遥感影像显著性检测鲁棒性差和检测精确度不佳等问题,提出一种基于多模态边缘感知引导的显著性检测方法,该方法主要由多模态遥感影像显著检测主干网络、跨模态特征共享模块和边缘感知引导网络构成。通过在特征提取主干网络中加入跨模态特征共享模块,使得不同模态间特征通过共享交互实现协同增强,并且抑制具有缺陷的特征信息。基于边缘感知引导网络,通过边缘图监督模块来检测边缘特征的有效性,从而生成准确边界。在3种显著目标检测遥感图像数据集上进行实验,平均的F_β、平均绝对误差(MAE)、S_m分数分别为0.917 6,0.009 5和0.919 9。实验结果表明,提出的多模态边缘感知引导网络(MEGNet)适用于在多模态场景中进行显著性检测。     

融合形态特征的小样本青铜器铭文分类算法

现有的青铜器铭文变体种类较少,利用深度学习网络训练容易出现过拟合现象,且深层卷积网络对青铜器铭文细节形态特征提取能力不足,导致铭文分类准确率较低。针对该问题,提出一种融合形态特征的小样本青铜器铭文分类算法。首先,引入形态学算法对铭文进行孔洞填充预处理,降低孔洞对铭文形态结构的影响;其次,调整AlexNet结构,并在各卷积层中引入批量归一化,控制每批随机输入值的分布情况,使输入数据符合正态分布标准,避免网络向单一方向过度学习,抑制过拟合现象;最后,使用speeded-up robust features (SURF)算子提取铭文细节形态特征,并将其与卷积神经网络提取的抽象信息融合,增强分类器的表达能力。在自制青铜器铭文数据集上的实验结果表明,所提算法的分类准确率高达98.86%,优于LeNet5、Vgg13、Vgg16、ResNet、AlexNet等传统算法,说明改进后的算法能有效解决小样本铭文分类准确率低的问题。     

多模态自适应特征融合的目标检测

随着深度学习的发展,基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试,但在低光照环境下,检测性能显著下降。为解决此问题,提出了一种基于YOLOv5构建的多模态目标检测网络模型,将RGB图像和热红外图像相结合,以充分利用多模态特征融合信息,从而提升目标检测精度。为了实现多模态特征信息的有效融合,提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息,实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息,从而显著提高检测精度。     

基于深度学习的多模态融合图像识别研究

基于深度学习的方法,利用多模态信息融合技术,将汽车等目标的声音、图像信息融合,用于对测试目标的判断.利用改进Inception网络对图像识别技术展开研究,分别比较了单纯图像信息情况的辨识、单纯声音信息情况的辨识,以及多模态融合情况下的辨识.通过试验分析和比较,证明该方法可以有效提高用户的图像识别能力,将特种车辆的平均识...     

基于多模态深度学习的流量分类识别方法

针对流量分类效果与实际情况存在偏差的问题,首先将多模态深度学习运用在流量分类中,通过利用多模态之间的互补性,剔除模态间的冗余,从而学习到更好的流量数据特征表示.然后,提出了一种基于多模态流量数据的检测和分类方法,对同一流量单位的不同模态输入分别采用卷积神经网络(Convolutional Neural Networks...     

多模态医学图像融合技术概述

介绍多模态医学图像融合的意义和多模态医学图像融合的方式，重点介绍多模态医学图像融合的实现及主要的医学图像配准方法，并讨论了目前的多模态医学图像融合方法中存在的主要问题，直观地从整体上阐述多模态医学图像融合技术。     

多尺度多特征融合的高分辨率遥感影像分类

针对高分辨率遥感影像多尺度、空间分布复杂以及特征繁多的特点,从遥感影像特征提取的尺度效应以及各类地物显著性特征各异入手,提出了基于多尺度多特征融合的高分辨率遥感影像分类的方法。该方法构建最优尺度分割函数模型,寻找出各地物的最优尺度,分别提取影像的纹理、颜色和形状特征。在此基础上,利用各地物特征的显著性差异实现多尺度下多特征的加权融合。该加权融合方法突破了常规的最优尺度分割算法未能充分考虑各类地物特征差异性的局限性,通过分析各类地物的显著性,建立了各个特征在分类中所占权重的模型。实验结果表明：相对传统无监督分类算法,该方法准确率提高约7%,且运行效率高。     

多模态特征融合的人脸活体检测算法

针对人脸识别技术应用中,使用人脸图像或虚拟人脸等技术手段欺骗识别系统进而降低系统安全性的问题,提出了一种多模态特征融合的人脸活体检测算法.该算法将人脸的RGB图、深度图和红外图分别输入到3个相同的残差网络结构中提取特征;通过基于通道注意力机制的方式对3个模态的特征图进行融合;对融合特征做出决策.在CASIA-SURF数...     

基于双通道深度密集特征融合的遥感影像分类

为了提高遥感图像场景分类中特征有效利用率,进而提高遥感影像分类精度,采用基于双通道深度密集特征融合的遥感影像分类方法,进行了理论分析和实验验证。首先通过构建复合密集网络模型, 分别提取图像卷积层特征和全连接层特征;然后为挖掘、利用图像深层信息,通过视觉词袋模型将提取的深层卷积层特征进行重组编码,捕获图像深层局部特征;最后采用线性加权方式将局部和全局特征融合、分类。结果表明,选用数据集UC Merced Land-Use和NWPU-RESISC45进行实验,取得的分类精度分别为93.81%和92.62%。该方法充分利用局部特征和全局特征的互补性,能实现图像深层信息的充分利用和表达。     

基于多模态深度学习的信号调制识别

信号调制识别技术在民用和军事领域都有重要应用。当前信息化战场中,由于各类雷达、通信、导航、电子战武器等信息辐射源的数量愈来愈多,调制形式也日益多样化,信号密度愈来愈大,战争电磁环境日趋复杂化,传统的信号调制识别技术已无法适应。因此,提出基于深度学习的AlexNet网络和复数神经网络,同时采用多模态特征融合和模型融合技术,融合信号统计图域和信号I/Q波形域的多模态信息,实现信号调制识别。仿真结果表明,所提方法的识别精确度在不同信噪比下均优于单模态识别方法和未采用多模态协同融合框架的方法。     

基于Matlab的多模态医学图像融合仿真

多模态医学图像融合是一种集医学图像处理和医学影像诊断于一体的新技术,其迅猛发展对医学影像技术的进步和临床诊疗产生了深远的影响。本文使用几种多模态医学图像融合的典型方法,在Matlab环境下进行了仿真实验,为相关领域的专业人员和非专业关注者提供了参考。     

RA-ProtoNet：基于元学习的小样本遥感场景分类方法

深度学习在解决遥感影像场景分类问题中发挥了重要作用,但在某些特定的遥感场景分类问题中,存在可训练带标签样本严重不足的情况（单类样本数少于10）,造成现有的传统深度模型分类效果不理想。针对上述问题,提出一种小样本遥感场景分类方法,并构建一种基于元学习（meta-learning）训练策略的模型ResNet14-Attention-ProtoNet(RA-ProtoNet)。首先,采用预训练的深度残差网络ResNet14作为特征嵌入模块,提取遥感影像深度特征;其次,针对同类样本特征不明显会对类级（class-level）表达造成的干扰问题,在类级表达模块,采用基于双向长短期记忆网络（BiLSTM）的注意力机制强化类内样本信息,生成样本的类级特征表达;最后,利用欧氏距离度量待分类样本与类级特征之间的距离,实现分类预测。在UCMERCED、AID-30和NWPU-RESISC45等3个遥感影像数据集上,将所提方法与基于迁移学习和现有元学习方法的遥感场景分类方法进行对比实验,在5-way 5-shot条件下,所提方法的整体场景分类精度分别达到81.30%、83.29%和81.22%。实验结果表明...     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

多特征自适应融合的高分辨率遥感影像变化检测

常规的遥感影像变化检测主要基于光谱信息,没有充分挖掘高分辨率遥感影像的多特征信息,导致检测结果完整性不高、准确性低等问题,针对此问题,提出一种基于面向对象思想的多特征自适应融合的遥感影像变化检测方法。首先,应用e Cognition软件对两时相遥感影像进行分割,提取影像对象的光谱、纹理、形状特征,然后构建神经网络进行特征融合,自适应地调节特征融合权值,得到最终检测结果。实验结果表明,多特征自适应融合的检测方法能够有效减小漏检、虚检概率,提高检测的准确性与完整性。     

全局卷积与亲和度融合的多模态特征蒸馏情感识别方法

为提升人机交互时的用户体验以及满足多元化用途的需求,交互设备正逐步引入情感智能技术,其中,实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别,然而,这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展,越来越多可利用的模态信息便逐步被应用到情感识别系统中。因此,本文提出一种基于特征蒸馏的多模态情感识别模型。考虑到情感表达往往与音频信号的全局信息密切相关,提出了适应性全局卷积（Adaptive Global Convolution, AGC）来提升有效感受野的范围,特征图重要性分析（Feature Map Importance Analysis,FMIA）模块进一步强化情感关键特征。音频亲和度融合（Audio Affinity Fusion, AAF）模块通过音频-文本模态间的内在相关性建模亲和度融合权重,使两种模态的情感信息得到有效融合。此外,为了提升模型泛化能力,有效利用教师模型中概率分布所携带的隐藏知识,帮助学生模型获取更高级别的语义特征,提出了在多模态模型上使用特征蒸馏。最后,在交互式情感二元动作捕捉（Interactive Emotional Dyadic Mot...     

多模态无人机影像的碎屑岩露头岩性智能识别

受自然条件影响,野外露头表面存在植被覆盖、风化严重等问题,传统的岩性图像识别方法较难实施,随着地质大数据的兴起和智能地质的发展需求,利用人工智能进行地质领域岩石影像岩性识别成为必然趋势。提出基于注意力机制的多模态碎屑岩露头影像岩性智能识别方法（SE-DeepLabv3+）,通过与传统分类方法和语义分割方法的对比,以人工标注结果为参考,SE-DeepLabv3+的岩性识别精度达90%以上,高于其他方法。利用SE-DeepLabv3+对新疆准噶尔盆地南缘清水河-喀拉扎组部分露头剖面进行岩性识别,得到较好的识别结果。利用无人机三维影像数据,结合人工智能技术实现碎屑岩露头的岩性识别,可以大幅提高岩性识别的工作效率,转变传统作业方式,推动地质研究向定量化、智能化发展。     

移动设备生物特征识别多模态融合标准研究及展望

针对用于移动设备的生物特征识别多模态融合技术框架不统一以及标准缺失的问题,提出了多模态融合的分类、层级以及标准统一技术框架。首先分析国内外与移动设备生物特征识别相关的标准化现状;其次研究移动设备生物特征识别标准的本地识别以及远程识别应用模式,分析提出多特征、多算法、多实例、多传感器4种多模态融合分类方法,研究并提出样本级融合、特征级融合、分数级融合和决策级融合4种多模态融合的层级,并且提出用于移动设备的生物特征识别多模态融合标准技术框架;最后对移动设备生物特征识别多模态融合技术应用进行展望。     

多模态融合情感分析模型研究

本文提出了一种新颖的多模态情感分析模型。该方法利用发音连续帧上的特定界标的位移来提取发音特征。并分析每个界标时间变量的时间序列。并提取主要的视觉特征,然后将所有特征融合起来,最终构建出特征矢量,以此对情感进行分析。