Minkowski广义距离与多模态图像配准

根据图像灰度的联合概率分布函数与图像相似程度之间的变化规律,分析了Shannon互信息与Kullback-Leibler距离之间的关系,利用变量间的不等式关系理论,提出基于Minkowski不等式的广义距离度量,并构造了基于这一距离的多模态图像配准新测度.新的配准测度不再要求概率分布必须满足连续性的要求,实验中使用MR和PET医学图像进行了实验分析.结果显示,基于Minkowski距离的新配准测度比传统的信息论测度具有更强的噪声鲁棒性,用乘方运算代替了对数运算,数学表达式更简单,并省去了除法运算,在算法上也更容易实现.     

多模态医学图像融合技术综述

介绍了医学图像融合的级别和方式,重点对目前国内外医学图像配准和融合的技术与方法进行了阐述,最后提出了在医学图像融合技术研究中的几个热点问题.     

多模态图像匹配的FFT梯度相关算法

多模态图像匹配是各领域图像匹配研究中的一个热点和难点问题,特征的可重现探测和非线性优化搜索,分别是基于特征和基于区域的多模态图像匹配的瓶颈问题.将灰度图像转换为复数域的梯度图像,提出以复数平方图像实现的2倍梯度差角余弦作为相似性测度,提出FFT梯度相关算法,实现了多模态图像局部匹域的快速匹配,通过红外与可见光图像的匹配实验,验证了算法的有效性.     

一种基于注意力机制与多模态的图像描述方法

最近几年在深度学习领域中,自动生成一副图像的自然语言描述引发了学界的广泛关注,原因是图像描述在实际应用中的重要性以及它连接了两个重要的人工智能领域:计算机视觉和自然语言处理.以往的模型大多采用基于模板或简单的编码-解码方式,生成的文本结构较为单一并且不能够根据图像中各个物体的相互关系表达出图像的深层意义.提出了一种基于注意力机制与多模态的图像描述方法,在LSTM(Long-Short Term Memory)的基础上改进了Attention机制,并在Attention结构后面添加了多模态层对图像的上下文特征信息以及LSTM的隐层状态进行融合处理.在两个公共数据集:MS COCO以及Flickr 30K上进行验证,实验结果证明所提方法有效且可以使生成的描述语句更加丰富.     

新的广义距离与多模态医学图像配准

分析了Shannon互信息、Kullback-Leibler距离和Shannon不等式之间的相互关系,并根据不等式理论,提出了广义距离度量的新概念及其定义. 在此基础上构造了多模态图像配准的一类新测度--算术-几何均值距离、Cauchy-Schwartz距离和Minkowski广义距离. 从计算速度、噪声容忍性、测度函数图形的特点和图像窗口大小影响等几个方面,通过MR和PET医学图像的实验分析,验证了新配准测度的有效性.     

一种新的基于投影矩的三维图像配准方法

提出一种投影矩的概念，并将其用于三维医学图像的配准．与传统的几何矩相比，投影矩不仅可以完各地描述图像的特征，而且计算量较小，因而可以将其用于三维图像的实时配准．选取待配准的2幅三维图像若干阶投影矩差的平方和为目标函数，采用Powell方法求取最优解，得到配准结果．将方法应用于一些模拟和实际数据，获得了较高精度的实验结果；并且缩短了整个计算过程的时间．这表明投影矩在多模态医学图像的配准和融合等方面具有潜在的实用价值．     

一种新的多模态图像集成配准方法

提出一种新的多模态图像集成配准方法。该算法是在对齐度和归一化互信息2种方法的基础上,引入图像边缘检测和均衡化,从而综合利用6种配准算法进行集成多模态图像配准。使用少数服从多数和基于可信度的加权2种集成准则,对红外热像仪图像和相应可见光图像进行实验分析,结果证明该集成配准方法准确性高,鲁棒性强,较之非集成配准方法具有明显的优势。     

一种深度偏最小二乘相关分析的多模态融合方法

典型相关分析是一种经典的线性多模态融合方法,但是难以有效解决高维非线性数据的多模态融合问题.结合典型相关分析、线性回归分析与深度神经网络,提出一种新颖的多模态融合方法,即深度偏最小二乘相关分析.该方法能够在最大化不同模态之间相关性的前提下学习具有强鉴别力的跨模态融合数据,并且能够有效解决典型相关分析面临的高维非线性困境...     

基于核典型相关分析的姿态人耳、人脸多模态识别

选用在生理位置上具有一定关联性的人耳和人脸作为研究对象,针对剧烈的姿态变化会造成融合信息大量缺损的问题,提出了一种基于核典型相关分析的多模态识别方法,利用标准化和中心化两种方法对原始数据集进行预处理,并用最近邻方法进行分类识别. 实验结果表明,核典型相关分析方法可以有效地克服剧烈的姿态变化对人耳和人脸识别的影响,且与单生物特征相比,识别率显著提高.     

基于情感信息辅助的多模态情绪识别

不同于纯文本的情绪分析, 本文面向多模态数据(文本和语音)进行情绪识别研究。为了同时考虑多模态数据特征, 提出一种新颖的联合学习框架, 将多模态情绪分类作为主任务, 多模态情感分类作为辅助任务, 通过情感信息来辅助提升情绪识别任务的性能。首先, 通过私有网络层对主任务中的文本和语音模态信息分别进行编码, 以学习单个模态内部的情绪独立特征表示。接着, 通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示。在得到主任务的文本和语音辅助情绪表示之后, 分别与主任务中的单模态独立特征表示相结合, 得到主任务中单模态情绪信息的完整表示。最后, 通过自注意力机制捕捉每个任务上的多模态交互特征, 得到最终的多模态情绪表示和情感表示。实验结果表明, 本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能, 同时情感分类任务的性能也得到一定程度的提升。     

一种用于多模态心脏图像配准的统计形状模型构建方法

统计形状模型构建的关键在于训练集样本形状的构造和形状特征点的自动提取.针对多模态心脏图像的配准问题,提出了一种统计形状模型的构建方法.模型的构建过程主要通过图谱标签图像训练集的建立、模板标签图像形状特征点的提取和模板形状到待标记图谱形状特征点的自动传递来完成.并在此构建方法的基础上,建立左心室统计形状模型引导多模态图像配准过程.为评估构建方法的有效性,使用心脏CT和MR图像数据集进行多模态配准实验验证.结果表明,基于统计形状模型约束的方法较仅靠互信息的方法在配准精度上有明显提高.     

基于有向图模型的多模态新闻图像检索研究

不同模态特征描述网络新闻数据各具优势。为充分利用不同模态特征的优点,提高网络新闻图像检索准确率,提出了一种基于有向图理论模型的多模态特征融合检索方法。首先对新闻图像进行预处理,提升新闻图像兴趣点对比度,之后对新闻文本提取关键词,然后对新闻图像进行场景辨别,结合图像人物特征,将文本、场景、人物特征依据有向图理论模型进行融合,形成基于有向图理论模型的多模态融合检索。在10万条新闻数据上测试,实验结果表明,本文提出的方法检索准确率达到了69%,查全率达到70%,效果提升了5%。     

适合卫星图像的空间透视投影

卫星图像都是沿卫星飞行方向而获取的切平面投影图像。本文以卫星飞行方向为纵轴建立地图坐标系,用矢量方法得到了卫星单张像片的连续构像方程正反解变换解析式,并进行了变形分析。     

基于多模态特征的光鄄SAR 图像融合配准算法

针对可见光和合成孔径雷达(SAR: Synthetic Aperture Radar)图像融合问题, 在图像预处理基础上, 从像素级特征、纹理级特征及边缘轮廓特征等多模态入手, 优化现有同源图像的配准融合算法。利用改进的SURF(Speeded Up Robust Features)算子、纹理分析及轮廓提取算法, 获取待融合图像的多模态和多尺度特征。通过模糊尺度标准化, 使异源图像特征对能更好地适应特征间的差异性, 从而能进行相似性的比较, 结合模糊相关系数法, 确保配准融合的精度, 实现光鄄SAR 图像信息的有效融合。与传统配准融合方法进行比较的实验结果表明, 该算法可提高光鄄SAR 配准的精度和适应性, 使配准融合的平均准确率达到87. 7%, 可满足较高精度的配准融合需求。     

基于Tamura纹理特征提取和SVM的多模态脑肿瘤MR图像分割

在Tamura纹理特征和支持向量机(SVM)算法基础上提出一种多模态脑肿瘤图像分割算法.将4种模态下的多序列核磁共振图像(MRI)的局部灰度特征与Tamura纹理度量相结合,尽可能提取足够多的图像信息;在SVM模型中输入已知样本并进行训练;用训练好的SVM模型处理其他脑肿瘤图像.实验通过对20例患者的图像进行展开,从实验数据来看,提出的方法可以精准有效地分割出脑肿瘤区域,得到脑肿瘤的边界,并且对脑肿瘤图像的差异性表现出较强的自适应能力.     

标准化病人的多模态互动话语分析

从社会符号学和概念隐喻的双重视角,考察了标准化病人互动话语的多模态特征,结果发现：标准化病人互动话语表现出纯语言、副语言、肢体语言和非肢体语言四种主要模态,通过补充、强化、替代三种多模态协同关系共同完成信息传递和情感表达,通过相似性表征和动态性表达呈现出“病人是医生最好的老师”的多模态隐喻;作为教育戏剧活动的主体,标准化病人运用多模态互动话语开展并串联情境活动、叙事性活动和诗化活动,最终实现教学目标。     

非线性粘弹性梁混沌运动的多模态分析

在考虑材料的粘性和非线性弹性性质的基础上,研究了悬臂梁在横向微扰动下的混沌运动,建立了相应的非线性动力方程,利用Ｍｅｌｎｉｋｏｖ函数法,Ｐｏｉｎｃａｒｅ映射,相平面轨迹及时程曲线判定系统是否处于混沌运动状态,并对单模态和双模态的分析方法进行了讨论。     

大学英语课堂的多模态话语分析

近年来,多模态话语分析广受国内外语言学家和学者的关注,本文以克瑞斯和勒文所构建的视觉语法为理论依据,分别从向量,距离,视角,情态等四个方面分析了当今的大学英语课堂,并初步提出了消除以上影响的合理建议。     

多模态语义协同交互的图文联合命名实体识别方法

针对现有多模态命名实体识别(Multimodal Named Entity Recognition, MNER)研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别(Image-Text Joint Named Entity Recognition, ITJNER)模型。ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还构建了多模态协同交互的多模态语义融合模型,可以加强多模态信息融合,并减少图像信息的语义偏差。在Twitter-2015和Twitter-2017数据集上进行方法实验,分析实验结果并与AdaCAN、UMT、UMGF、Object-AGBAN等方法进行对比。相较于对比方法中的最优方法UMGF,本方法在Twitter-2017数据集上的准确率、召回率、F1值分别提高了0.67%、2.26%、0.93%;在Twitter-2015数据集上,召回率提高了0.19%。实验结果验证了本方法的有效性。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。