多模态医学图像融合技术综述

介绍了医学图像融合的级别和方式,重点对目前国内外医学图像配准和融合的技术与方法进行了阐述,最后提出了在医学图像融合技术研究中的几个热点问题.     

"文本为主"的多模态特征融合的新闻视频分类算法

视频分类算法通过融合多模态特征提高分类性能.大多数多模态特征融合算法采用统一模式处理不同模态特征,忽略文本与声音/图像特征在视频分类能力和可靠性方面的差异.该文提出一种新闻视频分类算法,采用文本为主,声音/图像为辅的特征融合模式.该算法充分考虑文本特征在内容分类方面的高可靠性,并在适当情况下,辅以声音/图像信息为补充.对10类新闻视频进行分类实验,并与其他两种分类算法对比,表明在提取相同的底层特征情况下,该文算法的平均分类性能最佳.     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

多模态语义协同交互的图文联合命名实体识别方法

针对现有多模态命名实体识别(Multimodal Named Entity Recognition, MNER)研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别(Image-Text Joint Named Entity Recognition, ITJNER)模型。ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还构建了多模态协同交互的多模态语义融合模型,可以加强多模态信息融合,并减少图像信息的语义偏差。在Twitter-2015和Twitter-2017数据集上进行方法实验,分析实验结果并与AdaCAN、UMT、UMGF、Object-AGBAN等方法进行对比。相较于对比方法中的最优方法UMGF,本方法在Twitter-2017数据集上的准确率、召回率、F1值分别提高了0.67%、2.26%、0.93%;在Twitter-2015数据集上,召回率提高了0.19%。实验结果验证了本方法的有效性。     

基于多模态语义分组的视频摘要模型

充分利用视频的信息以及解码去除冗余信息是视频摘要生成的关键.提出了一种基于多模态语义分组的视频摘要生成模型(VMSG).首先,该模型使用3D ResNet神经网络和残差神经网络来提取3D和2D特征;然后把音频信息与视频的分类信息加入多模态的框架中进行编码,得到多模态的特征之后,需要对其进行解码;为了减少视频帧的冗余信息,不同于按帧分组的解码模式,VMSG使用了一种新颖的语义分组方式进行解码,将相同语义的视频分为一个语义组进行解码,预测下一个单词.实验表明,与当前一些最先进的模型相比,VMSG具有更好的摘要生成性能,其生成的视频摘要更加客观丰富.     

一种基于特征级融合的多模态生物特征识别方法

生物特征识别是信息技术领域的研究热点,其中多模态生物识别技术凭借更好的适用性、更高的安全性及更优的性能成为发展趋势。提出了一种融合虹膜特征和掌纹特征的多模态生物特征识别方法,该方法分别提取虹膜及掌纹特征,融合时不同于传统的匹配级融合,而是从特征级融合入手,采用并行特征融合策略,将两特征向量以复向量的形式进行融合,构成复向量空间,并利用酉距离进行匹配决策。实验结果表明此方法比单模生物特征方法在识别性能上有了明显改善,同时与传统匹配级融合策略相比,更有优势,识别效果更好。     

基于多模态特征的光鄄SAR 图像融合配准算法

针对可见光和合成孔径雷达(SAR: Synthetic Aperture Radar)图像融合问题, 在图像预处理基础上, 从像素级特征、纹理级特征及边缘轮廓特征等多模态入手, 优化现有同源图像的配准融合算法。利用改进的SURF(Speeded Up Robust Features)算子、纹理分析及轮廓提取算法, 获取待融合图像的多模态和多尺度特征。通过模糊尺度标准化, 使异源图像特征对能更好地适应特征间的差异性, 从而能进行相似性的比较, 结合模糊相关系数法, 确保配准融合的精度, 实现光鄄SAR 图像信息的有效融合。与传统配准融合方法进行比较的实验结果表明, 该算法可提高光鄄SAR 配准的精度和适应性, 使配准融合的平均准确率达到87. 7%, 可满足较高精度的配准融合需求。     

基于深度多模态与核密度估计的法律文书推荐模型

智慧司法是智慧城市建设中不可或缺的一部分,智慧司法中法律文书推荐体系的建设完善可以有效解决裁判尺度不统一,类案不同判和量刑不规范等问题.针对现阶段法律文书推荐体系不完善,存在对算力要求高、推荐准确率低和不能满足用户对诉讼请求服务的即时性需求问题,以及为了建立智慧司法中法律纠纷快速响应机制,文中提出了基于深度多模态与核密...     

一种用于多模态心脏图像配准的统计形状模型构建方法

统计形状模型构建的关键在于训练集样本形状的构造和形状特征点的自动提取.针对多模态心脏图像的配准问题,提出了一种统计形状模型的构建方法.模型的构建过程主要通过图谱标签图像训练集的建立、模板标签图像形状特征点的提取和模板形状到待标记图谱形状特征点的自动传递来完成.并在此构建方法的基础上,建立左心室统计形状模型引导多模态图像配准过程.为评估构建方法的有效性,使用心脏CT和MR图像数据集进行多模态配准实验验证.结果表明,基于统计形状模型约束的方法较仅靠互信息的方法在配准精度上有明显提高.     

一种基于注意力机制与多模态的图像描述方法

最近几年在深度学习领域中,自动生成一副图像的自然语言描述引发了学界的广泛关注,原因是图像描述在实际应用中的重要性以及它连接了两个重要的人工智能领域:计算机视觉和自然语言处理.以往的模型大多采用基于模板或简单的编码-解码方式,生成的文本结构较为单一并且不能够根据图像中各个物体的相互关系表达出图像的深层意义.提出了一种基于注意力机制与多模态的图像描述方法,在LSTM(Long-Short Term Memory)的基础上改进了Attention机制,并在Attention结构后面添加了多模态层对图像的上下文特征信息以及LSTM的隐层状态进行融合处理.在两个公共数据集:MS COCO以及Flickr 30K上进行验证,实验结果证明所提方法有效且可以使生成的描述语句更加丰富.     

基于边被收缩图的有向有环图有向割集求解算法

为了提高有向有环图有向割集生成算法的效率,通过收缩有向有环图环路中的边将有向有环图转换成带收缩顶点的有向无环图,并使得生成有向无环图有向割集的算法可以生成有向有环图的有向割集.在理论上分析了本文提出的算法的时间复杂度和空间复杂度,并进行了实验测试.理论分析和实验测试的结果表明本文提出的算法是很高效的.     

基于有向无环图的时间——费用优化调度算法

在网格计算环境中,基于时间限制和费用最小的有向无环图（DAG）调度算法,运用了经济规律把网格用户的任务映射到网格资源中运行。该文综合考虑时间、费用以及任务间的优先关系等诸多QoS需求,提出了基于有向无环图的优化调度算法。通过仿真实例,论证了该算法的优越性。     

基于知识图谱和图像描述的虚假新闻检测研究

针对传统虚假新闻检测方法主要采用图像统计学和图像分布式表示特征导致没有深层次挖掘图像所表达的文字含义的问题,设计了在融合知识图谱和图像描述的深度学习下的多模态虚假新闻检测模型.该模型一方面抽取出在新闻文本中的3元组形式知识图谱,另一方面生成图像对应的描述文本,同时采用Bert框架将原文本、3元组、图像描述文本加以集成.在基准汉语虚假新闻语料库上的实验结果表明:该模型显著优于传统的代表性方法.     

基于多级别特征融合的医学图像检索技术

针对医学胸部CT扫描图像,在分别研究单一特征检索算法基础上,提出了基于底层—底层和底层—高层两种级别的特征融合检索方法。据此,用VC#和SQL server2005实现了一个图像检索原型系统,验证了所提方法的有效性。     

基于Canny算子和轮廓方向图的异形纤维轮廓增强算法

显微包埋采集纤维图像过程中,由于背景光照不均、景深和聚焦等造成纤维图像对比度较低、目标与背景区分不明显的问题.传统的Canny算子对于异形纤维的轮廓提取存在边缘不连续、虚假边缘等不足,尤其是对于粘连纤维无法确定其轮廓.针对这些不足,提出了一种利用轮廓跟踪算法剔除Canny算子产生的噪声边缘,并在方向图的基础上利用矩形方框确定真正的轮廓区域,然后对此区域内的像素进行模糊域非线性拉伸,从而得到增强后的异形纤维图像.对增强后的异形纤维图像进行Otsu二值化处理,其结果表明该算法能够得到准确完整的异形纤维轮廓.     

基于有向图的运载火箭综合电子系统设计方法

为解决运载火箭综合电子系统各功能模块之间信息交互复杂、传输路径长的问题,提出一种基于有向图的运载火箭综合电子系统设计方法.将运载火箭综合电子系统的功能模块抽象为有向图的节点,利用有向边表示功能模块之间的信息流向,构造运载火箭综合电子系统的功能结构有向图.通过有向图建立运载火箭综合电子系统的邻接矩阵,计算传递次数和可达矩阵,并利用可达矩阵对运载火箭综合电子系统功能结构开展分析与优化.实现运载火箭综合电子系统功能结构的最优层次划分,有效简化信息传输关系,缩短信息传输路径,提升运载火箭综合电子系统信息传输效率37.5%.      

基于学术知识图谱的增强语义表示与检索

知识图谱作为一个巨大的知识网络图,其中包含着实体概念、关系等信息.基于深度学习的语义表示虽然泛化性强,但对于一些专有知识的敏感度不高,所以许多研究尝试将知识图谱与神经网络结合.目前大部分知识图谱语义表示的方法是围绕通用领域知识图谱展开的,没有针对学术领域的知识图谱语义表示方法的研究.本文以学术文献的全文本数据为研究对象,从基于学术知识图谱的语义表示方法切入研究,在构建学术知识图谱的基础上,对通用领域的研究方法（K-BERT）进行领域化改进（KEBERT）,进一步使用实体知识增强文本的语义信息.通过开展下游任务的对比实验,在学术检索数据集上验证KEBERT、K-BERT和ERNIE的性能.实验采用检索任务中常用的NDCG评价指标对结果进行评价,实验结果表明改进后的KEBERT在检索任务上的效果优于其他模型.     

基于模糊概率符号有向图的复杂系统故障诊断

通过分析复杂系统的故障信息传递特性,在符号有向图(SDG)中引入了状态关联概率和模糊信息,并结合面向对象技术提出了一种新的故障描述模型--模糊概率有向图.给出了基于此模型的建模方法和诊断流程.进一步引入消息节点和支路,通过连接各子实体对象的模糊概率SDG模型,构成整个复杂系统的模糊概率SDG系统.该模型能对复杂系统故障诊断中存在的复杂关联关系进行建模与故障诊断.利用该方法建立了某武器平台的故障诊断系统,实验结果表明提出的方法有效且实用.     

有向图具有哈密顿圈的一个充要条件

通过有向图的邻接矩阵的轨道来刻划图的哈顿圈的问题。     

基于全局有向图的商品会话序列推荐算法

针对商品会话序列推荐中传统推荐算法过分依赖临近点击状况, 在一定程度上丢失整体商品访问趋势的问题, 提出一种新的基于全局有向图的商品会话序列推荐算法. 首先, 构建商品会话序列全局有向图, 图中节点为商品, 节点间的弧表示点击次序, 并用图数据库存储该有向图; 其次, 给出在有向图上的全局偏好传播策略, 同时考虑点击时间因素对推荐的重要影响; 最后, 获得待推荐商品的评分. 在Diginetica和Yoochoose标准数据集上, 该算法根据P@20标准, 比传统Item-KNN方法推荐准确率分别提升了6.12%和30.25%; 根据MRR@20标准, 则分别提升了15.04%和33.88%. 实验结果表明, 该全局有向图搜索和评分策略有效.