多模态网络中时间敏感网络模态的智能调度机制

针对多模态网络中时间敏感网络模态转发调度不确定、求解时间长等问题,提出了一种基于CSQF的时间敏感网络模态的联合路由与调度机制。综合考虑有界时延需求、网络状态和不同的路由机制,建立联合缓存队列和路由的混合资源调度模型,旨在优化整个网络的资源使用。基于深度强化学习方法,利用流量特征与缓存队列利用率来预测下一循环的缓存利用率。此外,基于多队列CSQF转发调度机制和基于缓存利用率的显式路由算法,提出了一种迭代调度算法,实现了确定性转发和资源分配。仿真结果表明,所提机制可以根据网络的资源使用情况有效地调整确定性应用的传输调度,与其他离线调度机制相比,具有更好的调度性能。     

多模态网络环境异构标识空间管控架构研究

基于多模态网络环境,针对异构标识空间互通和切换问题,提出了一种异构标识空间管理控制架构。首先,给出了异构标识空间管控设计目标与原则,建立了网络模态主动选择和被动切换逻辑模型,将分布式的异构网络空间兼容问题转换为集中式的网络层功能适配问题。在此基础上,完成了控制平面异构标识空间管控功能架构和功能模块设计,给出了异构标识空间管控的具体流程。最后,基于多模态网络环境构建了原型验证系统,对所提出的异构标识空间管控架构及其相关功能进行验证。     

基于多模态特征的无监督领域自适应多级对抗语义分割网络

为了解决领域自适应中存在领域间视觉、空间以及语义特征分布差异的问题,提出了基于多模态特征的无监督领域自适应多级对抗语义分割网络。首先,设计3层结构的注意力融合语义分割网络来分别从源域和目标域学习上述三类特征。然后,在单级对抗学习中引入联合分布置信度和语义置信度的自监督学习方法,从而在领域间所学特征的分布距离最小化过程中实现更多目标域像素的分布对齐。最后,通过基于多模态特征的多级对抗学习方法对3路对抗分支与3个自适应子网进行联合优化,从而能够有效学习各子网所提取特征的域间不变表示。实验结果表明,与当前先进方法相比,所提网络在GTA5到Cityscapes、SYNTHIA到Cityscapes和SUN-RGBD到NYUD-v2的数据集上分别取得最优的平均交并比62.2%、66.9%和59.7%。     

多模态超声成像技术对乳腺良恶性肿块的诊断价值

为了分析多模态超声成像技术对乳腺良恶性肿块的诊断价值,以2018年9月—2020年10月某院实施乳腺癌手术的100例患者为研究对象,在手术前所有患者均采用常规超声等检查。结果显示：通过病理证实,100例患者中共104枚结节,其中恶性44枚,良性60枚。采用多模态超声成像检测的灵敏度高达97.46%,特异度98.4%,阳性预测值97.5%,符合率98.7%;而常规超声检测灵敏度90.1%,特异度88.5%,阳性预测值91.3%,符合率89.7%,两组数据差异存在统计学意义。与常规超声相比,多模态超声成像技术可以对图像进行容积重建,清晰地显示病灶组织信息和病灶边界情况,为病灶良恶性提供诊断依据。     

基于自组织神经网络的多模态MRI图像分割

磁共振成像(MRI)是一项重要的医学成像技术,在人体组织器官的诊断治疗方面被广泛应用。在脑肿瘤的临床诊断应用中,如何实现脑肿瘤图像的有效自动分割是一个研究的难点和重点。利用多个自组织神经网络(SOM)构造一个并行自组织神经网络(CSOM),将肿瘤图像的分割问题转化为并行自组织神经网络的分类问题。实验表明,并行自组织神经网络的应用,有效提高了分割精确度,有利于自动分割的实现。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

基于异构多流网络的多模态人体动作识别

人体动作识别在人机交互、视频内容检索等领域有众多应用,是多媒体信息处理的重要研究方向。现有的大多数基于双流网络进行动作识别的方法都是在双流上使用相同的卷积网络去处理RGB与光流数据,缺乏对多模态信息的利用,容易造成网络冗余和相似性动作误判问题。近年来,深度视频也越来越多地用于动作识别,但是大多数方法只关注了深度视频中动作的空间信息,没有利用时间信息。为了解决这些问题,本文提出一种基于异构多流网络的多模态动作识别方法。该方法首先从深度视频中获取动作的时间特征表示,即深度光流数据,然后选择合适的异构网络来进行动作的时空特征提取与分类,最后对RGB数据、RGB中提取的光流、深度视频和深度光流识别结果进行多模态融合。通过在国际通用的大型动作识别数据集NTU RGB+D上进行的实验表明,所提方法的识别性能要优于现有较先进方法的性能。      

基于语义空间统一表征的视频多模态内容分析技术

视频是数据处理中综合性能最高,包含内容最广的载体.视频题目通过文字表达,内容通过连续图像帧表达,另外部分视频还包含背景音乐或者解说旁白.因此,视频处理即是对文字、图像、声音的多模态处理.着眼于多模态处理技术,提出基于语义空间统一表征的视频多模态内容分析框架,利用多种架构的深度神经网络,对视频的文字、图像、音频进行分别处理,为达到统一的功效,将不同结构的深度神经网络归结到语义空间,通过语义空间进行综合认知.提出的架构清晰、层次分明,对于视频理解的建模具有指导意义.     

融合密集卷积与空间转换网络的手势识别方法

手势识别作为人机交互的方式之一,在人工智能日益发展的今天备受瞩目。针对手势旋转、平移、缩放等形变导致识别率偏低的问题,该文基于密集卷积网络(Densenet)与空间转换网络(STN)提出了一种新型的网络结构Densenet_V2,先利用空间转换网络对输入的样本和特征图进行空间变换和对齐,再利用密集卷积网络自动提取手势的有效特征,最后通过线性分类器对手势进行分类。为防止网络模型对样本数据集过度拟合,对网络进行训练时在损失函数中加入L2正则项以实现权重衰减。在Marcel手势库上进行多次实验。实验结果表明,Densenet_V2可以提高对静态形变手势的识别率。     

基于深度卷积神经网络的场景自适应道路分割算法

现有基于机器学习的道路分割方法存在当训练样本和目标场景样本分布不匹配时检测效果下降显著的缺陷。针对该问题,该文提出一种基于深度卷积网络和自编码器的场景自适应道路分割算法。首先,采用较为经典的基于慢特征分析(SFA)和GentleBoost的方法,实现了带标签置信度样本的在线选取;其次,利用深度卷积神经网络(DCNN)深度结构的特征自动抽取能力,辅以特征自编码器对源-目标场景下特征相似度度量,提出了一种采用复合深度结构的场景自适应分类器模型并设计了训练方法。在KITTI测试库的测试结果表明,所提算法较现有非场景自适应道路分割算法具有较大的优越性,在检测率上平均提升约4.5%。     

基于上下文模糊C均值聚类的图像分割算法

像素间的上下文相关信息对图像分割算法的抗噪性和准确性具有重要意义,现有的模糊C均值(FCM)聚类算法对此缺乏充分考虑.该文基于对空间上下文的可靠性度量,提出一种模糊C均值聚类算法(RSFCM)应用于图像分割:通过对空间上下文有效建模来提高聚类算法的抗噪声干扰性能,并研究了一种新的可靠性模糊度量指标,使聚类算法能更好地平...     

融入空间关系的GMM全色高分辨率遥感影像监督分割方法

为了解决高分辨率遥感影像中相同地物目标异质性和空间破碎性增大及不同地物目标的相似性增强所带来的分割新问题,该文提出一种融入空间关系的高斯混合模型(GMM)高分辨遥感影像监督分割方法。该方法首先按分割区域进行监督采样,并通过最小二乘法进行直方图拟合,对影像中的每个类别区域建立GMM用来精确表征高分辨遥感影像每个分割区域复杂的地物光谱特征;然后在GMM的概率测度域融入空间关系,使每个像素的区域所属由该像素邻域窗口内所有像素概率测度共同决定,以刻画高分辨率遥感影像中像素间的空间相关性;最后按照最大概率测度原则完成对高分辨率遥感影像的分割。为了验证文中算法的可行性与有效性分别对合成影像及真实高分辨率遥感影像进行分割实验,并和经典的FCM方法及HMRF-FCM方法进行对比,定量与定性的结果证明了文中方法能够提高分割精度。     

视频对象分割中基于Gibbs随机场模型的时空分割结合方法

本文提出了一种基于Gibbs随机场模型的时空分割结合方法 ,用于视频对象的分割 .该方法为每一帧图像的分割模板建立Gibbs随机场模型 ,将时间域分割结果作为初始标记场 ,空间域的分割结果作为一个图像观察场 ,然后利用Gibbs模型的约束条件将二者结合起来 ,得到该帧最后的分割标记场 .实验结果表明 ,这种时空结合方法可以较好地避免以往的比重法过分依赖于空间域分割精度的问题 .     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分别达到了88.1%和36.6%的Top-1精度。实验结果表明,该模型的性能有了很大的提高。     

视频对象分割中基于Gibbs随机场模型的空分割结合方法

本文提出了一种基于Gibbs随机场模型的时空分割结合方法,用于视频对象的分割.该方法为每一帧图像的分割模板建立Gibbs随机场模型,将时间域分割结果作为初始标记场,空间域的分割结果作为一个图像观察场,然后利用Gibbs模型的约束条件将二者结合起来,得到该帧最后的分割标记场.实验结果表明,这种时空结合方法可以较好地避免以往的比重法过分依赖于空间域分割精度的问题.     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

基于自组织网络的SAR遥感图像的多尺度分割

基于多尺度信息特征和混合模型,将自组织混合网络(SOMN)应用于合成孔径雷达(SAR)图像的分割.首先对SAR图像的多尺度序列进行多尺度随机建模,以此进行多尺度特征提取;然后对其建立混合模型,并经过SOMN进行学习研究得到混合模型的参数;最后再利用Bayesian分类器,对SAR图像进行分割.实验结果表明,本文方法能够充分地利用SAR图像多尺度序列中不同类型地形的统计信息,进而明显地改进了图像的分割质量.     

基于空间相关性的事件驱动无线传感器网络分簇算法

分簇算法是传感器网络中减少能量消耗的一种关键技术,它能够增强网络的扩展性和延长网络的生存时间。针对传感器节点数据的空间相关性,该文提出了一种新的基于空间相关性的事件驱动传感器网络分簇算法。算法根据用户要求的误差门限及结合节点数据的空间相关性马尔可夫模型,将事件感知区域划分成虚拟极坐标等价层。每个等价层选取层内当前剩余能量最大的节点作为簇头,网络通过移动代理收集簇头感知信息,该方法减少了传输数据量,有效节省了网络能量。