基于异构多流网络的多模态人体动作识别

人体动作识别在人机交互、视频内容检索等领域有众多应用,是多媒体信息处理的重要研究方向。现有的大多数基于双流网络进行动作识别的方法都是在双流上使用相同的卷积网络去处理RGB与光流数据,缺乏对多模态信息的利用,容易造成网络冗余和相似性动作误判问题。近年来,深度视频也越来越多地用于动作识别,但是大多数方法只关注了深度视频中动作的空间信息,没有利用时间信息。为了解决这些问题,本文提出一种基于异构多流网络的多模态动作识别方法。该方法首先从深度视频中获取动作的时间特征表示,即深度光流数据,然后选择合适的异构网络来进行动作的时空特征提取与分类,最后对RGB数据、RGB中提取的光流、深度视频和深度光流识别结果进行多模态融合。通过在国际通用的大型动作识别数据集NTU RGB+D上进行的实验表明,所提方法的识别性能要优于现有较先进方法的性能。      

多模态网络环境异构标识空间管控架构研究

基于多模态网络环境,针对异构标识空间互通和切换问题,提出了一种异构标识空间管理控制架构。首先,给出了异构标识空间管控设计目标与原则,建立了网络模态主动选择和被动切换逻辑模型,将分布式的异构网络空间兼容问题转换为集中式的网络层功能适配问题。在此基础上,完成了控制平面异构标识空间管控功能架构和功能模块设计,给出了异构标识空间管控的具体流程。最后,基于多模态网络环境构建了原型验证系统,对所提出的异构标识空间管控架构及其相关功能进行验证。     

基于领域专用软硬件协同的多模态网络环境构造技术

信息网络与经济社会深度融合发展带来了网络模态共生共存、动态并发、演进变革融合态势.首先,从基于多模态网络环境的垂直行业应用需求出发,提出了一种基于领域专用软硬件协同的多模态网元设计方案,讨论了多模态网络环境构造关键技术;然后,针对多样化网络模态对网元内异构资源竞争的问题,提出了一种存算转一体的异构软硬件资源分配方法,根...     

基于光照感知权重融合的多模态行人检测算法

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题,提出一种基于光照感知权重融合的多模态行人目标检测算法。首先,使用引入高效通道注意力（ECA）机制模块的ResNet50作为特征提取网络,分别提取两个模态的特征;其次,对现有光照加权感知融合策略进行改进,通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重,并进行加权融合得到融合特征,从而降低算法的检测漏检率;最后,将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络,完成行人目标检测。实验结果表明,所提算法在KAIST数据集下具有良好的检测性能,在全天候下对行人目标的检测漏检率为11.16%。     

多模态融合情感分析模型研究

本文提出了一种新颖的多模态情感分析模型。该方法利用发音连续帧上的特定界标的位移来提取发音特征。并分析每个界标时间变量的时间序列。并提取主要的视觉特征,然后将所有特征融合起来,最终构建出特征矢量,以此对情感进行分析。     

基于多模态遥感影像的边缘感知引导显著性检测

针对多模态遥感影像显著性检测鲁棒性差和检测精确度不佳等问题,提出一种基于多模态边缘感知引导的显著性检测方法,该方法主要由多模态遥感影像显著检测主干网络、跨模态特征共享模块和边缘感知引导网络构成。通过在特征提取主干网络中加入跨模态特征共享模块,使得不同模态间特征通过共享交互实现协同增强,并且抑制具有缺陷的特征信息。基于边缘感知引导网络,通过边缘图监督模块来检测边缘特征的有效性,从而生成准确边界。在3种显著目标检测遥感图像数据集上进行实验,平均的F_β、平均绝对误差(MAE)、S_m分数分别为0.917 6,0.009 5和0.919 9。实验结果表明,提出的多模态边缘感知引导网络(MEGNet)适用于在多模态场景中进行显著性检测。     

面向多模态网络的可编程数据处理方法及系统设计

针对多模态网络面临的兼容多种路由标识、网络协议和网络应用数据处理的问题,提出了一种兼容多模态的可编程数据处理方法.通过模态识别与分流模块识别不同网络模态的数据包,利用数据类型、偏移和长度表示多种类型的数据,并利用可选择匹配算法和处理动作的匹配动作数据表组成模态数据处理管道,处理不同类型网络的数据.利用所提方法,实现并验...     

物联网感知层标准体系架构研究

从感知层在物联网体系架构中的重要性出发,结合感知层的共性需求和特定需求,提出一种物联网感知层的标准体系架构,并对其中各模块进行详细介绍,最后总结下一步的研究方向。     

基于协同学习的频谱智能感知方法

目前无线通信网络频谱环境时空分布复杂多变,现有多用户协同感知方法数据预处理繁琐,感知效率低下。为此,在由用户感知层和边缘融合层构成的系统架构下,提出了一种基于协同学习的频谱智能感知算法。用户感知层采用多分支卷积循环门控神经网络,利用原始归一化能量信号的底层结构信息,实现本地感知。边缘融合层基于自注意力机制进行消息传播,融合用户感知层中各个非授权用户的感知结果得出最终决策。实验表明,在信噪比为-20 dB以及5个用户协同感知的情况下,该方法能在虚警概率为1.91%时达到18.3%的检测概率,相比对比模型提升了6.1%,且不需要对原始数据额外预处理,降低了算法的复杂度。     

光纤传感技术在物联网中的应用

物联网是当前的一个研究热点,而光纤传感技术在物联网中的应用已经引起了广泛关注。物联网的技术构成有4个层次,分别是用户与应用接口、数据处理技术、数据传输网络、传感网络。在物联网中要用到各种各样大量的传感器。传感器可用于感知各种各样的环境参数,如温度、重力、光电、声音、位移、振动等,为物联网提供最原始的数据信息。对光纤传感器的结构、分类以及其在物联网中的应用实例进行介绍,如光纤陀螺,光纤水听器、光纤光栅传感器、光纤电流传感器。最后介绍了基于布里渊效应的连续分布式光纤传感技术在物联网中的前沿应用。     

一种多用户协同频谱感知功率控制方案

分析和研究了多用户协同频谱感知原理,通过时分方式,实现了多用户之间的频谱共享。同时为避免对主用户产生有害的干扰,从用户通过一种算法控制它的发射功率,保证主用户的通信服务质量。最后对多用户协同频谱感知和单用户频谱感知的性能进行了仿真研究,结果表明多用户协同频谱感知可以明显提高频谱感知的性能,克服阴影/衰落作用的不利影响,提高频谱利用率。     

Collaborative Spectrum Sensing for Illegal Drone Detection: A Deep Learning-Based Image Classification Perspective

Drones,also known as mini-unmanned aerial vehicles(UAVs),are enjoying great popularity in recent years due to their advantages of low cost,easy to pilot and small size,which also makes them hard to detect.They can provide real time situational awareness information by live videos or high definition pictures and pose serious threats to public security.In this article,we combine collaborative spectrum sensing with deep learning to effectively detect potential illegal drones with states of high uncertainty.First,we formulate the detection of potential illegal drones under illegitimate access and rogue power emission as a quaternary hypothesis test problem.Then,we propose an algorithm of image classification based on convolutional neural network which converts the cooperative spectrum sensing data at a sensing slot into one image.Furthermore,to exploit more information and improve the detection performance,we develop a trajectory classification algorithm which converts theflight process of the drones in consecutive multiple sensing slots into trajectory images.In addition,simulations are provided to verify the proposed methods’performance under various parameter configurations.     

基于gSOAP的物联网异构数据交换技术的研究

近年来,随着物联网建设的不断深入,庞大的数据处理和信息共享服务与日俱增,物联网数据交换处理问题面临巨大挑战。针对目前企业或政府部门都已形成自己独有的数据库体系,推行物联网建设时将会遇到异构数据的互通性问题,提了一种以gSOAP作为编译工具,XML作为中间数据模型的数据交换技术。该研究成果将有利于解决各部门间所面临的信息融合问题,有利于大量数据在网络中的传输,有利于数据在传输过程中实时查询、提取、分析。可进一步弥补我国在物联网数据交换标准中的空白,为实现黑龙江省乃至我国物联网产业化的宏伟目标提供技术参考。     

Energy-Based Collaborative Spectrum Sensing for Cognitive UWB Impulse Radio

This paper focuses on the issue of collaborative spectrum sensing in cognitive ultra wideband (CUWB) impulse radio. We employ energy-based signal detection method and apply the Neyman-Pearson (NP) deci...     

面向异构传输需求的多无人机通信协同抗干扰决策方法

干扰条件下的多无人机通信中,用户根据业务有不同的通信需求,而各个信道质量也不同,对抗干扰通信决策提出了业务需求与资源匹配的新要求。针对外部对抗性干扰场景下,多个用户如何选择适合的信道和功率,在干扰躲避、内部冲突控制以及功率优化的同时实现有限资源的高效利用这一问题进行研究,提出了一种面向传输需求匹配的抗干扰决策方法。首先,利用部分重叠信道的特性进行信道资源复用;然后,运用多用户协同强化学习训练用户信道选择策略,并使用斯坦伯格博弈对功率进行优化,实现对用户异构传输需求进行资源匹配。所提方法能实现干扰条件下的多用户异构传输需求的信道和功率联合优化,提升资源利用合理性,实现传输效果的提升。     

物联网产业化发展思路与泛在无线通信技术研究

文章基于物联网的特征、技术思想及其与新兴产业的关系,重点研究了实现物联网产业化应用的关键——泛在无线技术,主要包括末梢感知层、网络融合层、无线资源管理以及对数据进行综合处理的信息处理等关键技术。文章指出物联网的本质是利用"泛在网络"实现"泛在服务",是一种更加广泛深远的未来网络应用形态。物联网正催生一场战略性新兴产业革命,将带来千载难逢的机遇,全面推动社会的经济振兴和社会进步。     

认知电力物联网电视频谱感知方法

基于认知无线电(CR)技术的电力物联网(IOTIPS)通过频谱感知实现对空闲授权频段的接入,可以有效提高频谱利用率,由于电力物联网的通信环境复杂,载波频偏无法避免,提出一种适用于电视频段授权用户数字地面多媒体广播(DT-MB)的复合相关检测算法,可以在大载波频偏条件下保持对DTMB信号稳定的检测性能,提升了通信网络的可靠性.同时基于复合相关检测的协作频谱感知,可以有效降低隐藏终端对感知性能的不利影响,提高认知电力物联网的通信效率.