基于多流融合网络的 3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于低秩矩阵分解的遥感图像薄云去除方法

为了较好地去除遥感图像中的薄云遮挡,还原地表图像,提出了一种利用低秩矩阵分解的遥感图像薄云去除算法。该算法根据薄云图像的低秩特性,将图像进行低秩矩阵分解,得到背景、前景和薄云图像。然后将去除薄云信息后的前景和背景信息相融合,得到地物成分。将该算法与其他传统算法应用在卫星影像数据上,对薄云去除效果运用主客观指标进行比较。实验结果表明,该算法能够克服传统算法中细节丢失以及去除不完全的问题,不仅能够在不同地物场景下对薄云进行去除,而且能够较好地保留地物的细节信息。     

基于双高斯先验的低秩矩阵分解模型

为了更好地拟合复杂噪声,增强低秩矩阵分解模型的鲁棒性,将双高斯先验引入到传统的高斯混合模型中,提出了基于双高斯先验的低秩矩阵分解(low-rank matrix factorization with double Gaussian prior, DGP-LRMF)模型,通过模型分解得到的2个矩阵均服从高斯先验,从而实现对噪声的有效建模,并在贝叶斯理论框架下利用EM算法实现模型参数的推断。实验结果验证了所提模型能够有效地处理含有复杂噪声的数据,取得了更优且更具稳定性的去噪效果。     

基于低秩描述的特征提取算法

低秩表示算法是通过最小化矩阵核范数来求解低秩表示系数,然而待求解的低秩表示系数的稀疏性低的要求导致求解不稳定的情况。针对这个问题,在基本的图像低秩表示算法中引入一个约束条件来保证系数的最稀疏性,在特征提取过程中来获取图像数据在各个空间中的整体几何结构。通过对不同的加噪图像进行去噪恢复和分类识别,并与现有算法对比,证明改进算法的低秩特性更具有效性和判别性。在ORL库和Yale B库人脸库上的实验结果证明,改进的算法比原算法在图像去噪效果上更有效,具有较高的识别率。     

基于张量分解的鲁棒核低秩表示算法研究

低秩表示算法,如低秩表示（Low-Rank Representation, LRR）,鲁棒核低秩表示（Robust Kernel Low-Rank Representation, LRRRKLRR）,在处理高维数据方面展现了广阔的应用前景,然而这些方法并不适合高阶数据,传统的低秩表示算法通常只对数据的某一特征属性进行降维。在本文中,我们提出了基于张量分解的鲁棒核低秩表示算法（Kernel Low-Rank Representation by Robust Tensor Decomposition, RTDKLRR）,该算法能够处理高阶非线性的张量数据,对噪声更加鲁棒。本文首先对RTDKLRR算法设计目标函数并给出约束条件,其次,设计迭代规则对目标函数进行优化。在合成数据集和真实数据集上的实验结果表明,我们的算法优于同类算法。     

基于多尺度时序交互的第一人称行为识别方法

对于第一人称行为识别任务,现有方法大多使用了目标边界框和人眼视线数据等非行为类别标签对深度神经网络进行辅助监督,以使其关注视频中手部及其交互物体所在区域。这既需要更多的人工标注数据,又使得视频特征的提取过程变得更为复杂。针对该问题,提出了一种多尺度时序交互模块,通过不同尺度的3D时序卷积使2D神经网络提取的视频帧特征进行时序交互,从而使得单一视频帧的特征融合其近邻帧的特征。在只需行为类别标签作监督的情况下,多尺度时序交互能够促使网络更加关注第一人称视频中手部及其交互物体所在区域。实验结果表明,提出的方法在识别准确率优于现有第一人称行为识别方法。     

低秩矩阵和结构化稀疏分解的视频背景差分方法

针对基于矩阵分解的视频前景检测传统算法中忽视前景元素之间相关性会导致检测结果容易受噪声干扰和运动目标检测不完整等问题,提出了一个低秩矩阵和结构化稀疏分解的视频背景差分算法。该算法充分考虑到视频前景区域的结构化分布特征,利用结构化稀疏范数对前景进行约束;针对矩阵分解方法中参数选择的难题,采用了一种基于运动显著性判定的两步法来实现动态背景去除和正则化参数的自适应选择,即第一步利用低秩和结构化稀疏分解获得运动候选块,第二步对运动候选块进行显著性分析并利用自适应正则化参数的块稀疏分解进行前景检测。实验结果表明:与现有的基于矩阵分解的前景检测方法相比,该算法能够更加适应复杂多变的视频环境,在I2R测试库中检测出的前景有较高的精确度和召回率。     

一种运用显著性检测的行为识别方法

针对传统稠密轨迹行为识别法不能很好地区分行为区域和背景的问题,提出一种运用显著性检测的行为识别方法。考虑到视频显著性在较小的时空范围内变化不大,将视频在时域分割为多个短子视频,并将子视频在空域划分成小块,再以块为基础运用一种两阶段显著性检测方法获取每个子视频的行为区域。在检测的第一阶段,将低秩矩阵恢复算法应用于子视频的运动信息计算其初始显著性,并据此将其内所有块划分为候选前景集合和绝对背景集合;在第二阶段,为了将真正的行为区域从候选前景集合中分离出来,利用绝对背景集合中块的运动信息构建字典,通过加权稀疏表示算法计算候选前景集合中每个块的细化显著性,再通过阈值化获取二值显著图用以指示行为区域;最后,将显著图融入稠密跟踪过程以获取行为区域轨迹用于行为识别。基准数据集上的实验结果表明,该方法能够较好地检测视频中的行为区域,获得的识别率高于传统稠密轨迹法2.5%~4.5%。     

低秩与字典表达分解的浓雾霾场景图像去雾算法

针对现有图像去雾算法对浓雾霾场景图像去雾效果不理想的问题,提出了一种低秩与字典表达分解的浓雾霾场景图像去雾算法。首先,根据大气散射物理模型与浓雾霾场景图像中"雾"的全局低秩特性,将退化图像看作低秩"雾"图与相对低秩无雾清晰图像的叠加;其次,将"雾"图表示为字典矩阵与表达矩阵的乘积,从而通过低秩与字典表达分解模型分解出"雾"图;再次,利用双三次插值将分解得到的局部"雾"图推广到全局;最后通过减去"雾"图恢复出无雾的清晰图像。实验结果表明:与现有主流图像去雾算法相比,该算法对浓雾霾场景图像的去雾效果更优,对194幅真实浓雾霾场景图像去雾后,图像平均可见边缘比到达了21.315,平均可见边缘质量因子达到了4.540,图像细节信息得到了较好的恢复。     

基于特征提取的健美操分解动作图像自适应识别方法

为了解决传统方法容易受运动速率、光照情况、遮挡、复杂背景等的影响,导致识别结果鲁棒性较差的问题,通过特征提取方法研究了健美操分解动作图像自适应识别问题。通过时间能量金字塔把视频序列划分成若干段,得到结果中动作并非全为健美操动作,含大量干扰信息,通过背景消减法对进行健美操运动的人体目标进行提取,进行进一步处理,得到人体轮廓的二值图像序列,求出轮廓外界矩形宽度和高度之比,依据宽高比获取关键帧,通过拉普拉斯法求解相邻差异帧与间的光流,降低背景杂波产生的影响。针对关键帧提取特征向量,通过相似性检测对待识别健美操分解动作图像和提取特征进行匹配,设定相似性阈值,将相似性高于阈值的图像作为识别结果。结果表明：所提方法对单人健美操视频数据库的识别准确率高,仅存在一定程度的混淆;所提方法对含不同场景的复杂数据库的识别准确性和其它方法相比最高。可见所提方法受外界环境干扰小,可保证高识别精度。     

基于混合运动激励和时序增强的篮球运动员动作识别算法

为了解决在背景相似的篮球视频中提取特征级运动信息不充分和捕获长时序依赖关系困难等问题,从局部和全局的角度出发,提出一种混合运动激励和时序增强网络(mixed motion excitation and temporal enhancement network,MTE-Net),该网络由在时间建模上互补的混合运动激励(mixed motion excitation,MME)模块和时序增强(temporal enhancement,TE)模块构成。混合运动激励模块通过计算短距离视频帧之间混合的特征级差分来充分表征局部运动信息,并显性地对运动敏感通道进行激励。时序增强模块对长距离视频帧使用自注意力机制来构建时序关联函数并捕获时序之间的全局依赖关系,增强视频中的重要帧序列。在不额外引入光流和过多参数的情况下,在SpaceJam篮球动作数据集上的实验结果表明,与其他主流的动作识别算法相比,所提模型对篮球运动员动作识别的准确率更高。     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

矩阵的满秩分解和强满秩矩阵的三角分解的初等变换法

把矩阵分解为特性矩阵的乘积无论是在矩阵理论的研究还是矩阵的应用中都是相当重要的。通过矩阵的初等变换可实现矩阵的满秩分解和强满秩矩阵的三角分解。     

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

一种基于局部特征融合的表情识别方法

表情识别是人工智能和模式识别的研究热点,而特征融合方法则是表情识别中重要的技术方法之一.基于嘴部的Gabor小波特征和几何特征对表情识别有重要作用,提出一种仅用嘴部不同特征进行特征融合的表情识别方法.该方法将嘴部的Gabor小波特征和几何特征进行特征融合后再使用最近邻分类器分类.根据不同样本库、不同识别方法的对比实验结...     

基于深度残差网络与迁移学习的地形识别方法

针对现有机器人基于深度网络的地形识别方法准确率低、网络训练时间长且需要大量训练数据的问题,提出一种基于深度残差网络与迁移学习的地形识别方法。首先,基于Resnet网络构建一种深度残差网络;其次,利用现有Imagenet大型数据集对构建的深度残差网络进行预训练,作为预训练网络,保留预训练网络除全连接层的训练权重,实现预训练网络大规模的参数迁移;最后,利用自建地形图像数据集对深度残差网络的全连接层进行训练,实现深度残差网络微调。实验结果表明,通过迁移学习的方法,利用深度残差网络对石子路、水泥路、砖地、沥青、草地、泥地6种自建地形图像进行分类,平均准确率达到了99.3%,同时网络训练时间也显著降低。