基于高斯噪声与ST-GCN的人体骨架动作识别

针对基于ST-GCN的骨架动作识别中人工预定义的邻接矩阵结构单一、难以捕捉到非相邻关节点之间的相关性这一问题,提出了一种基于高斯噪声的扰动机制.在人工预定义的骨架图邻接矩阵上引入高斯噪声,利用该噪声扰动ST-GCN中固定的邻接矩阵,捕捉非相邻关节点之间的相关性,运用该方法在具挑战性的NTU RGB+D和Kinetics-Skeleton两个大规模数据集上进行了分类识别实验,结果表明：该方法在两大数据集上的识别精度高达95.34%和36.43%,在节约计算量的前提下有效地提高了动作识别的性能.     

基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征,提高行为识别精度,提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点,再融合各关节点与主关节点之间的向量和关节点间的骨骼长度,获取瞬时状态下关节点的相对位置关系;然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态;最后,将时空信息融合到时空图卷积网络中,进行端到端训练。【结果】与时空图卷积网络识别算法相比,在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%,在NTU RGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。     

基于特征优选和图像相似度的人体动作识别算法

有效提取特征有利于提高后续人体动作识别的准确率。针对人体动作识别时方向梯度直方图(histogram of oriented gradient,HOG)特征维数过高和相似动作不好区分的问题,提出一种基于特征优选和图像相似度的人体动作识别算法。实验对比三种降维方法主成分分析法(principal component analysis,PCA)、PCA+Pearson、PCA+Spearman处理后的动作识别率,证明PCA+Pearson相关系数的降维效果最佳。同时将全局特征八星模型与降维后的局部特征HOG特征组合在一起全面表征人体动作,并计算相邻两帧图像相似度,自适应分配一个判别周期内单帧支持向量机分类结果的统计权值,最后二次分类人体姿态识别结果。在标准数据集KTH上进行实验,该算法识别准确率为94. 5%,较其他方法有所提高,在视频人体动作识别领域有较好应用价值。     

基于字典学习的77GHz雷达人体动作识别

基于视觉的人体动作识别方法对光线和视距环境较高,并且存在侵犯隐私的问题,在应用中有局限性。为了解决这个问题,提出一种基于毫米波雷达和字典学习的人体动作识别方法。首先对人体动作的雷达回波信号进行时频分析得到时频图,再使用两种特征提取方法对时频图进行降维描述,将两种降维后的数据融合,通过LC-KSVD字典学习算法同时学习多特征字典和一个线性分类器,最后根据稀疏系数和线性分类器来识别动作。在此基础上,设计77 GHz毫米波雷达动作识别实验系统,结果表明:算法在10种人体动作数据集上达到了97.7%的识别准确率,可见所提方法实现了对人体动作的准确识别。     

融合全局与局部特征的UWB雷达人体动作识别算法

为了消除雷达信号中杂波和噪声对人体动作识别的干扰,提高小样本数据下动作识别的精度,在去除杂波及噪声干扰的基础上,提出一种融合全局与局部特征的超宽带（ultra-wideband,UWB）雷达人体动作识别算法。用动目标指示（moving target indication,MTI）结合自适应中值滤波对雷达原始回波信号进行预处理,再对人体动作的雷达二维特征图像利用主成分分析（principal component analysis,PCA）提取主要分量作为全局特征表征,并用二维离散小波变换（2D discrete wavelet transform,2D-DWT）结合奇异值分解（singular value decomposition,SVD）获取特征图像在不同方向与尺度划分下动作的局部特征表征,并将全局与局部特征进行串联融合;根据融合特征,在网格搜索算法（grid search,GS）优化的支持向量机（support vector machines,SVM）模型中实现人体动作的识别分类。实验结果表明,该算法能有效获取雷达信号中的人体动作信息,平均识别准确率为95.63%,具有良好的识别性能。     

基于流形假设的骨架序列动作识别算法

骨架数据是通过对动作的空间几何位置进行编码获取,可以避免冗余背景信息的干扰, 是动作识别领域常用的数据类型之一.现有骨架数据的动作识别主要分为经典的骨架数据表征和基于深度学习的骨架动作识别应用.相较于传统欧氏度量下的识别方法,流形为更好地研究非线性结构提供了重要数学工具. 然而,目前仍缺乏利用流形假设对骨架数据进行动作识别的相关总结. 因此,从骨架表示、轨迹时间对齐、动作序列表征以及动作分类 4 个关键步骤出发,系统地总结了基于流形假设的动作识别工作,对比了各项工作在基准数据集上的表现. 最后,根据当前动作识别工作的发展趋势,对流形假设在动作识别方向上的进一步改进进行了展望.     

基于双流多关系GCNs的骨架动作识别方法

为了更好地提取并融合人体骨架中的时序特征和空间特征,文章构建了融合时空域注意力模块的多流卷积神经网络(AE-MCN)：针对目前大多数方法在建模骨架序列相关性时因忽略了人体运动特性而没有对运动尺度进行适当建模的问题,引入了自适应选取运动尺度模块,从原尺度动作特征中自适应地提取关键时序特征;为了更好地对特征进行时间维度和空间维度上的建模,设计了融合时空域的注意力模块,通过对高维时空特征进行权重分配,进而帮助网络提取更有效的动作信息。最后,在3个常用的人体动作识别数据集(NTU60、JHMDB和UT-Kinect)上进行了对比实验,以验证AE-MCN网络的有效性。实验结果表明：与ST-GCN、SR-TSL等网络相比,AE-MCN网络都取得了更好的识别效果,证明AE-MCN网络可以对动作信息进行有效的提取与建模,从而获得较好的动作识别性能。     

基于注意机制的仿生人体动作识别

针对已有的仿生动作识别系统计算量大、耗时长的问题,提出了在系统中加入注意机制的方法.该方法模仿注意机制在人类视觉中所起的重要作用,将视频中运动目标的活动区域作为视频图像的显著区域划分出来,然后结合视频图像的显著区域获取不同动作的特征模板.此方法在一定程度上克服了视频的背景噪声对系统性能的影响,同时更准确地模拟了人类视觉机制.实验结果表明：该方法能较好地改善人体动作识别模型的识别速度和识别结果.     

基于特征提取的健美操分解动作图像自适应识别方法

为了解决传统方法容易受运动速率、光照情况、遮挡、复杂背景等的影响,导致识别结果鲁棒性较差的问题,通过特征提取方法研究了健美操分解动作图像自适应识别问题。通过时间能量金字塔把视频序列划分成若干段,得到结果中动作并非全为健美操动作,含大量干扰信息,通过背景消减法对进行健美操运动的人体目标进行提取,进行进一步处理,得到人体轮廓的二值图像序列,求出轮廓外界矩形宽度和高度之比,依据宽高比获取关键帧,通过拉普拉斯法求解相邻差异帧与间的光流,降低背景杂波产生的影响。针对关键帧提取特征向量,通过相似性检测对待识别健美操分解动作图像和提取特征进行匹配,设定相似性阈值,将相似性高于阈值的图像作为识别结果。结果表明：所提方法对单人健美操视频数据库的识别准确率高,仅存在一定程度的混淆;所提方法对含不同场景的复杂数据库的识别准确性和其它方法相比最高。可见所提方法受外界环境干扰小,可保证高识别精度。     

基于统计特征的人脸识别研究

奇异值特征向量是用于图像识别的有效代数特征,但直接用奇异值特征向量做匹配进行人脸识别,识别率极低。通过对人脸图像奇异值向量和其对应的左右正交特征矩阵分析,发现图像的奇异值向量与图像的灰度范围具有相关性,即最大奇异值反映了图像灰度范围的位置,其他奇异值反映了灰度范围的宽度,而且与图像奇异值向量对应的左右正交特征矩阵能够表现图像轮廓的结构信息。基此,提出基于奇异值分解（singular value distribution,SVD）的基空间人脸识别算法,并通过ORL和ORL-IC数据库进行仿真,实验结果分析证明了图像的左右正交特征矩阵能够表现图像轮廓的结构信息。     

基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.830 4、0.782 7和0.794 4,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。     

基于HMMs和SVM的人体日常动作序列分割识别研究

随着微机电系统(MEMS)研究的精细化,人体传感器网络(简称体感网)技术在医疗监护领域有了长足发展,而人体动作分析与识别是体感网中富有挑战性的研究课题.采用动态隐马尔可夫模型(HMMs)方法对基于用体感网技术的人体动作序列进行了分割,并且对分割精准度进行了度量分析.从实验结果可以看到,动态HMMs方法优于LIR和Top-Down方法,其分割精准度达到了80%以上.对分割后的数据提取均值、方差等特征,采用支持向量机(SVM)方法分类识别的结果表明所提分割方法具有良好的稳健性,平均识别准确率在89%左右,与手动分割接近.     

基于Adaboost关键帧选择的多尺度人体动作识别方法

针对手工制作关键帧检测器和最初“特征包”方法的局限性,提出一种基于Adaboost关键帧选择和多尺度运动特征表示的人体动作识别方法.首先,从视频序列中提取兴趣点,使用生物启发特征结合光流的多尺度方法提取运动特征;然后,利用Adaboost学习方法从一个大的特征池中选取最具辨识度的几帧图像,并将排列前十的Adaboost帧作为相应的关键帧;最后,利用相关图表示关键帧,由支持向量机(support vector machine,SVM)完成人体动作分类.在KTH、多视图IXMAS和TUM数据库上的实验结果显示,该方法在3个数据库上的识别精度可分别高达95.5％,93.7％和91.5％,识别性能明显优于其他几种较新的方法,表明利用Adaboost学习算法可有效选取每个视频动作序列的关键帧,并有效解决了“特征包”方法的局限性问题.     

基于深度特征学习的藏语语音识别

根据听觉语音学的知识,提出使用稀疏自动编码器在MFCC特征基础上进行深度学习,提取了深度特征模仿听觉神经的稀疏触动信号,有利于HMM模型语音识别精度的提高.实验结果显示,学习到的深度特征较MFCC特征在藏语语音识别正确率方面有明显提高.     

改进Retinex算子融合特征搜索的图像识别算法研究

针对人脸图像识别系统易受光照干扰,在复杂背景下,易识别出伪目标,使其识别精度不高等难题,综合考虑高斯核函数的x,y方向,设计新的Retinex识别算子;并调用Open CV函数库中训练好的Hear分类器来进行模式匹配,形成了基于Open CV的人脸检测机制;再引入PCA特征搜索方法,搜索人脸信息;最终提出了人脸识别耦合特征搜索的安防系统解决方案。并测试该系统的性能,结果表明:与当前基于Retinex与PCA的识别算法相比,该算法具有更高的识别精度;且识别效率更高,能满足实时性要求。     

基于特征融合的面部表情识别

针对传统Gabor变换在提取表情特征时,冗余较大、特征维数较高的不足,结合ASM自动特征定位技术,提出了一种基于特征点Gabor特征和ASM形状特征相融合的面部表情识别方法. 实验表明,两种特征的融合,可有效地利用特征点的局部纹理信息和脸部器官的整体形状信息,达到了更好的面部表情识别效果.     

基于深度特征蒸馏的人脸识别

在人脸识别系统中,深度学习由于强大的表征能力被广泛应用,但模型推理的高计算复杂度和特征表示的高维度分别降低了特征提取和特征检索的效率,阻碍了人脸识别系统的实际部署.为了克服这两个问题,本文提出一种基于深度特征蒸馏的人脸识别方法,该方法通过多任务学习实现大深度模型知识与领域相关数据信息的蒸馏,从而统一地压缩深度网络参数及特征维度.联合特征回归与人脸分类,以预训练的大网络为教师网络,指导小网络训练,将知识迁移得到轻量级的学生网络,实现了高效的特征提取.在LFW人脸识别数据集上进行了实验,学生模型在识别精度相比教师模型下降3.7%的情况下,模型参数压缩到约2×107、特征维度降到128维,相比教师模型分别获得了7.1倍的参数约减、32倍的特征降维及95.1%的推理复杂度下降,表明了方法的有效性和高效性.     

基于实体模型的自动特征识别技术

提出一种基于特征实体模型的自动特征识别方法,该方法依据特征实体造型的特点,从零件的设计特征入手,通过遍历零件的造型特征,获取零件模型上所有特征的几何关系及对应的特征参数、约束,实现形状特征的自动识别,为CAD／CAPP的集成提供支持．应用实例验证该方法具有较强的适用性．