基于声学特征的乐器识别综述

在机器听觉领域中,语音信号处理与识别早已成为一个传统的研究热点;随着信息科学与技术的迅速发展,音频与音乐信号分析也逐渐成为一个新的研究热点。乐器识别是音乐分析的一个重要应用,其主要的研究方向是基于声学特征的识别,近年来,在该领域有众多研究成果出现。文章对十多年来在基于声学特征的乐器识别领域所取得的研究成果进行综述,总结乐器识别技术常用的声学特征和识别方法。     

基于听觉仿生模型的乐器识别

提出了一个用于乐器识别的听觉仿生系统.该系统基于人类听觉系统中对声源识别起关键作用的耳蜗基底膜、内毛细胞、耳蜗核等部位的生理学功能设计出听觉仿生系统,并对乐器特征进行了提取,进而建立模拟听皮层功能的自组织特征映射神经网络,对构建的由7种乐器243个独奏乐曲样本组成的乐器数据库进行分类识别,乐器识别正确率在75%以上.     

基于多特征与卷积神经网络的人脸表情识别

提出一种多特征与卷积神经网络相结合的人脸表情识别方法。先对人脸表情图像进行预处理,根据人脸面部"三庭五眼"的特征和人脸的几何模型对图像进行裁剪,采用双三次插值法对图像进行缩放。然后提取样本的局部方向模式、二维离散小波变换、Sobel算子三种特征。将这三种特征以三通道图像的形式输入卷积神经网络中进行自适应融合,融合后的特征通过Softmax层进行分类。在CK+数据库的识别率为99.51%,在RAF-DB的识别率为72.1%,识别率都有所提升,验证了所提方法的有效性。     

乐器识别中的时序特征整合

特征整合是指在一个长时窗内将短时窗内的特征向量整合为一个新的单独特征向量的过程。音色是一种长时时序特征,目前常使用的均值和方差获得的长时特征,很难保持音色的时序特性。该文在多变量自动回归模型(multivariate auto regressive,MAR)特征的基础上,利用音乐最小单位音符为处理单元,提出了动态多变量自动回归模型(dynamic MAR,DMAR)特征,实现了音色时序特征整合;并将该特征向量应用于乐器音色识别中,同时在乐器识别的后处理中,利用加权平均求概率的方法去判断歌曲所属类别,使8种乐器的平均识别率从75.7%增加到87%,取得了较大提高。     

基于空间聚合加权卷积神经网络的力触觉足迹识别

为了提高力触觉足迹识别的准确率,提出一种基于空间聚合加权注意力机制的足迹识别算法.首先,采用压力足迹采集器采集并构建一个包含100人2 000幅力触觉足迹图像的数据集;然后,采用VGG19卷积神经网络预训练模型提取特征,为获取特征图中足迹压力分布感兴趣区域,设计一种空间聚合加权模块(SAWM),该模块专注高响应区域从而提取足迹中显著区域局部特征,并与输入特征图加权融合,保留显著性特征,抑制不重要特征;最后输出的特征经过平均池化在全连接层实现力触觉足迹的识别.试验结果表明,所提算法准确率达到了91.20%,优于其他注意力机制算法以及传统的足迹识别算法.采用空间聚合加权注意力机制网络模型能够有效进行足迹识别,为身份识别提供技术支撑.     

基于卷积神经网络的中国乐器分类

中国乐器有着丰富的种类,但过去由于缺少数字化的保存形式,在音乐信息检索领域有关它们的研究很少.基于中国音乐学院收集完成的中国乐器数据库,本文旨在找到每种中国乐器各自独有的声音特征,并希望找到泛化能力较强的模型以更好地利用有限的数据集.使用卷积神经网络并以对数Mel声谱图作为输入特征,在所构建的两个子数据集中实现了超过97%的分类准确率,说明所构建的模型能较好地学习到每种乐器的特征.此外,当以较短片段数据集训练的模型来对较长片段的数据集进行分类时,准确率依然高达92.70%,说明模型具有较好的泛化能力.     

生物DNA图谱中干扰下的特征识别与分割

生物DNA图谱的拍摄容易受到仪器、周围环境等各种因素的干扰,当前方法的生物DNA图谱识别效果不佳,提出一种改进的生物DNA图谱识别方法,根据采集得到的DNA图谱结构特征,将生物DNA图谱输入多层迭代分割网络中,采集输入生物DNA图谱的局部特征,对采集到的特征进行层层迭代处理,得到更高级特征,利用卷积能够区分细小特征这一优势,将最终获取的特征转换成卷积操作,将该结果看作是输入生物DNA图谱的表征,可有效去除粘黏干扰,依据该特征进行分类,实现生物DNA图谱识别。实验结果表明,采用所提方法对生物DNA图谱进行识别,能够在很大程度上提高生物DNA图谱识别的准确性。     

基于卷积循环神经网络的中国民族复音音乐的乐器活动检测

针对中国民族复音音乐的乐器活动检测问题,提出了一种基于卷积循环神经网络(CRNN)的复音乐器活动检测方法,该方法属于事件检测类,在秒级的时间分辨率上识别乐器活跃的起止时间及乐器种类.同时,在中国音乐学院的DCMI数据库基础上,构建了3种不同的面向10种中国民族乐器的复音数据集进行训练和评估.通过实验,我们将CRNN模型与CNN模型进行了比较,验证了模型的特点和优势.     

基于多步态特征融合的情感识别

在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征,本文提出自适应融合的方法,将骨骼时空信息与骨骼旋转角度结合,提升了现有模型的情感识别精度。本文模型利用自编码器,学习人类行走时的骨骼旋转信息,利用时空图卷积神经网络提取骨骼点时空信息,将骨骼旋转信息与时空信息输入自适应融合网络,得到最终特征进行分类。模型在Emotion-Gait数据集上测试,实验结果显示：悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点;总体分类的平均MAP值提高了5个百分点。     

基于鸣声组合特征与CNN的电网危害鸟种识别

为了辅助电网涉鸟故障的差异化防治,提出一种基于组合特征和卷积神经网络 （Convolutional Neural Network,CNN）的电网危害鸟种鸣声识别方法 . 根据历史涉鸟故障的鸟 种信息及输电线路周边鸟种调查结果,选择13种高危鸟类、8种微害鸟类和2种无害鸟类建立 鸣声样本集;对鸟种鸣声信号进行分帧、加窗、降噪和剪裁等预处理,提取鸟鸣 Mel 倒谱系数 （Mel-frequency Cepstrum Coefficients,MFCC）、Gammatone 倒 谱 系 数（Gammatone Frequency Cepstrum Coefficients,GFCC）和短时能量（Short-term Energy,STE）特征 . 针对单一特征表达能 力不足的问题,将MFCC及其一阶差分、GFCC及其一阶差分和STE归一化后进行组合,生成新 的鸣声特征集 . 搭建卷积神经网络模型对组合特征进行训练和识别,鸟种鸣声测试集的识别 正确率达91.8%,较单一MFCC和GFCC特征表现更为优异.     

基于多尺度特征选择网络的人脸表情识别

首先, 针对人脸表情识别问题提出一种新的多尺度特征选择网络识别方法, 该网络充分结合多尺度网络结构和特征选择结构的优点, 能更有效地提取面部静态图像中的空间信息. 其次, 为验证本文提出的多尺度特征选择网络的识别性能和泛化能力, 在两个经典的人脸表情识别数据集上与一些常用的方法进行对比和交叉验证实验. 实验结果表明, 该网络取得了更好的识别效果, 并且具有良好的泛化能力, 可以灵活地嵌入到人脸表情识别分析系统中.     

基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.830 4、0.782 7和0.794 4,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。     

治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

一种用于图像检索的幂归一化深度卷积特征加权聚合方法

针对图像检索中基于部位的加权聚合(PWA)方法存在的视觉突发问题,提出一种幂归一化的深度卷积特征加权聚合方法。首先简化了原PWA方法中用于确定空间权重的归一化和幂变换操作,直接将所选择的有区分性的通道特征图作为空间权重矩阵,然后引入新的幂变换函数并选取合适的参数对加权聚合后的通道响应进行归一化处理,最后通过PCA降维和白化处理形成图像的全局特征表示形式。在4个标准数据库上的图像检索实验结果表明,该方法能有效调节PWA聚合特征响应的突发度并提高图像检索的准确率。     

基于卷积神经网络的连续语音识别

在语音识别中,卷积神经网络( convolutional neural networks,CNNs)相比于目前广泛使用的深层神经网络( deep neural network,DNNs),能在保证性能的同时,大大压缩模型的尺寸。本文深入分析了卷积神经网络中卷积层和聚合层的不同结构对识别性能的影响情况,并与目前广泛使用的深层神经网络模型进行了对比。在标准语音识别库TIMIT以及大词表非特定人电话自然口语对话数据库上的实验结果证明,相比传统深层神经网络模型,卷积神经网络明显降低模型规模的同时,识别性能更好,且泛化能力更强。     

基于PRPD图谱多特征融合的局部放电类型识别研究

局部放电(partial discharge, PD)信号的检测能够为电力系统提供绝缘缺陷诊断和运行状态评估。现有的局部放电类型识别算法难以有效识别相似度较高的绝缘缺陷,限制了其应用范围。为此,提出一种基于PRPD(phase resolved partial discharge)图谱多特征融合的局部放电类型识别算法。该算法利用卷积神经网络(convolutional neural network, CNN)提取局部放电PRPD图谱图像特征,将图像特征与PD信号统计特征进行有效融合,利用融合特征识别局部放电类型。在实验室环境下建立了4种局部放电模型,并进行了模拟对比实验。实验结果表明,相比传统的支持向量机(support vector machine, SVM)和反向传播神经网络(back propagation neural network, BPNN)算法,所提出方法的正确识别率分别提高了12.82%和19.70%,对相似度较高的缺陷类型也能进行有效识别,算法具有较好的鲁棒性。     

基于时频空多维融合特征的脑电情感识别

脑电信号(Electroencephalogram,EEG)包含丰富的时间,空间和频率信息,是最能准确反映情感状态的生理信号,在情感识别领域发挥着重要作用。由于单特征的脑电情感识别研究方法存在缺失信息的问题,因此提出了三维融合特征的脑电信息处理方法,将脑电信号的微分熵频域特征和八种时域特征进行融合,按照电极片位置信息进行空间排布,提取脑电信号的三维混合特征。将注意力机制引入多任务卷积神经网络(Multi Task Attention Convolutional Neural Network,MTA-CNN),并将构造的三维特征作为输入进行测试分析。结果表明,所提出模型方法在DEAP数据集的效价维和唤醒维二分类问题准确率均有显著提升。     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于文本情感特征的心理评估模型

构建基于文本情感特征的心理评估模型. 首先, 根据词语的情感极性和词性设计词语特征, 将文本中的每个词语映射成情感词向量, 进而将其作为卷积神经网络的输入, 并加入注意力机制对输出结果进行优化, 得到包含情感特征的文本向量表示. 其次, 使用Bayes正则化算法优化权值, 控制并平衡神经网络拟合程度, 改进BP神经网络算法的网络泛化能力. 最后, 将文本向量作为Bayes正则化神经网络的输入, 预测学生的心理状态, 与心理评估结果的对比实验结果表明, 模型效果较理想.      

基于多模特征的足迹识别算法

基于足迹压力数据提出一种基于多模特征足迹识别算法.该算法采用连通区域滤波法实现足迹压力数据的去噪,对去噪后的数据提取足迹图像的形态特征、压力特征及卷积特征,并基于各特征权重实现足迹多特征的优化融合,最后采用支持向量机(SVM)分类器进行分类识别.实验结果表明:在50人的足迹压力数据上,三类不同模态足迹的识别准确率分别达到了100%,99.925%和94.445%,相较于仅采用形态特征和压力特征的识别,所提出算法的平均识别率提高了10.285%,表明该识别算法能够有效进行足迹识别.