韵律特征在概率线性判别分析说话人确认中的应用

研究韵律特征在说话人确认中的应用。将整个韵律轨迹以固定段长和段移进行片段划分,并对其进行勒让德多项式拟合从而获取连续性的韵律特征,将特征映射到总变化因子空间,并用概率线性判别分析来补偿说话人和场景的差异。在美国国家标准技术研究院2010年说话人识别评测扩展核心测试集5的基础上加入噪声构造测试集,并分别对韵律特征和传统Mel频率倒谱系数进行测试。结果显示,随着信噪比的逐渐减小,Mel频率倒谱系数性能出现大幅度下降,而韵律特征性能相对比较稳定,两种特征融合后能使系统性能得到进一步提升,等错率和最小检测错误代价相对于Mel频率倒谱系数单系统最多能分别下降9%和11%。实验表明,韵律特征应用于说话人识别中具有较强的噪声鲁棒性,且与传统的Mel频率倒谱系数存在较强的互补性。     

面向鲁棒自动语音识别的一致性自监督学习方法

提出了一种基于一致性自监督学习的鲁棒自动语音识别方法。该方法通过使用语音信号仿真技术,模拟一条语音在不同声学场景下的副本;在通过自监督学习方式学习语音表征的同时,极大化一条语音在不同声学环境下对应语音表征的相似性,从而获取到与环境干扰无关的语音表征方式,提高下游语音识别模型的性能。在远讲数据集CHiME-4和会议数据集AMI上的实验表明,所提的一致性自监督学习算法能够取得相比已有的wav2vec2.0自监督学习基线算法30%以上的识别词错误率下降。这表明,所提方法是一种获取噪声无关语音表征、提升鲁棒语音识别性能的有效方法。     

早晚期混响划分对理想比值掩蔽在语音识别性能上的影响

真实环境中存在的噪声和混响会降低语音识别系统的性能。封闭空间中的混响包括直达声、早期反射和后期混响3部分,它们对语音识别系统具有不同的影响.我们研究了早期反射和后期混响的不同划分方法,以其中的早期反射为目标语音,计算出了不同的理想比值掩蔽并研究了它们对语音识别系统性能的影响;在此基础上,利用双向长短时记忆网络(BLSTM)估计理想比值掩蔽,测试它们对语音识别系统性能的影响.实验结果表明,基于Abel早期反射和后期混响的划分方法,理想比值掩蔽能够降低词错误率约2.8%;基于BLSTM的估计方法过低估计了理想比值掩蔽,未能有效提高语音识别系统的性能。     

融合多尺度特征的短时音频场景识别方法EI北大核心CSCD

为解决短时音频场景识别任务中识别性能差的问题,提出一种融合多尺度特征的音频场景识别方法。首先将双声道音频中左右声道的和差作为输入,并使用长时帧长进行分帧处理,以保证提取出的帧级特征中包含足够多的音频信息。然后将特征逐帧输入到融合多尺度特征的一维卷积神经网络中,以充分利用网络中不同尺度的浅层、中层和深层嵌入特征。最后综合所有帧级软标签得到短时音频的场景分类结果。实验结果表明,该方法在国际声学场景和事件检测与分类挑战赛(DCASE) 2021短时音频场景数据集上的准确率为79.02%,实现了该数据集上目前为止的最优性能。     

使用深度学习的多通道水下目标识别

为解决低信噪比条件下水下目标识别率低的问题,提出一种适用于多通道水听器阵列的深度学习水下目标识别方法。首先是采用子通道特征级联的方法利用多通道信息;在特征提取方面,采用对信号的不同频率区间进行加权的特征提取器,并对提取的特征进行正则规整;最后采用深度神经网络(Deep Neural Network,DNN)实现目标识别。实验首先在仿真条件下对所提出方法的有效性进行验证,结果表明在-15 dB信噪比条件下的五目标识别任务中,使用多通道级联特征的深度神经网络的识别正确率达到96.7%,显著高于基于支持向量机(Support Vector Machine,SVM)的方法。在后续的湖上试验中,深度神经网络的平均正确率达到96.0%,进一步验证了所提出方法的有效性。     

成年口吃者流畅朗读中塞音的声学分析

研究对成年口吃者在流畅朗读过程中的塞音进行了声学分析,测量了嗓音起始时间并且计算了塞音爆破时刻的频谱矩,并将口吃者在言语矫治前后与非口吃者进行了对比。多因素方差分析结果显示,口吃者嗓音起始时间虽稍长于非口吃者但未达到统计意义上的显著性差异水平,而且受发音部位和韵母的影响程度较大。同时还观察到矫治前口吃者和非口吃者在塞音爆破段的频谱均值呈现出显著性差异,口吃者频谱均值低于非口吃者可能是由于口吃者舌与齿龈或软硬腭形成阻塞的部位在声道中偏后所导致,还发现口吃者韵母对塞音爆破段频谱的影响较小,此结果表明口吃者表现出相对较弱的协同发音现象。口吃者经过言语矫治后塞音的嗓音起始时间和爆破段频谱有向非口吃者逼近的趋势。     

谐波显著度的基频提取方法

我们提出的谐波显著度的基频提取方法,目的是从语音信号中自动获取人声基频,该方法利用抑制因子计算出基频的谐波显著度谱,对各次谐波显著度加权求和之后进行基频轨迹跟踪确定语音的基频序列。在TIMIT掺噪数据集和音乐信息检索评测2005主旋律数据集上,谐波显著度方法的准确率分别达到了88.5%和73.3%,使倍频、半频错误相对降低了80%。实验表明,基于谐波显著度的基频提取方法增强了系统的抗噪性能以及抗倍半频错误的能力。     

连接时序分类准则声学建模方法优化

对基于连接时序分类准则(connectionist temporal classification,CTC)的端到端声学建模方法进行研究和优化。研究分析了不同声学特征、建模单元以及神经网络结构对CTC声学模型性能的影响,针对CTC模型中blank符号共享导致的建模缺陷提出了建模单元相关的非共享blank方法进行改进,并引入融合建模单元关联信息的模型初始化方法进一步提高CTC模型的性能。在300小时标准英文数据集Switchboard的实验结果显示,结合非共享blank、时延神经网络以及融合建模单元关联信息的初始化方法,CTC声学模型相对于基线系统在词错误率上取得绝对1.1%的下降,同时在训练速度上取得3.3倍的提高,实验结果证明本文针对端到端声学建模提出的优化方法是有效的。     

融合分布对齐和对抗学习的无监督跨域声纹识别

针对声纹识别领域不匹配,且目标领域缺少标注数据的难题,提出在对抗学习基础上融合分布对齐的无监督领域自适应方法,通过训练过程中统计分布的对齐,以减小领域差异,从而提取声音中更有声纹鉴别性的特征,取得了稳定的性能提升。在文本相关的声纹识别任务中,对抗学习和分布对齐的方法能协同发挥作用,等错率相对降低11%;在文本无关的任务中,对抗学习效果不稳定,而分布对齐的方法依然有相对8%的性能提升。实验结果证明该方法在领域不匹配且目标领域缺少标注数据时,能有效提取语音中声纹鉴别信息,稳定提升识别性能。     

最小方差无失真响应感知倒谱系数在说话人识别中的应用

研究最小方差无失真响应感知倒谱系数在说话人识别中的应用。提取最小方差无失真响应感知倒谱系数,对其进行高斯混合模型建模并采用联合因子分析的方法来拟合高斯混合模型中的说话人和信道差异,在美国国家标准技术研究院2008年说话人识别评测核心测试集上分别对最小方差无失真响应感知倒谱系数和传统的Mel频率倒谱系数进行测试。结果显示,两种不同特征的系统性能相当,采用线性融合方法后,在不同测试集上的等错误率相对下降了7.6%~30.5%,最小检测错误代价相对下降了3.2%~21.2%。实验表明,最小方差无失真响应感知倒谱系数能有效应用于说话人识别中,且与传统的Mel频率倒谱系数存在一定程度的互补性。