成年口吃者流畅朗读中塞音的声学分析

研究对成年口吃者在流畅朗读过程中的塞音进行了声学分析,测量了嗓音起始时间并且计算了塞音爆破时刻的频谱矩,并将口吃者在言语矫治前后与非口吃者进行了对比。多因素方差分析结果显示,口吃者嗓音起始时间虽稍长于非口吃者但未达到统计意义上的显著性差异水平,而且受发音部位和韵母的影响程度较大。同时还观察到矫治前口吃者和非口吃者在塞音爆破段的频谱均值呈现出显著性差异,口吃者频谱均值低于非口吃者可能是由于口吃者舌与齿龈或软硬腭形成阻塞的部位在声道中偏后所导致,还发现口吃者韵母对塞音爆破段频谱的影响较小,此结果表明口吃者表现出相对较弱的协同发音现象。口吃者经过言语矫治后塞音的嗓音起始时间和爆破段频谱有向非口吃者逼近的趋势。      

连接时序分类准则声学建模方法优化

对基于连接时序分类准则(connectionist temporal classification,CTC)的端到端声学建模方法进行研究和优化。研究分析了不同声学特征、建模单元以及神经网络结构对CTC声学模型性能的影响,针对CTC模型中blank符号共享导致的建模缺陷提出了建模单元相关的非共享blank方法进行改进,并引入融合建模单元关联信息的模型初始化方法进一步提高CTC模型的性能。在300小时标准英文数据集Switchboard的实验结果显示,结合非共享blank、时延神经网络以及融合建模单元关联信息的初始化方法,CTC声学模型相对于基线系统在词错误率上取得绝对1.1%的下降,同时在训练速度上取得3.3倍的提高,实验结果证明本文针对端到端声学建模提出的优化方法是有效的。      

基于强制对齐的汉语重复性口吃检测方法研究

研究了基于强制对齐的针对汉语的口吃自动检测算法。针对汉语重复性口吃的特点,设计了改进的方案。首先为检测汉语口吃的多音节重复现象,设计了多跨度回环的强制对齐解码网络。然后为降低由于解码网络的复杂化带来的误差,用回溯搜索方法在网络中加入了支路惩罚因子以调节解码趋向。最后为进一步提高检测结果的可靠性,计算置信度,对重复性口吃现象进行了二次判决。试验结果表明,与现有算法相比,采用的改进算法能使重复性口吃检测的错误率相对降低18%左右,有效地改善了重复性口吃检测系统的性能。      

混合双语语音识别的研究

随着现代社会信息的全球化,双语以及多语混合的语言现象日趋普遍,随之而产生的双语或多语语音识别也成为语音识别研究领域的热门课题。在双语混合语音识别中,主要面临的问题有两个:一是在保证双语识别率的前提下控制系统的复杂度;二是有效处理插入语中原用语引起的非母语口音现象。为了解决双语混合现象以及减少统计建模所需的数据量,通过音素混合聚类方法建立起一个统一的双语识别系统。在聚类算法中,提出了一种新型基于混淆矩阵的两遍音素聚类算法,并将该方法与传统的基于声学似然度准则的聚类方法进行比较;针对双语语音中非母语语音识别性能较低的问题,提出一种新型的双语模型修正算法用于提高非母语语音的识别性能。实验结果表明,通过上述方法建立起来的中英双语语音识别系统在有效控制模型规模的同时,实现了同时对两种语言的识别,且在单语言语音和混合语言语音上的识别性能也能得到有效保证。      

基于发音特征的汉语普通话语音声学建模

将表征汉语普通话语音特点的发音特征引入汉语普通话语音识别的声学建模中,根据普通话发音特点,确定了用于区别普通话元音、辅音以及声调信息的9种发音特征,并以此为目标值训练神经网络得到语音信号属于各类发音特征的后验概率,将此概率作为语音识别的输入特征建立声学模型。在汉语普通话非特定人大词表自然口语对话识别系统中进行了实验验证,并与基于频谱特征的声学模型进行了比较,在相同解码速度下,由此方法建立的声学模型汉字错误率相对下降6.8%;将发音特征和频谱特征进行了融合实验,融合以后的识别系统相对基于频谱特征系统的汉字错误率相对下降10.1%。上述结果表明,基于发音特征的声学模型更加有效的实现了对语音特性的表征,通过利用发音特征和频谱特征的互补性,能够进一步实现对语音识别性能的提高。      

用于噪声鲁棒性语音识别的子带能量规整感知线性预测系数

为了提高感知线性预测系数(PLP)在噪声环境下的识别性能,使用子带能量偏差减的方法,提出了一种基于子带能量规整的感知线性预测系数(SPNPLP)。PLP有效地集中了语音中的有用信息,在安静环境下自动语音识别系统使用PLP可以取得良好的识别率;但是在噪声环境中其识别性能急剧下降。通过使用能量偏差减的方法对PLP的子带能量进行规整,抑制背景噪声激励,提出了SPNPLP,增强自动语音识别系统在噪声环境下的鲁棒性。在一个语法大小为501的孤立词识别任务和一个大词表连续语音识别任务上做了测试,SPNPLP在这两个任务上,与PLP相比,汉字识别精度分别绝对提升了11.26%和9.2%。实验结果表明SPNPLP比PLP具有更好的噪声鲁棒性。      

传声器阵列波束比判决语音增强方法

针对单一波束形成器难以深度抑制空间相干干扰的问题,提出了一种综合了最小方差无畸变响应波束形成器与对称子阵延时求和波束形成器的语音增强方法。定义了一种波束输出比因子,根据该因子在目标声区域和干扰声区域的幅值变化,给出了采样协方差矩阵对角加载量的调整方法,并进一步利用该因子在后滤波环节对空间干扰进行判决滤波。文中对判决滤波时的上限阈值和下限阈值的实时更新方法给出了说明。所提出的算法能进一步抑制空间干扰和噪声,且可满足实时需要。在传声器圆阵上的实验表明,该方法在输出信干噪比及语音质量上,均优于经典对角加载算法及采样协方差矩阵扫描重构算法。