采用低维特征映射的耳语音向正常音转换

在将耳语音转换为正常音时,为了研究降维后语音特征对耳语音转换的影响,分别对耳语音和正常音谱包络进行自适应编码以提取耳语音和正常音的低维特征,然后使用BP网络建立耳语音和正常音低维谱包络特征之间的映射关系以及正常音基频和耳语音低维谱包络特征之间的关系。转换时,根据耳语音低维谱包络特征获得对应正常音的低维谱包络特征和基频,对低维谱包络特征进行解码后获得对应的正常音谱包络。实验结果表明,采用此方法转换后的语音与正常音之间的倒谱距离相比高斯混合模型方法下降了10%,转换后语音的自然度和可懂度都有所提高。      

采用扩展型双线性变换法将耳语音转换为正常语音的研究

提出了一种采用扩展型双线性变换将耳语音转换为正常语音的方法。根据耳语音在不同频段的共振峰偏移程度不同,将耳语音的频谱进行分段处理,在此基础上建立耳语音转换为正常语音的转换函数。由于耳语音在各频段相对于正常语音非线性偏移,在双线性变换函数中引入扩展因子,使其对频谱的非线性偏移与对共振峰带宽的压缩更加符合耳语音转换为正常语音的实际转换需求,有效减小了转换语音与正常语音的谱失真距离。实验结果表明,本文的转换语音在音质和可懂度上均得到了有效提高。      

语音识别中多种特征信息综合利用的方法

在基于特征的语音识别研究中,往往会发现其中有些特征的识别性能对一些音比另一些音更好,而另一些特征却与此相反。它们在一些音的识别特性上存在着一定程度的互补。本文基于目前话音识别研究主要方法之一的HMMM识别方法,提出了三种有效综合利用这种互补关系提高HMM识别性能的方法。作者分别称它们为顶尖参数法,全部参数法和最可靠参数法。这三种方法在多发音人汉语数字的DHMM/VQ语音识别中,分别将识别率由89％提高到了92.3％、95.7％、94.3％。本文将详细介绍这三种方法,及其在多发育人汉语数字的DHMM/VQ语音识别中试验结果极及其分析。     

基于声韵分割的汉语单音节识别方法

本文提出一种以声韵分割为基础的汉语无调单音节识别方法。这种方法由于引入声韵分割信息和声韵分段判别,显著改善了单音节的正识率。用三男一女的发音对全部403个汉语无调音节考核结果表明,第一位平均正识率为83.9％,前三位平均正识率为96.0％。     

汉语耳语音孤立字识别研究

耳语音识别有着广泛的应用前景,是一个全新的课题.但是由于耳语音本身的特点,如声级低、没有基频等,给耳语音识别研究带来了困难.本文根据耳语音信号发音模型,结合耳语音的声学特性,建立了一个汉语耳语音孤立字识别系统.由于耳语音信噪比低,必须对其进行语音增强处理,同时在识别系统中应用声调信息提高了识别性能.实验结果说明了MFCC结合幅值包络可作为汉语耳语音自动识别的特征参数,在小字库内用HMM模型识别得出的识别率为90.4%.     

基于发音特征的汉语普通话语音声学建模

将表征汉语普通话语音特点的发音特征引入汉语普通话语音识别的声学建模中,根据普通话发音特点,确定了用于区别普通话元音、辅音以及声调信息的9种发音特征,并以此为目标值训练神经网络得到语音信号属于各类发音特征的后验概率,将此概率作为语音识别的输入特征建立声学模型。在汉语普通话非特定人大词表自然口语对话识别系统中进行了实验验证,并与基于频谱特征的声学模型进行了比较,在相同解码速度下,由此方法建立的声学模型汉字错误率相对下降6.8%;将发音特征和频谱特征进行了融合实验,融合以后的识别系统相对基于频谱特征系统的汉字错误率相对下降10.1%。上述结果表明,基于发音特征的声学模型更加有效的实现了对语音特性的表征,通过利用发音特征和频谱特征的互补性,能够进一步实现对语音识别性能的提高。      

基于连续高斯混合密度HMM的汉语全音节语音识别研究

本文在大量语音分析实验的基础上，对ＨＭＭ用于汉语全音节语音识别进行了较为深入的探讨，建立了一个连续高斯混合密度ＨＭＭ的汉语全音节语音识别系统．该系统在训练算法上撇开了传统的Ｂａｕｍ－Ｗｅｌｃｈ算法，代之以计算复杂度小、存储量小、迭代次数少且具有自动分割效应的分段Ｋ平均算法。对于ＨＭＭ的模型单元的选择，单元的结构以及模型参数的选取，充分考虑了汉语语音的特点；并在语音特征上做了深入的实验分析工作，采用了符合人耳听觉特性的Ｍｅｌ－Ｓｃａｌｅｄ参数，用ＦＦＴ倒谱代替了ＬＰＣ倒谱，同时利用了语音的动态谱特征和能量特征。另外，本文还针对汉语声母的特点，独特地提出了变帧移分析策略。整个识别系统的首选正识率为９１．１％．     

基于听觉模型的耳语音的声韵切分

本文分析了耳语音的特点，并根据生理声学及心理声学的基本理论与实验资料，提出了一种利用听觉模型来进行耳语音声韵切分的方法。这种适用于耳语音声韵切分的听觉感知模型主要分为四个层次：耳蜗对声音频率的分解机理；听觉系统的时域和频域非线性变化；中枢神经系统的侧抑制机理。这种模型能反映在噪声环境下人对低能量语音的听觉感知特性，因而适于耳语音识别，在耳语音声韵母切分实验中得到了满意的结果。     

全音节汉语语音识别系统的声学模型研究

本文在分析了汉语单音节发音的音节结构的基础上，定义了基于声韵母类的语音识别单元，从声学角度确定了用于汉语全音节识别系统的声学单元，并研究了这些声学单元的检测一致性及基于这些单元的识别系统的鲁棒性。文中还对大量的发音人的声母类发音的长度作了统计，给出了基于本文给出的分割算法和本文定义的声母单元下的声母长度预分类方法。通过在非特定人全音节汉语语音识别系统上的应用表明，本文定义的语音识别单元具有很高的检测一致性，建立在其上的识别，系统也具有很高的鲁棒性；文中给出的预选方法在最好的情况下，可以减少一半以上的运算量，而预选精度几乎达到１００％。     

二维Arimoto熵直线型阈值分割法

Arimoto熵是一种广义熵形式.本文首先指出了已提出的二维Arimoto熵阈值分割法的表述错误,给出了正确的二维Arimoto熵阈值分割法;然后提出了二维Arimoto熵直线型阈值分割法,并给出了快速递推公式;对Arimoto熵公式中参量的选择进行了探讨,并基于标准图像进行了分割性能评估.大量分割实验表明,二维Arimoto熵直线型阈值法至少与二维Arimoto熵和二维Renyi熵直线型阈值法分割效果相当;在图像边缘和噪音信息丰富的情况下,二维Arimoto熵直线型阈值法的分割效果优于二维Arimoto熵和二维Renyi熵直线型阈值法,是一种有效的图像阈值方法.     

卷积噪声环境下语音信号鲁棒特征提取

提出了一种基于独立分量分析(ICA)的语音信号鲁棒特征提取算法,用以解决在卷积噪声环境下语音信号的训练与识别特征不匹配的问题。该算法通过短时傅里叶变换将带噪语音信号从时域转换到频域后,采用复值ICA方法从带噪语音的短时谱中分离出语音信号的短时谱,然后根据所得到的语音信号短时谱计算美尔倒谱系数(MFCC)及其一阶差分作为特征参数。在仿真与真实环境下汉语数字语音识别实验中,所提算法相比较传统的MFCC其识别正确率分别提升了34.8%和32.6%。实验结果表明基于ICA方法的语音特征在卷积噪声环境下具有良好的鲁棒性。      

汉语语音资料库的语音学标记及人工切分

介绍了汉语语音综合资料库的一个子库：CAS－SYL。该数据库包括汉语全部有调音节1267个,共计10个发音人;全部语音数据由人工完成音段切分及语音学标注。针对汉语音节的声韵结构,语音学标注水平被定位在半音节层次上．语音学标注符号系统采用了计算机可读的音标符号系统一汉语SAMPA－X（extendedSAMPhoneticAlphabet）．还介绍了语音学标注策略,音段定位原则,基于语音波形的声门关闭时刻：GCI（GlottalClosedInstant）的声学线索。同时对声韵间的协同发音的声学体现进行了总结。最后对人工切分带来的非稳定性进行了分析．     

汉语连续语音识别中一种新的音节间相关识别单元

考虑汉语连续语音中的协同发音现象对语音识别性能的提高是非常重要的。针对汉语语音的特点,提出了一种新的在汉语连续语音识别中考虑音节间协同发音现象,对声学模型进行细化的识别单元。然后基于语音学知识对音节间上下文影响进行分类,实现单元间状态参数的共享,降低了模型的复杂程度,保证了模型的可训练度。这种方法和传统方法的最大不同在于:这种方法完全利用语音学知识进行聚类,而传统方法采用数据驱动的聚类方式。识别实验表明,基于语音学分类的音节间相关识别单元对识别性能有明显的改善,系统的首选误识率降低了17％。     

采用损失函数和声学特征切分声韵母的方法

为实现鲁棒的声韵母切分,以满足大词汇量连续语音识别系统的需求,提出一种建立损失函数,并利用浊音的“准”周期性和声母时长进行声韵母切分的方法。首先计算语音的自相关函数,接着建立代价损失函数,对计算结果采用动态规划方法检测浊音,然后根据声母时长分布规律确定声母的检测范围,最后在检测范围内对浊音段起始点前后采用听觉事件检测方法分割出声韵母。实验结果表明,采用动态规划方法相对于阈值方法提高了浊音段的检测性能,在浊音段的基础上对声韵母进行切分能够提高切分的正确率,减少噪声及汉语音变现象的影响,切分性能受声母发音方式影响较小。      

汉语听觉视觉双模态数据库CAVSR1.0

听觉视觉双模态语音识别在国际上已经逐渐成为当前语音识别的热点之一,汉语的双模态识别研究也已开始启动。然而,由于视觉信息获取及处理难度极大,目前的双模态语音数据库的建设尚显薄弱,汉语方面更是空白。鉴于此,我们在进行听觉视觉双模态语音识别关键技术研究的同时,在分析国外同类数据库的结构的基础上,结合汉语语音的特点,建立了汉语语音的第一个双模态数据库ＣＡＶＳＲ１．０。它具有如下特点：采用的语料涵盖所有声韵母,其规模（总数据量、音节量）超出目前国际上同类数据库;语料分布符合汉语声韵母的实际分布概率,因此其反映的规律具有代表性;捆绑了自动音节分割程序及脸部主要特征标定程序,使数据库具有很强的可扩展性。     

汉语人机对话系统语音试验材料集设计

根据汉语语音特点,为汉语人机对话系统设计了反映汉语语音主要特征、现象的语音试验材料集,作为汉语人机对话系统语音知识库的素材,用于研究语音合成规则、训练语音识别模板等.语音材料的选择以全面、典型、适量为原则,以反映汉语语音的韵律特征和音色特征的变化规律为目的,分别以声调及其组合、声韵组合为基础选择语音材料.全部材料已用数字录音机录制完毕.     

汉语孤立字全音节实时识别系统

本文在大量语音实验的基础上,对汉语语音识别方法进行了较为深入的探讨,并以IBMPC/AT配以自行研制开发的TMS320C25-E型高速信号处理板为硬件基础,建立了一个特定人汉语普通话全音节实时识别系统.该系统针对汉语普通话的语音特点,采用了分层识别策略.整个系统响应时间小于0.2秒,用4遍1240个全音节语音对系统进行的严格测试表明:系统四声识别的平均正确率为99％左右,音节识别前5个候选的正确识别率分别为82％,91％,94％,96％,97％;同时,本文根据这一测试结果建立了相应的声韵母混淆矩阵和基于Shepard方法的相似度集群分析树图,并对照汉语语音合成清晰度测试结果及汉语语音知觉结构的集群分析结果,对本系统各部分进行了较为深入的分析,提出了相应的改进措施.     

基于修正Mel域掩蔽模型和无语音概率的耳语音增强

提出了一种基于修正Mel域听觉掩蔽模型和无语音概率的耳语音增强方法。该方法根据耳语音的发音特点对Mel频率进行修正,对每一帧耳语音信号进行Mel域频带滤波,同时通过无语音概率(SAP)动态地确定每个频带的听觉掩蔽阈值,对不同的听觉掩蔽阈值自适应地调整谱减系数来进行耳语音增强。对增强后的耳语音进行客观和主观测试,结果表明,该方法与其它谱减法相比,能将残留噪声和背景噪声控制在人耳掩蔽阈值下,取得更小的语音失真,主观听觉也得到了很大的改善。      

一种用于强噪声环境下语音识别的含噪Lombard及Loud语音补偿方法

针对语音识别中由于强噪声的影响而引起的Lombard和Loud效应进行研究,提出了基于训练数据的加性噪声和Lombard及Loud效应的联合补偿法。对于加性噪声是从谱减法的逆向角度对训练数据在频谱域采用谱加法;对于Lombard和Loud语音,则采用基于隐马尔可夫模型(HMM)状态标注的训练数据补偿,该方法同时考虑Lombard和Loud语音不同声学单元的不同状态在倒谱域的多种变化和多种变异情况下不同声学单元的音长及相对音长的变化。这种基于数据的多模式补偿使模型自动适应多种噪声和语音变异情况,在强噪声环境下具有很强的鲁棒性,并且不影响识别系统在正常环境或正常发音时的识别性能.同时,由于补偿是在训练过程中得到,不增加识别时的计算复杂度。     

基于二维直方图和模糊熵准则的阈值化方法

图像分割是图像分析、识别和理解的基础。图像分割主要是指将图像分成各具特性的区域并提取出感兴趣目标的技术,其研究多年来一直受到人们的高度重视;阈值化法是图像分割的一种重要方法,在图像处理与识别中广为应用;针对图像分割中细节往往被忽略导致后续处理困难的问题,基于模糊关系和最大模糊熵原理提出了一种阈值化方法,对二维直方图进行模糊分割;为了获得图像分割中的细节,提出的方法根据最大熵原则自动确定模糊区域和门限,进而获得二维模糊熵和遗传算法最优解,最后获得图像细节;通过对不同灰度水平和颜色类型图像进行实验比较,实验结果表明提出的方法优于二维非模糊方法和一维模糊熵分割法,得到该方法在图像分割中获得细节的结论。