汉语语音合成系统评价方法

从1994年开始，对汉语语音合成系统的工作性能定期举行全国评测．采用语言清晰度测试方法，1994年对五个不同的合成系统进行了评测和诊断．听音人为16名大学生（男8，女8），对合成言语没有经验．听音人响应是开放的听音记录．同时，还采用十点主观评价（MOS）测定言语自然度．为给出各合成系统音段层的诊断信息，对合成语音的辅音知觉混淆矩阵进行了分析．借助于对比自然言语和合成言语在不同语言层次上清晰度试验得分间的统计关系，来考察合成系统韵律特征处理的缺陷．结果表明，采用上述方法可得到评测合成系统工作性能的稳定合理的指标．有关韵律特征的评价方法有待于进一步发展．     

合成言语自然度的研究

在过去的十年中，中国科学院声学研究所建立了一个文语转换系统，它包括语音库，声调模型和基本合成规则．无限词汇的汉语合成问题初步解决，但合成言语的自然度必须进一步改进．我们对语言的音段特征和超音段特征对合成言语自然度的影响做了研究，结果表明影响合成言语自然度的基本因素是语言的节奏和协同发音．本系统所采用的声调模式适合于单句合成，对于大于单句的语言单元的合成，必须十分仔细地控制语调才能达成高自然度．本文介绍利用主观评价对合成语言自然度进行研究的方法和结果．     

模型化F_O曲线中升降模式控制机制

本文研究产生语音信号中Ｆ０曲线的控制机制模型化策略。基于对声带动态行为建立的若干假设，提出一个将复杂的Ｆ０喉控制机制简化成可定量化的物理模型，进而导出一种产生局部Ｆ０升降模式的控制机制模型函数。由模型参数定义的驱动命令，控制产生两类基本升降特征模式，在对数标尺上，相互独立的驱动命令产生的升降模式代数和，近似给定的Ｆ０曲线局部特征。分析合成汉语普通话Ｆ０曲线结果表明，该模型函数不仅能高精度地拟合给定Ｆ０曲线的局部变化特征，而且主要模型参数同Ｆ０模式时序结构存在很好的相关性。提出的模型函数有助于韵律规则总结，为按规则合成Ｆ０曲线奠定坚实基础。     

基于数据挖掘算法的汉语合成韵律参数预测方法

韵律模块是语音合成系统中的重要组成部分,韵律特征参数的描述正确与否直接影响合成系统的输出,针对目前语音合成系统中缺乏对前后音节的韵律参数之间关系的有效描述,提出一种新的韵律参数预测方法——数据挖掘技术来发现音节韵律参数之间的相互关系,通过其中的关联规则模型对这些关系进行描述,并基于关联发现算法获得汉语韵律参数中基频参数和时长参数的变化规则,研究表明这些规则可以较好地为多样本拼接合成系统的选音提供帮助和指导。     

按规则合成无限词汇汉语语声的研究

本文研究了由计算机输入汉语拼音字符,以汉语音素作为声元素,根据语音的韵律规则合成连续汉语语声的方法。该方法数据量少,便于控制语音、语调。实验表明,利用该方法构成汉语文-语转换系统是可行的。     

汉语综合资料库的设计

语言是人类最重要的交际工具，随着现代信息技术的发展，语言也是人与机器之间交际的有效工具．近年来世界各国纷纷建立本国的言语资料库作为言语科学研究和言语技术开发的基础．汉语综合资料库的语音材料有：汉语全部有调音节、数字串、单词、韵律特征材料，以及语言清晰度试验用音节表、词表、句表和有代表性的短文等．汉语综合资料库在语言学和语音学特征以及声学特征方面充分体现汉语的基本特点．首先要解决语料选取问题，考虑各种语言单位的使用频率，不仅要包括全部高频词，也要反映较全面的语音现象．数据库在结构上是开放的模块式的，同时配有灵活的数据库管理系统．     

汉语文语转换系统中可训练韵律模型的研究

针对汉语的韵律特征受语境参数影响时,表现出层次性的特点,本文描述了一种带特殊加权因子和输出优化功能的人工神经网络,并用其来构筑汉语ＴＴＳ系统的韵律模型。大量测试表明,该人工神经网络的拓扑结构相较传统的人工神经网络模型更能反映出汉语的韵律特点。它提高了模型本身的收敛速度和运算精度,从而改善了整个韵律模型的质量。同时,本文还对汉语音节的基频曲线进行了规格化处理,较详细的分析了音节基频规格化参数－ＳＰｉＳ,在基频调节中的作用和方式。ＳＰｉＳ参数能够反映出汉语的声调特点,且方便了网络模型的建立和汉语韵律的控制。     

汉语人机对话系统语音试验材料集设计

根据汉语语音特点,为汉语人机对话系统设计了反映汉语语音主要特征、现象的语音试验材料集,作为汉语人机对话系统语音知识库的素材,用于研究语音合成规则、训练语音识别模板等.语音材料的选择以全面、典型、适量为原则,以反映汉语语音的韵律特征和音色特征的变化规律为目的,分别以声调及其组合、声韵组合为基础选择语音材料.全部材料已用数字录音机录制完毕.     

基于言语数据库的汉语音高下倾现象研究

提出了一种通过语句中声调音域低音点和次低音点求出语调短语低音线的方法,并以低音线为基准,考察从大规模言语语料库中随机抽取的汉语自然语句的语调特征。研究结果表明,与已有的汉语句末语调理论不同,汉语同样具有各种语言中普遍存在的音高下倾和重置的语调特征。低音线的下倾和重置可以出现在音步、语调短语和语句等不同的韵律单元中,表现最明显的是在语调短语这一级。实验结果支持汉语语调双线模型中高音线和低音线语言学功能不同的观点。     

普通话中语段重音对小句声学特征的调节

对汉语普通话新闻语篇朗读语料的分析表明,被置于语段中的小句,作为重音标志的音高和音长将发生变化。语段小句与孤立小句相比,音高变化集中表现在小句调核上,是高音点的整体降低,而不同类别的重音,音高降低的程度不同。在语段中,非语段重音的小句重音呈现出较明显的弱化,即表现为音高降低和音节时长缩短。在多个小句构成的语段中,说话人可以利用各小句重音的强弱变化来实现对语段的韵律调节,进而实现对语篇韵律的整体控制和顺畅的语义表达。语段重音及小句重音的研究将实验语音学引进了播音语言教学,也有助于汉语合成语音的韵律控制。      

普通话常规重音分布规则的研究

采用心理统计方法对中等规模语料库进行分析，探讨句法、韵律及其声学相关物之间的关系，根据汉语口语常规重音分布的规律，研究普通话常规重音分布规则及其在实际话语中应用的先后次序，最终建立适用于汉语文语转换系统的常规重音分布规则系统。     

多路实时、高音质数字串合成系统

根据汉语普通话中数字串发音的韵律规则和特点,利用LMA语音合成器,实现了一种全新的数字串报号系统。本系统可以在不足300kbytes的极小的音库容量下,通过采用预先计算、查表拼接快速处理方法,在各种特定应用场合下多路实时实现高自然度、高音质的任意多位的数字号码的合成语音。测听实验和用户反馈信息均表明,合成输出语音的听觉效果已经可以与播音员原始发音相媲美。     

汉语重音的凸显度分析与合成

重音是重要的语调特征,重音合成技术可以提高语音的自然度和表现力。针对重音的局部凸显性,该文提出了声学特征凸显度的表示方法,分析了不同韵律位置(韵律词首、中、尾,韵律短语首、中、尾等)重音音节的声学特征凸显度,发现在韵律单元末(韵律词末音节和韵律短语末韵律词)的重音其基频最大值凸显度要低于非韵律单元末重音,提出了基于声学特征凸显度的非线性的重音声学参数生成算法,解决了传统重音声学参数线性修改算法的修改幅度不足或过大的问题。采用该算法建立了基于隐Markov模型的支持重音合成的语音合成系统。实验表明,该系统可以有效合成带有重音的语音,提高了合成语音的自然度和表现力。     

汉语重音的凸显度分析与合成

重音是重要的语调特征,重音合成技术可以提高语音的自然度和表现力。针对重音的局部凸显性,该文提出了声学特征凸显度的表示方法,分析了不同韵律位置(韵律词首、中、尾,韵律短语首、中、尾等)重音音节的声学特征凸显度,发现在韵律单元末(韵律词末音节和韵律短语末韵律词)的重音其基频最大值凸显度要低于非韵律单元末重音,提出了基于声学特征凸显度的非线性的重音声学参数生成算法,解决了传统重音声学参数线性修改算法的修改幅度不足或过大的问题。采用该算法建立了基于隐Markov模型的支持重音合成的语音合成系统。实验表明,该系统可以有效合成带有重音的语音,提高了合成语音的自然度和表现力。      

关于汉语音节知觉空间的实验研究

通过心理物理实验方法建构汉语音节知觉的多维空间结构,寻求有关汉语音节知觉的客观表现。结果表明,在声学特征层面上,音高和时长是音节知觉结构的主要维度;在韵律层面上,句中位置、韵律词长度等指标比较直观地反映了音节在知觉多维空间中的分布。     

汉语和英语音高重音自动标注方法的对比与分析

虽然汉语和英语的重音自动标注被广泛的研究,但是关于汉语和英语的重音自动标注之间对比的研究还鲜有报道。基于汉语韵律标注库ASCCD和英语韵律标注库Boston University Radio News Corpus,对汉语和英语的重音自动标注的异同进行对比,考察不同的特征在不同语言的语料库上的泛化性能。通过基于集成分类回归树的重音自动标注实验、特征分析及基于互信息的重音自动标注的声学对比,得到如下结论:在相同的条件下,汉语重音自动标注的正确率比英语重音自动标注的正确率要低;在重音自动标注中,词典语法相关特征比声学相关的特征更重要;不同的声学信息源在重音自动标注中所起的作用不同,时长相关的特征对汉语和英语重音自动标注都很重要;英语中大部分特征提供的互信息要比汉语相应的特征提供的互信息要高。      

汉语二字调图样分析及其在合成语言中的应用

当人们说汉语(普通话)时,尽管其调值因人而异,但调型必须具有一定的模式才能成为听辨上的区别特征。这是汉语语言本身的重要特点。 关于汉语声调图样的分析,人们曾经做了大量的研究工作。不过,大部分工作只限于定性分析,或者从数学上寻找其近似表达式。要把以前的结果直接应用于按规则合成语言的工程设计就有点困难。本文给出有关汉语二字调图样的15组统计结果,每种图样可简单地用一个时域上归一的函数P(t)来描述,它反比于语调周期T_0(t),而正比于该字最低基频的倒数T_(0max)。 按照我们的分析数据,文中还给出汉字二字调的其它若干特点: (1)每种声调的起始和结尾部分总有“弯头”和“降尾”的过渡状态,这种过度状态约占全声调图样的10％—15％。本文用一个多维数组q(15,2,n)来描述这种过渡状态; (2)二字词第一字的上声调并不显示出它那最后部分的上升调值。该现象曾被汉语语言学家和语音学家称为“半上声调”; (3)二字词第二字的调长比第一字的调长稍短,大约为第一字调长的66％。 上述的声调图样P(t)能直接用于按规则合成汉语语言,而且有助于改善合成语言的自然度。     

合成无限词汇汉语语言的初步研究

本文介绍一个采用双音素为声元素,在频率域上合成无限汉语词汇的模拟系统。它具有如下特点: 1)可以直接从键盘输入汉语拼音文字,不需要特别的正音转写过程; 2)韵律(包活音长、幅度、语调和停顿)的控制十分方便,尤其是可以根据每个汉字发音的长短,能自动地控制汉语的语调轮廓; 3)使用七个并联的“时变数字滤波器”作为声道系统的“终端模拟”。在数字滤波过程中,对于浊音,直接计算声道的脉冲响应;对于清音,一个调制过程代替了滤波过程; 4)由于利用事先制好的数据表,使合成的时间缩短。 曾利用该模拟系统合成了一篇约400个汉字的实验短文,并在10个中国人当中听写测验,初步结果表明,平均句子可懂度为90％,最高可达97％。     

汉语连续语音数据库的语料设计

质量优良的语音识别系统或语音合成系统需要高质量的、在语音学和语言学知识指导下设计的科学合理简洁有效的连续语音数据库的支持．在目前阶段,汉语语音数据库应限制在朗读言语（readspeech）的音段方面。为了描写语流中的音变现象,考虑如下语音单元：（1）不计声调的音节（401个）。（2）音节间的双音子415个。（3）音节间的三音子3035个,这是根据37个基本音子,利用音节间共振峰过渡的研究结果,按规则规纳的结果．（4）所有音节间过渡段的韵母一声母结构,采用和同三音子相同的归并方法,共781个．为了增加不同的韵律结构,并考虑语音识别系统的后处理,语料还包括汉语的17类基本句型．选用1993、1994两年的“人民日报”、“百家报刊精选”及若干电视剧本、词典词库作为语料库的原始语料,从中选出2185个句子和388个短语作为朗读语料,它们覆盖了99．8％个无调音节,100％的双音子,99．6％的三音子,以及17类句型。     

汉语语句重音对音高和音长的影响

提高汉语合成语音的自然度的关键是要建立一个完善的汉语韵律模型．本文以连续的广播语言为研究对象,对汉语中语句重音对韵律特征参数的影响进行了初步探讨,分析了不同语句重音条件下音长和音高的变化及其相互关系,指出：（1）音高是语句重音的基本表达手段,随着语句重音级别的提高,音高分布曲线向高频方向推移。（2）在连续语流中词被‘重读”和“轻读”的情况下,音长分布出现双峰,表示它们的音长有的受语句重音的影响,有的不受语句重音的影响。（3）在“正常”、“重读”和“轻读”王种情况下,音高和音长的相互关系分别是：不相关、负相关和正相关,证实了汉语语句重音音高和音长之间的互补关系。这些研究结果为汉语会成系统中韵律模型的建立提供了基础。在此基础上,本文又用神经网络对连续语音的语句重音进行了部分标注,开集中的分类结果正确率为63％,对语音数据中重音等级的自动标注方法作了探索。