基于Transformer的普通话语声识别模型位置编码选择

具有自注意机制的Transformer网络在语声识别研究领域渐渐得到广泛关注。该文围绕着将位置信息嵌入与语声特征相结合的方向,研究更加适合普通话语声识别模型的位置编码方法。实验结果得出,采用卷积编码的输入表示代替正弦位置编码,可以更好地融合语声特征上下文联系和相对位置信息,获得较好的识别效果。训练的语声识别系统是在Transformer模型基础上,比较4种不同的位置编码方法。结合3-gram语言模型,所提出的卷积位置编码方法,在中文语声数据集AISHELL-1上的误识率降低至8.16%。     

合成语声的声学分析及识别特征算法

当前社会新型犯罪中电信诈骗案件频发,急需一种能够自动有效区分语声真伪的方法。为进一步增强目前深度学习领域识别合成语声的能力,为保障语声信息安全提供技术上的支持,针对合成语声声学特性上异于真实语声的特点,分析对比合成语声和真实语声的声学特性,设计了一种声学特征均方根角量化语声声强变化程度,结合基频变化率和语声窄带频谱图声学特征进行融合,量化了声学特性差异,聚焦了合成语声中关键声学信息。在神经网络模型中融合输入声学特征,在FoR数据集的验证集上得到了0.6%的等错误率,在测试集上最好结果达到了10.8%的等错误率。该文成功实现了对合成语声的识别,证实了声学特征的有效性和研究方案的可行性,在一定程度上拓宽了合成语声特征设计的研究思路。     

基于Transformer编码器的合成语声检测系统

自动说话人认证系统是一种常用的目标说话人身份认证方案,但它在合成语声的攻击下表现出脆弱性,合成语声检测系统试图解决这一问题。该文提出了一种基于Transformer编码器的合成语声检测方法,利用自注意力机制学习输入特征内部的长期依赖关系。合成语声检测问题并不关注句子的抽象语义特征,用参数量较小的模型也能得到较好的检测性能。该文分别测试了4种常用合成语声检测特征在Transformer编码器上的表现,在国际标准的ASVspoof2019挑战赛的逻辑攻击数据集上,基于线性频率倒谱系数特征和Transformer编码器的系统等错误率与串联检测代价函数分别为3.13%和0.0708,且模型参数量仅为0.082 M,在较小参数量下得到了较好的检测性能。     

按规则合成无限词汇汉语语声的研究

本文研究了由计算机输入汉语拼音字符,以汉语音素作为声元素,根据语音的韵律规则合成连续汉语语声的方法。该方法数据量少,便于控制语音、语调。实验表明,利用该方法构成汉语文-语转换系统是可行的。     

迁移学习在OCT视网膜图像自动分类上的应用

利用光学相干断层技术(OCT)产生的视网膜疾病图像是分类眼科疾病的重要措施。目的是利用四种不同分类模型的迁移学习方法对糖尿病黄斑水肿、老年性黄斑变性、玻璃疣三种病变的OCT视网膜图像进行自动分类,实现迁移学习在OCT图像分类上的应用。将VGG-16、Inception V3、MobileNet V2、ShuffleNet-V2这四种神经网络模型在大规模图像分类数据集预训练好后,进行模型微调和训练参数更新,进而找到实现上述三种眼科疾病自动分类的最优模型,达到高效的OCT视网膜病变自动分类效果。实验结果表明,四种模型中轻量型MobileNet V2经模型微调后的评价指标优于其他模型。     

注意力机制融合前端网络中间层的语声情感识别

为了使机器能够更好地理解人的情感并改善人机交互体验,可对语声特征及分类网络进行融合以提升情感识别性能。本文从网络融合的角度,把基于梅尔倒谱系数和逆梅尔倒谱系数的二维卷积神经网络和基于散射卷积网络系数的长短期记忆网络作为前端网络,提取前端网络的中间层作为话语级的特征表示,利用压缩-激励(SE)通道注意力机制对前端网络的中间层的权重进行调整并融合,然后由深度神经网络后端分类器输出情感分类结果。在汉语情感数据集中进行五折交叉验证的对比实验,实验结果表明,基于SE通道注意力机制的网络融合方式可以有效地利用不同前端网络在语声情感识别任务中的优势,提高语声情感识别的准确率。     

人耳听觉相关代价函数深度学习单通道语声增强算法

均方误差函数是深度学习单通道语声增强算法最常用的一种代价函数。然而,均方误差值的大小与语声质量好坏并非完全相关。为了提高算法性能,该文在深度神经网络训练中引入了两类与人耳听觉相关的代价函数。第一类是加权欧氏距离代价函数,考虑了人耳听觉掩蔽效应;第二类是Itakura-Satio代价函数、COSH代价函数和加权似然比代价函数,强调语声谱峰的重要性,侧重于恢复干净语声谱峰信息。基于长短期记忆网络结构分析比较了两类代价函数在深度学习单通道语声增强算法中的性能,并与均方误差代价函数进行对比。实验结果表明,基于加权欧式距离代价函数的深度神经网络单通道语声增强算法能够获得更好的语声质量和更低的噪声残留。     

基于中文语音识别技术的舰艇指挥训练系统的研究

针对舰艇指挥训练系统的特点,提出了一种利用语音识别技术提高其训练效率的方法;首先分析了舰艇指挥指令的语言特点,然后研究了基于Sphinx平台的汉语连续语音识别的相关问题,包括声学模型的训练、语言模型的训练及语音识别引擎等;最后设计并实现了一个非特定人,中等专用词汇量的连续汉语语音识别系统;实验采用了一定数量的数字和专用词汇进行验证,结果表明,经过声学模型训练后,该系统的识别率有较大提高;该方法对提高舰艇指挥训练系统的自动化水平具有一定的指导意义。     

深度复卷积递归网络模型的师生学习语声增强方法

基于深度神经网络的方法已经在语声增强领域得到了广泛的应用,然而若想取得理想的性能,一般需要规模较大且复杂度较高的模型。因此,在计算资源有限的设备或对延时要求高的环境下容易出现部署困难的问题。为了解决此问题,提出了一种基于深度复卷积递归网络的师生学习语声增强方法。在师生深度复卷积递归网络模型结构中间的复长短时记忆递归模块提取实部和虚部特征流,并分别计算帧级师生距离损失以进行知识转移。同时使用多分辨率频谱损失以进一步提升低复杂度学生模型的性能。实验在公开数据集Voice Bank Demand和DNS Challenge上进行,结果显示所提方法相对于基线学生模型在各项指标上均有明显提升。     

房间脉冲响应模拟法及混响时间盲估计应用

在构建混响语声数据集时,由于缺乏真实长混响房间脉冲响应且模拟的房间脉冲响应与真实不符,因而导致数据驱动的混响时间盲估计模型性能下降。提出了一种基于条件生成对抗网络的房间脉冲响应模拟法,该方法利用真实的房间脉冲响应训练条件生成对抗网络,可以根据指定的混响时间模拟更加真实的房间脉冲响应。使用不同方法模拟的房间脉冲响应构建训练集用于训练盲估计模型,通过声学实验评估模型性能。实验结果表明,由该方法模拟的房间脉冲响应训练的估计模型在不同信噪比下均具有最小的均方根误差且在长混响情况下显著优于其他模型。     

重庆方言语音识别系统的设计与实现

语音识别赋予了计算机能够识别出语音内容的功能,是人机交互技术领域的重要研究内容。随着计算机技术的发展,语音识别已经得到了成熟的发展。但是关于方言的语音识别还有很大的发展空间。中国是一个幅员辽阔、人口众多的国家,因此方言种类繁多,其中有3000多万人交流使用的重庆方言就是其中之一。采集了重庆方言的部分词语的文本文件和对应的语音文件建立语料库,根据重庆方言的发音特点,选取重庆方言的声韵母作为声学建模基元,选取隐马尔可夫模型(Hidden Markov Model, HMM)为声学模型设计了一个基于HMM的重庆方言语音识别系统。在训练过程利用语料库中训练集语料对声学模型进行训练,形成HMM模型库;在识别过程利用语料库中的测试集语料进行识别测试。实验结果表明,该系统能够实现重庆方言的语音识别,并且识别的正确率为100%。     

Spontaneous speech recognition using a statistical coarticulatory model for the vocal-tract-resonance dynamics

A statistical coarticulatory model is presented for spontaneous speech recognition, where knowledge of the dynamic, target-directed behavior in the vocal tract resonance is incorporated into the model design, training, and in likelihood computation. The principal advantage of the new model over the conventional HMM is the use of a compact, internal structure that parsimoniously represents long-span context dependence in the observable domain of speech acoustics without using additional, context-dependent model parameters. The new model is formulated mathematically as a constrained, nonstationary, and nonlinear dynamic system, for which a version of the generalized EM algorithm is developed and implemented for automatically learning the compact set of model parameters. A series of experiments for speech recognition and model synthesis using spontaneous speech data from the Switchboard corpus are reported. The promise of the new model is demonstrated by showing its consistently superior performance over a state-of-the-art benchmark HMM system under controlled experimental conditions. Experiments on model synthesis and analysis shed insight into the mechanism underlying such superiority in terms of the target-directed behavior and of the long-span context-dependence property, both inherent in the designed structure of the new dynamic model of speech.     

全局特征及弱尺度融合策略的小样本语音情感识别

语音是一种短时平稳时频信号,因此大多数的研究者都通过分帧来提取情感特征。然而,分帧后提取的特征为局部特征,无法准确反应情感语音动态特性,故单纯采用局部特征往往无法构建鲁棒的情感识别系统。针对这个问题,先在不分帧的语音信号里通过多尺度最优小波包分解提取语句级全局特征,分帧后再提取384维的语句级局部特征,并利用Fisher准则进行降维,最后提出一种弱尺度融合策略来将这两种语句级特征进行融合,再利用SVM进行情感分类。基于柏林情感库的实验结果表明本文方法较单纯使用语句级局部特征最后识别率提高了4.2%到13.8%,特别在小样本的情况下,语音情感识别率波动较小。      

采用独立说话人模型的语音转换

提出一种基于完全独立的说话人语音模型进行语音转换的方法。首先每个说话人采用各自的语料训练结构化高斯混合模型(Structured Gaussian Mixture Model,SGMM),然后根据源和目标说话人各自的模型采用全局声学结构(AcousticalUniversal Structure,AUS)进行匹配和高斯分布对准,最终得到相应的转换函数进行语音转换。ABX和MOS实验表明可以得到与传统的平行语料联合训练方法接近的转换性能,并且转换语音的目标说话人识别正确率达到94.5%。实验结果充分说明了本文提出的方法不仅具有较好的转换性能,而且具有较小的训练量和很好的系统扩展性。      

一种基于无监督主动学习的苹果品质光谱无损检测模型构建方法

利用光谱技术实现农产品、食品品质无损检测的实质是建立样本光谱信息与样本品质参数之间的机器学习模型。为了获得具有良好泛化性能的机器学习模型,通常需要大量的标记样本,然而,获取样本的光谱信息相对容易,但标注样本品质参数的过程往往涉及到大量的时间和经济成本,并且具有破坏性。主动学习是一种减少训练集有标记样本数量的方法,通过选择最有价值的样本进行标记,而不是随机选择。因此,主动学习能够控制向训练集添加哪些样本,模型不再是被动地接受用于建模的样本。在分类任务中已经提出较多关于主动学习的算法,但回归任务中的研究却相对较少,且现有的用于回归任务的主动学习算法大多是有监督的,即需要少量有标记样本训练初始模型。本文提出了一种基于无监督主动学习方法的训练样本选择策略。该方法首先通过层次凝聚聚类对无标记（标准值）光谱数据集进行多样性划分,获得不同的聚类簇;然后通过局部线性重建算法在每个聚类簇中选择最具代表性的样本构成训练样本集,最后基于训练集构建模型。利用两个年份三个品种苹果的近红外光谱数据,构建了其可溶性固形物含量和硬度的偏最小二乘预测模型,用于验证所提出方法的有效性。实验结果表明：所提出的方法要优于已有的样本选择策略,可以有效地提高模型精度,减少在模型训练中的破坏性理化实验。同时,与随机采样（RS）、Kennard-Stone算法（KS）、光谱-理化值共生距离算法（SPXY）这三种光谱领域常用的样本选择算法相比,该研究所提出的方法表现出了最佳的性能, 基于所提出的无监督主动学习算法选取200个样本作为训练集所建立的可溶性固形物含量预测模型的预测均方根误差相对于其他三种算法降低了2.0%~13.2%,硬度预测模型的预测均方根误差相对降低了1.2%~15.7%。     

基于实时样本采集的个性化手写汉字输入系统设计

手写汉字识别是手写汉字输入的基础。目前智能设备中的手写汉字输入法无法根据用户的汉字书写习惯,动态调整识别模型以提升手写汉字的正确识别率。通过对最新深度学习算法及训练模型的研究,提出了一种基于用户手写汉字样本实时采集的个性化手写汉字输入系统的设计方法。该方法将采集用户的手写汉字作为增量样本,通过对服务器端训练生成的手写汉字识别模型的再次训练,使识别模型能够更好地适应该用户的书写习惯,提升手写汉字输入系统的识别率。最后,在该理论方法的基础上,结合新设计的深度残差网络,进行了手写汉字识别的对比实验。实验结果显示,通过引入实时采集样本的再次训练,手写汉字识别模型的识别率有较大幅度的提升,能够更有效的满足用户在智能设备端对手写汉字输入系统的使用需求。     

灰色极限学习机在滚动轴承故障预测中的应用

针对较强噪声环境下的滚动轴承故障预测问题,为提高轴承故障预测的精度,提出并研究了一种新的滚动轴承预测技术。采用将灰色模型和极限学习机（ELM）相结合的方法,针对轴承运行状态值的非线性特点,先将样本数据进行灰色处理,解决数据的随机性和波动性问题,然后代入学习速度快,泛化精度高的ELM神经网络进行训练。在训练完毕后,对未来的轴承运行状态数据进行分析,将其与轴承设备的理论诊断标准相比较以达到故障预测的目的。     

Experimental study on the naturalness of synthetic speech

In the past 10 years a Chinese text-to-speech system including aphonetic library,static tone model and basic synthesis rules had been estab-lished in IAAS.The Chinese synthesis of unrestricted vocabulary had beenachieved,but further steps must be taken to improve the naturalness ofsynthesized Chinese.The effect of segmental and suprasegmental features ofsynthetic speech upon naturalness have been studied by use of subjective as-sessment method.The results show that the rhythm in time domain andcoarticulation occupy a basic position for improving the naturalness of synthet-ic speech.And the fundamental frequency curve decided by tone model onlysuit to synthesize short sentence of Chinese.If the synthesis of larger linguisticunit than simple sentence is considered,the fundamental frequency curveshould be carefully manipulated.This paper presents the experimental methodand results,and discusses the way how to improve the naturalness of syntheticChinese.     

A study on the optimal English speech level for Chinese listeners in classrooms

Speech intelligibility in classrooms affects the learning efficiency of students directly, especially for the students who are using a second language. The speech intelligibility value is determined by many factors such as speech level, signal to noise ratio, and reverberation time in the rooms. This paper investigates the contributions of these factors with subjective tests, especially speech level, which is required for designing the optimal gain for sound amplification systems in classrooms. The test material was generated by mixing the convolution output of the English Coordinate Response Measure corpus and the room impulse responses with the background noise. The subjects are all Chinese students who use English as a second language. It is found that the speech intelligibility increases first and then decreases with the increase of speech level, and the optimal English speech level is about 71 dBA in classrooms for Chinese listeners when the signal to noise ratio and the reverberation time keep constant. Finally, a regression equation is proposed to predict the speech intelligibility based on speech level, signal to noise ratio, and reverberation time.     

基于扩频技术联合小波算法的安全通信方案设计

在信息化技术高度发达的今天,为了适应变化莫测的战场环境对于安全信息通信的高要求,文章在研究探讨水印嵌入检测技术的基础上,利用秘钥产生的扩频码调制水印信息,紧接着通过小波变换对调制后的水印进行信息嵌入操作,而在接收端采用相反的操作对加密信息进行计算机检测后解调恢复,实现信息的隐秘传输。通过实验仿真证明了所提方案可以有效实现对信息的隐蔽传输,其具有很好的安全性,同时对于剪裁攻击具有一定的鲁棒性。