基于双向循环神经网络的汉语语音识别*

当前基于深度神经网络模型中,虽然其隐含层可设置多层,对复杂问题适应能力强,但每层之间的节点连接是相互独立的,这种结构特性导致了在语音序列中无法利用上下文相关信息来提高识别效果,而传统的循环神经网络虽然做出了改进,但是只能对上文信息进行利用。针对以上问题,该文采用可以同时利用语音序列中上下文相关信息的双向循环神经网络模型与深度神经网络模型相结合,并应用于语音识别。构建具有5层隐含层的模型,其中第3层为双向循环神经网络结构,其他层采用深度神经网络结构。实验结果表明:加入了双向循环神经网络结构的模型与其他模型相比,较好地提高了识别正确率;噪声对双向循环神经网络汉语识别有重要影响,尤其是训练集和测试集附加噪声类型不同时,单一的含噪声语音的训练模型无法适应不同噪声类型的语音识别;调整神经网络模型中隐含层神经元数量后,识别正确率并不是一直随着隐含层中神经元数量的增加而增加,神经元数量数目增加到一定程度后正确率出现了降低的趋势。     

语音通信降噪研究

语音通信系统中，语音通过信道传输将不可避免地引入码间串扰和信号畸变，同时受到噪声污染。本文在分析自适应盲均衡算法CMA(constant modulus algorithm）和改进盲均衡算法的基础上，考虑到自适应盲均衡技术在语音噪声控制方面能力有限，将自适应盲均衡技术与小波包掩蔽阈值降噪算法联合使用，形成一种基带语音增强新方法。仿真试验结果显示自适应盲均衡技术可以使星座图变得清晰而紧凑，有效减小误码率。研究证实该方法在语音信号ISI和畸变严重情况下，在白噪及有色噪声不同的噪声环境中都具有稳定的降噪能力，消噪同时可获得汉语普通话良好的听觉效果。     

语音信号序列的Volterra预测模型

对给定的英语音素、单词和语句进行了采集并完成预处理. 分别应用互信息法和Cao 氏法确定了实际采集的语音信号序列的延迟时间和嵌入维数, 以完成语音序列的相空间重构. 通过计算实际采集的语音信号序列的最大Lyapunov指数, 完成了语音信号的混沌特性识别, 判定其具有混沌特性. 引入Volterra级数, 提出了一种具有显式结构的语音信号非线性预测模型. 为克服最小均方误差算法在Volterra模型系数更新时固有的缺点, 在最小二乘法基础上, 应用基于后验误差假设的可变收敛因子技术, 构建了一种基于Davidon-Fletcher-Powell算法的二阶Volterra 模型(DFPSOVF), 并将其应用于具有混沌特性的语音信号序列预测. 仿真结果表明: DFPSOVF非线性预测模型对于单帧和多帧语音信号均具有更好的预测精度, 优于线性预测模型, 并且能够很好地反映语音序列变化的趋势和规律, 完全可以满足语音预测的要求; 可以根据语音信号序列的嵌入维数选取预测模型的记忆长度. 所提出模型可以为语音信号重构和压缩编码开辟一条新途径, 以改善语音信号处理方法的复杂度和处理效果.     

面向鲁棒自动语音识别的一致性自监督学习方法

提出了一种基于一致性自监督学习的鲁棒自动语音识别方法。该方法通过使用语音信号仿真技术,模拟一条语音在不同声学场景下的副本;在通过自监督学习方式学习语音表征的同时,极大化一条语音在不同声学环境下对应语音表征的相似性,从而获取到与环境干扰无关的语音表征方式,提高下游语音识别模型的性能。在远讲数据集CHiME-4和会议数据集AMI上的实验表明,所提的一致性自监督学习算法能够取得相比已有的wav2vec2.0自监督学习基线算法30%以上的识别词错误率下降。这表明,所提方法是一种获取噪声无关语音表征、提升鲁棒语音识别性能的有效方法。     

A method of whispered speech enhancement based on speech absence probability and modified mel-domain masking model

Whispered speech enhancement using auditory masking model in modified Meldomain and Speech Absence Probability(SAP)was proposed.In light of the phonation characteristic of whisper,we modify the Mel-frequency Scaling model.Whispered speech is filtered by the proposed model.Meanwhile,the value of masking threshold for each frequency band is dynamically determined by speech absence probability.Then whispered speech enhancement is conducted by adaptively rectifying the spectrum subtraction coefficients using different masking threshold values.Results of objective and subjective tests on the enhanced whispered signal show that compared with other methods;the proposed method can enhance whispered signal with better subjective auditory quality and less distortion by reducing the music noise and background noise under the masking threshold value.     

“蛋圆”、“果圆”、“8”形线

高考数学中创新的能力立意,已经成为每年高考命题的“热亮”与“亮点”．这类问题要求考生具有即时性学习、阅读、理解、迁移的能力,能运用所学的新知识（如新概念、新定义、新运算、新定理等）来解决新问题,对培养学生的创新思想和能力大有裨益．这类问题求解的基本策略是：对新知识进行信息提取、转换、迁移,使之与已有知识相联系,从而转化为常规问题和常规运算而获解．本文仅就圆锥曲线的创新能力立意问题（圆锥曲线弧合成的曲线）例析如下．     

On the pitch of dialogue in Chinese Putonghua

In order to improve the naturalness of TTS speech so as to represent the cadence of natural speech, it is necessary to have a study on the pitch of spontaneous speech. Based on the 973 telephone corpus, the pitch ranges and pitch registers of 1084 intonation phrases are analyzed. It is found that intonation phrases can be classified according to their ranges and registers, and this is related to their positions in dialogue exchange. Compared with read speech, the pitch patterns in dialogue are more variable.     

Att-U-Net：融合注意力机制的U-Net骨导语声增强*

近年来大量全卷积网络、U-Net等编解码网络结构应用于语音增强,它们具有计算复杂度低、模型参数少等优势。然而,与长短时记忆模型等方法相比,这些编解码结构仍存在不能充分利用先后时间之间和高低频率之间的关联信息等缺点,尤其对于长序列数据的输入,编解码结构存在信息丢失的问题。为保持计算效率的同时考虑更充分的时频关联信息建模,本文提出一种融合注意力机制的U-Net网络的骨导语音增强方法（Att-U-Net）,通过在跳跃连接中引入注意力机制,生成一个权重矩阵,将编码层中的全局信息根据权重融入对应的解码层中,使网络在编解码过程中能够关注输入数据中与增强目标相关程度高的重要信息,同时抑制不相关的信息。在骨导语音数据集上的实验表明,融合注意力机制的U-Net网络能在保持模型轻量化的同时有效提升骨导语音的增强效果,增强后的语音在各项客观评价指标上均优于基线模型。通过对编解码网络中间层的可视化分析发现,在解码过程中注意力机制有效地保留了有声段的信息,滤除了骨导语音由于骨导传声特性带来的中频共振,从而使得增强后的骨导语音具有较好的听觉效果。     

噪声情况下采用稀疏非负矩阵分解与深度吸引子网络的人声分离算法

为实现噪声情况下的人声分离,提出了一种采用稀疏非负矩阵分解与深度吸引子网络的单通道人声分离算法。首先,通过训练得到人声与噪声的字典矩阵,将其作为先验信息从带噪混合语音中分离出人声与噪声的系数矩阵;然后,根据人声系数矩阵中不同的声源成分在嵌入空间中的相似性不同,使用深度吸引子网络将其分离为各声源语音的系数矩阵;最后,使用分离得到的各语音系数矩阵与人声的字典矩阵重构干净的分离语音。在不同噪声情况下的实验结果表明,本文算法能够在抑制背景噪声的同时提高分离语音的整体质量,优于结合声噪人声分离模型的对比算法。      

结合幅度谱和功率谱字典的语音增强方法

从双路字典学习、噪声功率谱估计、语音幅度谱重构角度提出了一种改进的谱特征稀疏表示语音增强方法。在字典学习阶段,融合功率谱与幅度谱特征,采用区分性字典降低语音字典和噪声字典的相干性;在语音增强阶段,提出一种噪声功率谱估计方法对非平稳噪声进行跟踪估计;考虑到幅度谱和功率谱特征对不同噪声的适应程度不同,设计了语音重构权值表。对分别由幅度谱和功率谱恢复而来的两路信号进行自适应加权重构,结合相位补偿函数得到增强后的语音信号。实验结果表明,该方法在平稳、非平稳噪声环境下相比于单一谱特征的语音增强方法平均提高31.6%,改善了语音增强方法的性能。