基于双向循环神经网络的汉语语音识别*

当前基于深度神经网络模型中,虽然其隐含层可设置多层,对复杂问题适应能力强,但每层之间的节点连接是相互独立的,这种结构特性导致了在语音序列中无法利用上下文相关信息来提高识别效果,而传统的循环神经网络虽然做出了改进,但是只能对上文信息进行利用。针对以上问题,该文采用可以同时利用语音序列中上下文相关信息的双向循环神经网络模型与深度神经网络模型相结合,并应用于语音识别。构建具有5层隐含层的模型,其中第3层为双向循环神经网络结构,其他层采用深度神经网络结构。实验结果表明:加入了双向循环神经网络结构的模型与其他模型相比,较好地提高了识别正确率;噪声对双向循环神经网络汉语识别有重要影响,尤其是训练集和测试集附加噪声类型不同时,单一的含噪声语音的训练模型无法适应不同噪声类型的语音识别;调整神经网络模型中隐含层神经元数量后,识别正确率并不是一直随着隐含层中神经元数量的增加而增加,神经元数量数目增加到一定程度后正确率出现了降低的趋势。     

多级离散小波变换的高效超大规模集成架构

设计了一种单时钟域内低级展开、高级折叠的多级离散小波变换架构;采用横向三输入扫描方式,基于9/7离散小波变换提升算法,设计第1级离散小波变换模块;根据第2级离散小波变换的时钟周期与有效输入数据之比,设计半折叠的第2级离散小波变换模块;将第3级及更高级的离散小波变换的架构折叠到第2级离散小波变换架构上,从而降低了硬件资源的消耗。结果表明:对于大小为512 pixel×512 pixel的经3级离散小波变换处理的输入图像,所提架构的硬件效率比其他现有架构提高了57.1%以上。     

语音通信降噪研究

语音通信系统中，语音通过信道传输将不可避免地引入码间串扰和信号畸变，同时受到噪声污染。本文在分析自适应盲均衡算法CMA(constant modulus algorithm）和改进盲均衡算法的基础上，考虑到自适应盲均衡技术在语音噪声控制方面能力有限，将自适应盲均衡技术与小波包掩蔽阈值降噪算法联合使用，形成一种基带语音增强新方法。仿真试验结果显示自适应盲均衡技术可以使星座图变得清晰而紧凑，有效减小误码率。研究证实该方法在语音信号ISI和畸变严重情况下，在白噪及有色噪声不同的噪声环境中都具有稳定的降噪能力，消噪同时可获得汉语普通话良好的听觉效果。     

异构多核系统中跨时钟域的解决方法

随着集成电路的集成度与性能的不断发展,芯片的功耗问题已经变的十分严重,功耗带来的挑战日益突出。异构多核动态调频架构是目前研究低功耗的主流方向。SOC系统当中同一时刻只有一个处理器能够控制总线,其它处理器则处理等待状态,异构多核动态调频架构能够通过降低不控制总线的处理器频率来达到降低功耗的目的。异构多核领域的处理器和总线跨时钟域解决方案,此方案在国内属于首次提出,可以运用在异构多核动态调频(DFS)架构当中。目前手持终端设备越来越强调功耗的重要性,因此异构多核领域的处理器和总线跨时钟域解决方案将有非常好的应用前景。该方案通过在处理器和AMBA总线之间添加FIFO以及一些复杂的算法,达到消除亚稳态和正常通信的目的。最终,通过仿真发现任意调节处理器的工作频率都能满足传输协议。证明该方案能在异构多核动态调频架构中运用。     

语音信号序列的Volterra预测模型

对给定的英语音素、单词和语句进行了采集并完成预处理. 分别应用互信息法和Cao 氏法确定了实际采集的语音信号序列的延迟时间和嵌入维数, 以完成语音序列的相空间重构. 通过计算实际采集的语音信号序列的最大Lyapunov指数, 完成了语音信号的混沌特性识别, 判定其具有混沌特性. 引入Volterra级数, 提出了一种具有显式结构的语音信号非线性预测模型. 为克服最小均方误差算法在Volterra模型系数更新时固有的缺点, 在最小二乘法基础上, 应用基于后验误差假设的可变收敛因子技术, 构建了一种基于Davidon-Fletcher-Powell算法的二阶Volterra 模型(DFPSOVF), 并将其应用于具有混沌特性的语音信号序列预测. 仿真结果表明: DFPSOVF非线性预测模型对于单帧和多帧语音信号均具有更好的预测精度, 优于线性预测模型, 并且能够很好地反映语音序列变化的趋势和规律, 完全可以满足语音预测的要求; 可以根据语音信号序列的嵌入维数选取预测模型的记忆长度. 所提出模型可以为语音信号重构和压缩编码开辟一条新途径, 以改善语音信号处理方法的复杂度和处理效果.     

面向鲁棒自动语音识别的一致性自监督学习方法

提出了一种基于一致性自监督学习的鲁棒自动语音识别方法。该方法通过使用语音信号仿真技术,模拟一条语音在不同声学场景下的副本;在通过自监督学习方式学习语音表征的同时,极大化一条语音在不同声学环境下对应语音表征的相似性,从而获取到与环境干扰无关的语音表征方式,提高下游语音识别模型的性能。在远讲数据集CHiME-4和会议数据集AMI上的实验表明,所提的一致性自监督学习算法能够取得相比已有的wav2vec2.0自监督学习基线算法30%以上的识别词错误率下降。这表明,所提方法是一种获取噪声无关语音表征、提升鲁棒语音识别性能的有效方法。     

A method of whispered speech enhancement based on speech absence probability and modified mel-domain masking model

Whispered speech enhancement using auditory masking model in modified Meldomain and Speech Absence Probability(SAP)was proposed.In light of the phonation characteristic of whisper,we modify the Mel-frequency Scaling model.Whispered speech is filtered by the proposed model.Meanwhile,the value of masking threshold for each frequency band is dynamically determined by speech absence probability.Then whispered speech enhancement is conducted by adaptively rectifying the spectrum subtraction coefficients using different masking threshold values.Results of objective and subjective tests on the enhanced whispered signal show that compared with other methods;the proposed method can enhance whispered signal with better subjective auditory quality and less distortion by reducing the music noise and background noise under the masking threshold value.     

On the pitch of dialogue in Chinese Putonghua

In order to improve the naturalness of TTS speech so as to represent the cadence of natural speech, it is necessary to have a study on the pitch of spontaneous speech. Based on the 973 telephone corpus, the pitch ranges and pitch registers of 1084 intonation phrases are analyzed. It is found that intonation phrases can be classified according to their ranges and registers, and this is related to their positions in dialogue exchange. Compared with read speech, the pitch patterns in dialogue are more variable.     

Att-U-Net：融合注意力机制的U-Net骨导语声增强*

近年来大量全卷积网络、U-Net等编解码网络结构应用于语音增强,它们具有计算复杂度低、模型参数少等优势。然而,与长短时记忆模型等方法相比,这些编解码结构仍存在不能充分利用先后时间之间和高低频率之间的关联信息等缺点,尤其对于长序列数据的输入,编解码结构存在信息丢失的问题。为保持计算效率的同时考虑更充分的时频关联信息建模,本文提出一种融合注意力机制的U-Net网络的骨导语音增强方法（Att-U-Net）,通过在跳跃连接中引入注意力机制,生成一个权重矩阵,将编码层中的全局信息根据权重融入对应的解码层中,使网络在编解码过程中能够关注输入数据中与增强目标相关程度高的重要信息,同时抑制不相关的信息。在骨导语音数据集上的实验表明,融合注意力机制的U-Net网络能在保持模型轻量化的同时有效提升骨导语音的增强效果,增强后的语音在各项客观评价指标上均优于基线模型。通过对编解码网络中间层的可视化分析发现,在解码过程中注意力机制有效地保留了有声段的信息,滤除了骨导语音由于骨导传声特性带来的中频共振,从而使得增强后的骨导语音具有较好的听觉效果。     

噪声情况下采用稀疏非负矩阵分解与深度吸引子网络的人声分离算法

为实现噪声情况下的人声分离,提出了一种采用稀疏非负矩阵分解与深度吸引子网络的单通道人声分离算法。首先,通过训练得到人声与噪声的字典矩阵,将其作为先验信息从带噪混合语音中分离出人声与噪声的系数矩阵;然后,根据人声系数矩阵中不同的声源成分在嵌入空间中的相似性不同,使用深度吸引子网络将其分离为各声源语音的系数矩阵;最后,使用分离得到的各语音系数矩阵与人声的字典矩阵重构干净的分离语音。在不同噪声情况下的实验结果表明,本文算法能够在抑制背景噪声的同时提高分离语音的整体质量,优于结合声噪人声分离模型的对比算法。