联合深度神经网络和凸优化的单通道语音增强算法

噪声估计的准确性直接影响语音增强算法的好坏,为提升当前语音增强算法的噪声抑制效果,有效求解无约束优化问题,提出一种联合深度神经网络(DNN)和凸优化的时频掩蔽优化算法进行单通道语音增强。首先,提取带噪语音的能量谱作为DNN的输入特征;接着,将噪声与带噪语音的频带内互相关系数(ICC Factor)作为DNN的训练目标;然后,利用DNN模型得到的互相关系数构造凸优化的目标函数;最后,联合DNN和凸优化,利用新混合共轭梯度法迭代处理初始掩蔽,通过新的掩蔽合成增强语音。仿真实验表明,在不同背景噪声的低信噪比下,相比改进前,新的掩蔽使增强语音获得了更好的对数谱距离(LSD)、主观语音质量(PESQ)、短时客观可懂度(STOI)和分段信噪比(segSNR)指标,提升了语音的整体质量并且可以有效抑制噪声。      

基于噪声追踪的二值时频掩蔽到浮值掩蔽的泛化算法

虽然浮值掩蔽比二值掩蔽有更好的语音分离效果,但是由于理想浮值掩蔽难以直接估计,现有的语音分离系统通常以理想二值掩蔽估计作为计算目标。我们提出了一个二值掩蔽到浮值掩蔽的泛化算法。由于实现浮值掩蔽估计的关键在于噪声能量追踪,我们首先采用指数分布刻画以混合谱和噪声能量以混合能量及二值掩蔽为观测的条件分布。其次,采用高斯马尔柯夫条件随机场刻画噪声估计在连续几帧内的关联。最后,采用马尔柯夫链-蒙特卡洛计算噪声能量最小均方误差估计并进一步计算浮值掩蔽。实验表明,相比于基于二值掩蔽估计的常规算法,我们所提出的算法在信噪比增益和客观感知质量两方面都有显著提高。      

联合精确比值掩蔽与深度神经网络的单通道语音增强方法

针对目前有监督语音增强忽略了纯净语音、噪声与带噪语音之间的幅度谱相似性对增强效果影响等问题,提出了一种联合精确比值掩蔽(ARM)与深度神经网络(DNN)的语音增强方法。该方法利用纯净语音与带噪语音、噪声与带噪语音的幅度谱归一化互相关系数,设计了一种基于时频域理想比值掩蔽的精确比值掩蔽作为目标掩蔽;然后以纯净语音和噪声幅度谱为训练目标的DNN为基线,通过该DNN的输出来估计目标掩蔽,并对基线DNN和目标掩蔽进行联合优化,增强语音由目标掩蔽从带噪语音中估计得到;此外,考虑到纯净语音与噪声的区分性信息,采用一种区分性训练函数代替均方误差(MSE)函数作为基线DNN的目标函数,以使网络输出更加准确。实验表明,区分性训练函数提升了基线DNN以及整个联合优化网络的增强效果;在匹配噪声和不匹配噪声下,相比于其它常见DNN方法,本文方法取得了更高的平均客观语音质量评估(PESQ)和短时客观可懂度(STOI),增强后的语音保留了更多语音成分,同时对噪声的抑制效果更加明显。      

基于多窗谱的心理声学语音增强

与传统的周期谱图相比,多窗谱具有更小的估计方差。从含噪语音的多窗谱对噪声及噪声与含噪语音之比(NNSR)进行估计,用基于NNSR的幅度谱减实现用于计算人耳掩蔽阈值的预增强语音,用集成了人耳掩蔽阈值的心理声学加权规则实现最终的增强语音。考虑到多窗谱的特点对掩蔽偏移量进行了修正,修正后的重建语音,其客观测量指标修正巴克谱测度比修正前有一定的改进。再对心理声学加权规则作最大值小于1的限制,则输入信噪比越大(0 dB以上),分段信噪比和总体信噪比提高得越多。非正式试听表明重建语音失真较小,背景噪声大大降低,且没有音乐噪声。     

基于听觉掩蔽效应的(ψ)阶STSA-MMSE语音增强算法

提出人耳掩蔽效应与阶STSA- MMSE(Short Time Spectral Amplitude-Minimum Mean Square Error)算法动态结合的语音增强算法.该算法通过引入参量提高了STSA-MMSE 算法的实时性,同时结合人耳掩蔽效应,动态的确定增强滤波器的传递函数以适应语音信号的变化,来提高语音质量.实验结果表明,和STSA-MMSE 算法相比,该算法在实时性方面有很大改善,并使降噪后的语音信号有较小的失真,同时很好地抑制了音乐噪音.     

低信噪比下采用感知语谱结构边界参数的语音端点检测算法

提出了一种采用感知语谱结构边界参数(PSSB)的语音端点检测算法,用于在低信噪比环境下的语音信号预处理。在对含噪语音进行基于听觉感知特性的语音增强之后,针对语音信号的连续分布特性与残留噪声的随机分布特性之间的不同点,对增强后语音的时-频语谱进行二维增强,从而进一步突出连续分布的纯净语音的语谱结构。通过对增强后语音语谱结构的二维边界检测,提出PSSB参数,并用于端点检测。实验结果表明,在白噪声-10 dB到10 dB的各种信噪比环境下,采用PSSB参数的端点检测算法,相对于其它端点检测算法,更有效地检测出语音的端点。在-10 dB的极低信噪比下,提出的方法仍然有75.2%的正确率。采用PSSB参数的端点检测算法,更适合于低信噪比白噪声环境下的语音端点检测。      

小波包自适应阈值语音降噪新算法

为了克服低信噪比输入下,语音增强造成语音清音中的弱分量损失,造成重构信号包络失真的问题。论文提出了一种新的语音增强方法。该方法根据语音感知模型,采用不完全小波包分解拟合语音临界频带,并对语音按子带能量进行清浊音区分处理,在阈值计算上,提出了一种清浊音分离,基于子带信号能量的小波包自适应阈值算法。通过仿真实验,客观评测和听音测试表明,该算法在低信噪比输入时较传统算法,能够更加有效地减少重构信号包络失真,在不损伤语音清晰度和自然度的前提下,使输出信噪比明显提高。将该算法与能量谱减法结合,进行二次增强能进一步提高降噪输出的语音质量。     

基于听觉掩蔽效应的■阶STSA-MMSE语音增强算法

提出人耳掩蔽效应与■阶STSA-MMSE(Short Time Spectral Amplitude-Minimum Mean SquareError)算法动态结合的语音增强算法.该算法通过引入参量■提高了STSA-MMSE算法的实时性,同时结合人耳掩蔽效应,动态的确定增强滤波器的传递函数以适应语音信号的变化,来提高语音质量.实验结果表明,和STSA-MMSE算法相比,该算法在实时性方面有很大改善,并使降噪后的语音信号有较小的失真,同时很好地抑制了音乐噪音.     

时频结合自适应阈值小波包消噪算法

在充分考虑人耳听觉特性和噪声统计特性的基础上,提出一种时频结合Bark尺度自适应阈值的语音消噪算法,在Bark频域上自适应调整增强系数可以较准确地进行阈值判定。仿真实验验证,时频结合算法在低信噪比输入情况下较传统语音降噪方法具有明显优势,其在消除高斯白噪声的同时有效降低了语音损失,可获得最大信噪比,谱失真测度最小,增强语音的MOS(Mean Opinion Score)评分明显提高,具有较好的听觉效果。     

基于听觉掩蔽效应的ω阶STSA—MMSE语音增强算法

提出人耳掩蔽效应与ω阶STSA—MMSE（Short Time Spectral Amplitude—Minimum Mean Square Error）算法动态结合的语音增强算法．该算法通过引入参量面提高了STSA—MMSE算法的实时性,同时结合人耳掩蔽效应,动态的确定增强滤波器的传递函数以适应语音信号的变化,来提高语音质量．实验结果表明,和STSA—MMSE算法相比,该算法在实时性方面有很大改善,并使降噪后的语音信号有较小的失真,同时很好地抑制了音乐噪音．     

基于听觉掩蔽效应的 阶STSA-MMSE语音增强算法

提出人耳掩蔽效应与阶STSA- MMSE（Short Time Spectral Amplitude-Minimum Mean Square Error）算法动态结合的语音增强算法.该算法通过引入参量提高了STSA-MMSE 算法的实时性,同时结合人耳掩蔽效应,动态的确定增强滤波器的传递函数以适应语音信号的变化,来提高语音质量.实验结果表明,和STSA-MMSE 算法相比,该算法在实时性方面有很大改善,并使降噪后的语音信号有较小的失真,同时很好地抑制了音乐噪音.     

基于听觉感知的语音稀疏表示及压缩感知*

本文针对语音信号稀疏表示及压缩感知问题,将听觉感知引入稀疏系数筛选过程,用掩蔽阈值筛选重要系数,以得到更符合听觉感受的语音稀疏表示。通过对一帧浊音信号分别采用掩蔽阈值和能量阈值方法进行系数筛选对比实验,结果表明掩蔽阈值法具有更好的稀疏表示效果。为验证听觉感知对语音压缩感知性能的影响,与能量阈值法对照对测试语音进行压缩感知观测和重构,通过压缩比、信噪比、主观平均意见分等主客观指标评价其性能,结果表明,掩蔽阈值法可有效地提高压缩比且保证重构语音具有较高的主观听觉质量。     

基于线性调频Z变换和短波语音通话的飞机类型识别研究

研究用短波语音通话携带的飞机舱室噪声对飞机类型进行识别的方法。分析了飞机舱室内噪声在短波信道和语音通话干扰下的物理特性,定义了估计语音段的飞机噪声信噪比的公式,提出了自适应的抑制语音增强飞机噪声的模型,通过CZT变换分别提取目标信号不同频段的功率谱密度级特征,并设计了用支持向量机进行分类识别的二叉分类树。对8类现场实测数据进行实验:增强后语音段的平均信噪比提高约22 dB,分类树对语音应答间隔噪声、语音段信号和增强后的信号的平均识别率分别为82.79%,15.25%,50.18%。实验表明:应答间隔噪声可用于飞机类型识别;语音抑制算法带来较大的信噪比和识别率增益,证明语音段蕴含有助于飞机类型识别的重要信息,可为后续的研究奠定基础。      

一种新的手机双麦克风消噪系统*

针对现有的手机双麦克风消噪系统无法应对多种复杂的噪声环境在消除噪声的同时会引起语音失真等问题,本文提出了一种新的手机双麦克风消噪系统,该系统将时域与频域处理相结合,在噪声估计和噪声消除两个方面均做了改进,结合双麦克风和单麦克风的噪声估计算法,提高了噪声估计的准确性,同时将基音检测与消噪处理相结合,在语音帧中估计语音基音频率,同时确定语音和噪声频率点,对待语音频率点和噪声频率点分别调整维纳滤波器的参数在滤除噪声的同时对语音频率点尽可能的保留从而减少语音失真。实验结果表明,与现有的双麦克风消噪系统相比,本系统在对噪声进行抑制的同时能够有效减少消噪算法对语音造成的损害,提高了手机的通话质量,对于方向性的语音干扰也能起到很好的抑制效果。     

基于听觉掩蔽效应的自适应反馈抵消

摘要当系统输入信号是有色信号时，传统的自适应反馈抵消算法会由于系统的输出和输入信号存在相关性而造成辨识反馈路径存在偏差，从而导致反馈抵消性能的降低。为了减小反馈路径的辨识偏差，本文提出在系统输出信号中加入被掩蔽噪声来降低系统的输入信号和输出信号的相关性的方法，噪声的能量由频域掩蔽阈值控制。这种基于听觉频域掩蔽效应的自适应反馈抵消算法改善了自适应反馈抵消的性能，同时加入的噪声是被掩蔽不可听的，输出语音的质量没有受到损害。     

用于自适应波束形成语音增强的球谐域掩蔽函数估计方法

提出一种用于球形阵列自适应波束形成的掩蔽函数估计方法。该方法利用包含空间信息的球谐系数提取低维空间向量,并采用复高斯混合模型和深度学习两种方案来估计掩蔽函数,最终利用估计的掩蔽函数设计最小方差无失真响应波束形成器,以达到空域滤波的效果。理论分析和仿真实验证明,对于相同时长的声信号,球谐域掩蔽函数估计方法的计算复杂度比传统阵元域估计方法低了一个数量级。并且在大部分声场环境中,尤其在低信噪比情况下,所提方法的语音质量感知评估测度得分、分段信噪比和短时客观可懂度明显高于阵元域方法,三者最高分别可提升1.31 dB,4.54 dB和35%。另外,实际声学环境的测量实验也验证了所提方法在不影响可懂度的条件下比传统阵元域方法具备更高的降噪量。      

提高耳语音可懂度的非对称压缩语音增强方法

提出两种基于非对称代价函数的耳语音增强算法,将语音增强过程中的放大失真和压缩失真区分对待。Modified ItakuraSaito (MIS)算法对放大失真给予更多的惩罚,而Kullback-Leibler (KL)算法则对压缩失真给予更多的惩罚。实验结果表明,在低于—6 dB的低信噪比情况中,经MIS算法增强后的耳语音的可懂度相比传统算法有显著提高;而KL算法则获得了同最小均方误差语音增强算法近似的可懂度提高效果,证实了耳语音中的放大失真和压缩失真对于耳语音可懂度的影响并不相同,低信噪比时较大的压缩失真有助于提高耳语音可懂度,而高信噪比时的压缩失真对耳语音可懂度影响较小。      

基于听觉掩蔽效应和Bark子波变换的语音增强

提出了一种适用于低信噪比下的提高语音的听觉效果的语音增强方法。该方法在谱减法的基础上有两个特点:首先减参数是根据人耳听觉掩蔽效应提出的且是自适应的;其次采用了与人耳听觉系统特性更为适应的Bark子波变换方法对增强前后的语音进行分析。对该算法进行了客观和主观测试,结果表明:与谱减法相比对低信噪比的语音信号,(1)能更好地抑制残留噪声和背景噪声,(2)增强后的语音具有更好的清晰度和可懂度。     

面向语音增强的序贯隐马尔可夫模型时频语音存在概率估计

语音存在概率的估计是语音增强的核心技术之一,针对传统的存在概率估计方法是启发式的,没有把存在概率的估计统一到一个理论框架之中,不能保证估计最优,提出了一种基于序贯隐马尔可夫模型(SHMM)的存在概率估计方法,在每一子带上构建一个SHMM模型描述对数功率谱包络的时间序列,把谱包络序列看作一个在语音和噪声状态之间转移的动态一阶马尔可夫链,采用单高斯函数构建每一状态的概率模型,语音状态的后验概率即为语音信号的存在概率。为了满足算法实时性要求,SHMM参数估计简化为一阶回归过程,根据极大似然准则逐帧更新模型参数。实验表明:SHMM所描述的时序相关性对存在概率的估计起到关键作用,它优于一般的启发式估计方法;SHMM算法的语音增强分段信噪比(SegSNR)和对数谱失真(LSD)性能优于经典的改进型最小统计量控制递归平均(IMCRA)算法。      

一种抑制方向性噪声的双耳语音增强算法

为了给双耳听力设备佩戴者带来更好的语音可懂度,提出了一种利用双耳时间差与声级差的近场语音增强算法,该方法首先利用这两种差异来估计语音的功率谱和语音的相干函数,然后计算干扰噪声在左右耳间的头相关传输函数的比值,最后构造两个维纳滤波器。客观评价的参数显示该算法去噪效果优于对比算法而目标语音的时间差误差和声级差误差低于对比算法。主观的言语接受阈测试表明该方法能有效提高语音可懂度。结果表明,该算法在能够有效去除干扰噪声的同时,保留了目标语音的空间信息。