基于广义S变换和奇异值分解的近红外光谱去噪

针对近红外光谱物质含量检测过程中噪声影响模型精度和稳定性的问题,引入广义S变换与奇异值分解(SVD)。利用广义S变换得到光谱数据的时频谱,并将二维时频谱系数矩阵作为SVD的Hankel矩阵求解奇异值,再采用k-均值聚类算法对奇异值序列进行分类计算,确定重构奇异值个数,对去噪后的数据矩阵进行广义S逆变换得到去噪后的光谱数据。给出组合方法的基本理论和具体实现过程,对仿真数据和谷朊粉导数光谱进行去噪,并与传统的9点平滑法和小波软阈值法的去噪结果进行比较。结果表明:所提方法克服了时域或频域单维滤波的局限性,且无需参考噪声数据和选择基函数,在谷朊粉导数光谱去噪中,只需采用两个奇异值就能实现较好的去噪效果,降低了滤波过程的复杂度。采用所提方法处理后,近红外光谱的分析精度和模型的稳健性优于9点平滑处理法和小波软阈值法。相比9点平滑法,所提方法的预测集的决定系数由0.9436增大为0.9985,预测均方根误差由0.0843减小为0.0406,明显提高了谷朊粉中水分含量定量检测的精度。     

闪电瞬态电场信号波形去噪方法

 通过对传统数字滤波和Birge-Massart小波阈值法的比较，对闪电瞬态电场信号进行了去噪研究。构建了双指数衰减脉冲信号并在其上叠加了高斯白噪声信号来仿真闪电瞬态电场实测波形，通过计算去噪前后信号的均方误差和幅值误差，比较了加权平滑滤波、FIR数字低通滤波器和小波阈值法的去噪效果，从处理仿真波形和实测波形结果可以发现，小波阈值去噪方法明显优于另外两种传统滤波方法。通过比较仿真信号由不同小波分解层数去噪结果的均方误差和幅值误差，确定在对闪电电场实测信号的去噪过程中，小波系数分解层数应选5~7。     

基于小波变换的木材近红外光谱去噪研究

木材近红外光谱常常被一系列噪声所污染,影响光谱分析结果.为了提高近红外光谱分析精度,需要对光谱数据进行预处理.光谱导数可以消除光谱背景干扰和基线漂移等因素影响,提高光谱分辨率,但导数光谱在增强信号的同时,也使信号噪声得到增强.应用小波变换对杉木木材近红外一阶导数光谱进行去噪研究,分别采用9点平滑法、25点平滑法、非线件小波硬阈值和软阈值法、9点平滑+小波变换法和25点平滑+小波变换法对光谱数据进行去噪研究.结果显示,小波变换能够有效去除导数光谱中的噪声信号,保留光谱中的有效信息,提高光谱信噪比,提高光谱的分析能力,在木材近红外光谱分析中具有很好的应用前景.     

基于小波变换的体内外酒精含量近红外光谱检测与分析

应用小波分析对体外和体内的酒精近红外光谱信号进行去噪分析,通过体外光谱分析确定酒精吸收峰特征范围,为体内近红外光谱分析确定有效区间。软阈值和硬阈值下,分别采用缺省阈值、Birge-Massart阈值和最大最小值阈值,比较酒精光谱去噪,信噪比(signal noise ratio,SNR)和均方根误差(root mean square error,RMSE)去噪效果。结果表明:缺省硬阈值方法对酒精近红外光谱去噪的效果较好;小波变换可以有效去除酒精近红外光谱的噪声,提高信噪比,保留有用真实信号。在不同的酒精浓度下,去噪后的近红外光谱能够较好的显示浓度变化规律。小波分析在近红外光谱法对人体酒精无创检测及定量分析方面有较好的应用前景。     

红外光谱预处理中去噪的研究

红外(IR)光谱由于包含了噪声等各种外界干扰因素.应该先进行光谱预处理,以便降噪,提高分析准确度.本文采用了一种基于最优小波包基的信号去噪算法,该算法根据最小代价原理,采用不同的阈值算法对光谱的高频和低频信号进行量化处理,用量化后的系数重构得到去噪信号,从而达到较好的去噪效果.实验表明,本方法处理后光谱曲线非常光滑、噪声消除效果明显.     

基于提升小波变换的阈值改进去噪算法在紫外可见光谱中的研究

在紫外可见光谱定量分析中,由于分光光度计内部的光学系统、光源、检测器、电子元器件,电路设计以及外部环境干扰等因素产生的随机噪声,严重影响光谱定量分析结果的准确性,为提高紫外可见光谱分析精度,需要对光谱数据进行去噪预处理。由于小波分析具有多分辨率,低熵性、去相关性等特点,基于小波分析的去噪算法优于传统的去噪算法,目前基于小波去噪的方法主要有模极大值去噪算法,系数相关去噪算法,阈值去噪算法,工程实际应用以Donoho的阈值去噪法最为常用。根据Donoho阈值消噪原理,提出一种基于提升小波变换的阈值改进算法,一方面使用提升小波变换,提升小波变换是第二代小波变换,继承了小波的多分辨率特性,并且不需要进行傅里叶变换,从而具有算法简单,速度快,实现简单的优点;另一方面提出了一种新的阈值函数,克服了硬阈值函数在阈值处不连续以及软阈值函数存在恒定偏差的问题,同时对阈值估计进行了调整,有利于信号小波系数的保留和噪声小波系数的剔除。对三组多金属离子混合溶液的实测紫外可见光谱信号,添加随机噪声后使用该方法进行去噪处理,并使用信噪比(SNR)和均方根误差(RMSE)进行去噪性能评价。试验结果表明,提出的算法优于Donoho的软硬阈值去噪算法,能够有效提高光谱信噪比和降低均方根误差,从而更好地消除光谱信号中的噪声和保留光谱信号中一些重要的细节特征,比较适合用于紫外可见光谱数据建模之前的去噪预处理,在紫外可见光谱信号分析中具有较好的应用前景。     

基于EMD的拉曼光谱去噪方法研究

经验模态分解(EMD)方法是一个以信号极值特征尺度为度量的时空滤波过程,它充分保留了信号本身的非线性和非平稳特征,在信号的滤波和去噪中具有较大的优势.文章在介绍EMD分解方法的基础上,结合EMD的多尺度滤波特性,提出了一种新的拉曼光谱去噪方法--EMD阈值去噪法.该方法首先对含噪的拉曼光谱信号做EMD分解,得到各阶本征模态函数(IMF),然后对高频的IMF分量用阈值法进行处理,把经过阚值处理后的高频IMF分量与低频IMF分量叠加得到重构的信号,即去噪信号.通过处理对二甲苯的拉曼光谱信号,分析了在不同噪声水平上不同去噪方法的处理效果.实验结果表明EMD阈值去噪法有效地去除了噪声,较好地保留了光谱的细节信息.与小波阈值去噪方法相比较具有自适应的优势,在拉曼光谱去噪中有很好的应用前景.     

近红外光谱预处理中几种小波消噪方法的分析

以菜籽油的一阶导数近红外光谱为研究对象,探讨小波变换在近红外光谱信号消噪方面的应用,分别采用九点平滑法、小波分解与重构法、非线性小波软阈值法和小波变换模极大值法对导数光谱进行消噪处理并对消噪效果进行比较分析.结果表明,小波变换模极大值光谱消噪法得到了较高的信噪比,小波软阈值法次之,其余两种方法消噪效果较差.小波变换模极大值法有效的保留了光谱的有用信息,为近红外光谱的分析精度和模型的稳健性奠定了良好的基础.     

基于小波变换的Stark展宽算法的优化研究

为了提升Stark展宽计算等离子体电子密度的准确性,基于小波阈值去噪处理方法,对EAST氘原子光谱信号进行了处理,以信噪比(SNR)和均方根误差(RMSE)作为滤波效果的评价依据,通过对比确定了最优小波基db4,最优小波分解4层。根据噪声估计值计算适合的阈值参数进行信号重构,并将经过去噪处理后的数据应用到后期Stark展宽算法计算等离子体密度的分析过程中。结果表明,小波硬阈值去噪能够有效提高光谱信号信噪比、降低均方根误差,在消除光谱信号中噪声的同时,最大程度保留了有用的光谱细节特征信息,进而有利于光谱数据的建模效果,获得更为准确的等离子体电子密度。     

高光谱遥感图像微分域三维混合去噪方法

高光谱遥感图像是一种三维数据,由二维空间信息和一维光谱信息组成.普通的对二维静态图像或一维光谱信息去噪的算法忽视了高光谱图像强烈的谱间相关性和图谱合一的特点,无法取得令人满意的效果.同时现代的高光谱遥感图像噪声级别相对较低,噪声方差随波段不同而不同.针对以卜特点,提出一种微分域三维混合去噪方法.首先将高光谱遥感图像变换到光谱微分域,使细微的噪声变得显著.然后在微分域中,对二维空间域采用基于小波的非线性阈值去噪BayesShrink算法.为克服噪声方差小同的特点,对光谱维不再采用小波阈值去噪方法,而采用Savitzky-Golay滤波进行平滑.最后对微分域去噪平滑处理后的图像进行光谱积分,并进行积分修正,消除光谱积分中引入的积累误差.对信噪比为600:1的机载可见红外成像光谱仪数据(AVIRIS)实验表明,该算法能有效地降低噪声,将信噪比提高到2 000:1以上.     

小波阈值降噪模型在红外光谱信号处理中的应用研究

针对近红外光谱经常受到噪声干扰的特点,提出了利用小波阈值降噪方法进行光谱数据的降噪处理,以山羊绒表面油脂的近红外光谱检测为例,对比分析了三种小波阈值降噪模型(Penalty阈值降噪模型、Brige-Massart阈值降噪模型、缺省阈值降噪模型)的降噪性能.对降噪后的光谱数据采用偏最小二乘和支持向量机回归相结介建立了校正和预测模型,通过对比校验参数R~2,RMSEC,RMSEP,分析评价了三种小波阈值降噪模型的降噪效果.结果表明:三种降噪模型都能在一定程度上降低光谱信号的噪声,提高信噪比,改善光谱预测模型的精度,其中,Brige-Massart阈值降噪模型和缺省阈值降噪模型的降噪效果明显优于Penalty阈值降噪模型,与原始光谱信号建模的预测精度(R~2=0.793,RMSEC=0.233,RMSEP=0.225)相比较,经过Brige-Massart阈值降噪模型降噪后的光谱信号建模的预测精度(R~2=0.882,RMSEC=0.144,RMSEP=0.136)和经过缺省阈值降噪模型降噪后的光谱信号建模的预测精度(R~2=0.876,RMSEC=0.151,RMSEP=0.142)均有较大程度的改善和提高,说明提出的小波阈值降噪方法能有效地降低原始光谱噪声作用,使光谱数据多变量分析模型更具有代表性和稳健性,从而可以提高模型的预测精度.     

自适应多尺度窗口平均光谱平滑

去噪算法是极其重要的光谱预处理步骤,能够显著提高后续光谱分析算法的准确性。然而,大多数去噪算法都需要通过反复试验的方式来人为设置初始参数,不能自动完成光谱去噪。为了能够对光谱进行自动且可靠的平滑去噪,提出了一种自适应多尺度窗口平均平滑(AMWA)去噪算法。该算法针对光谱中不同位置采用不同宽度的平滑窗口,这些窗口的宽度将直接影响到平滑效果。当窗口宽度选择不合适时,可能出现去噪过度,使得峰畸变或者丢失;也有可能导致去噪不足,使得光谱的较平坦区域仍包含大量的噪声。因此判断每个窗口宽度是否合适,是光谱平滑的关键。该算法通过迭代的方法不断优化各个窗口的宽度,并以统计学中的Z检验来判断窗口宽度是否为最佳。另外,为了提高假设检验的可靠性,用不同信噪比的模拟数据对假设检验中使用的阈值进行比较,发现当阈值设为1.1时可使去噪效果最佳。用模拟光谱和实际光谱对该算法进行了测试,该算法能够自动适应不同的光谱形状和噪声强度。还将AMWA去噪算法与SG算法及移动窗口平均平滑算法进行了全面的比较,AMWA算法都明显优于其他两种算法。结果表明AMWA算法不仅去噪效果更好,而且准确性及保真性也更高,对模拟光谱和实际光谱都具有极好的平滑效果。     

基于小波变换的压缩感知理论对水质检测紫外-可见光谱数据的去噪研究

消除噪声影响对提高直接光谱法水质检测系统的测量稳定性和精度都具有重要意义。直接光谱法在线水质检测系统通常采用长寿命、无需预热的脉冲氙灯和适用于复杂检测环境的工业级光谱探测装置。针对整个光谱探测系统受到光源、光路和光电转换器件的严重影响,测定的光谱数据含有大量噪声这一实际问题,提出了基于小波变换的压缩感知去噪算法,并与传统小波阈值去噪方法进行了比较实验。针对化学需氧量为200 mg·L-1的邻苯二甲酸氢钾标液的紫外-可见光谱数据进行去噪处理,采用压缩感知去噪算法,将信号在小波域内分解,得到含噪高频系数;采用随机高斯矩阵作为压缩感知算法的观测矩阵,压缩比设置为2,对高频系数进行观测;选择正交匹配追踪算法恢复高频小波系数的稀疏性,从而达到去噪目的。同时针对传统的小波阈值去噪,采用daubechies4作为小波基的软阈值滤波方法对光谱数据进行去噪处理。为验证去噪算法的可行性,采集某溪水和城市生活污水的光谱信号分别采用以上两种方法进行去噪处理,实验结果表明：基于小波变换的压缩感知去噪算法适用于紫外-可见光谱法在线水质检测系统,该方法能在保留水样原始光谱信号的吸收特征的前提下有效地去噪,且去噪效果优于小波阈值去噪算法。与小波阈值去噪算法相比,信噪比提高了12.201 5 dB,均方根误差减小了0.009 3,峰值信噪比增加了5.299 dB。不仅避免了小波阈值去噪过程中阈值的选取依靠主观判断问题,而且在重构过程中有效地抑制了噪声,为直接光谱法检测水质参数提供了一种新的解决方案。     

基于反向传播神经网络的拉曼光谱去噪方法

拉曼光谱技术作为一种典型的光学检测方法,因其独特的非侵入性、快速、原位和极高的特异性,在生物分析、疾病诊断及分子识别等众多领域得到广泛应用。拉曼光谱的指纹特性使其成为生物医学分析领域的重要工具,但拉曼散射信号微弱,数据处理分析大量依赖分析人员、自动化处理能力低等因素都会极大影响该技术在实际中的应用。实验设备、环境产生的噪声、待测生物样本的自发荧光等各种干扰因素使得高质量拉曼光谱数据的获得变得较为困难,各种随机噪声会干扰拉曼光谱图中指纹谱峰信息的识别,增大拉曼特征提取的难度,因此,噪声抑制在拉曼光谱预处理中显得十分重要。采用反向传播算法,从数据本身的特征出发,基于理想光谱片段和含噪光谱片段的线性差异,分别构建噪声判定神经网络和光谱去噪神经网络模型。以随机生成的一系列洛伦兹峰数学模型叠加生成拉曼光谱,对生成的拉曼光谱分别加入不同强度的噪声,以此为实验数据,对比新方法和经典滑动窗口均值法、Savitzky-Golay滤波法、傅里叶变换法、小波阈值变换方法去噪的结果。对均方根误差和信号噪声比两个指标进行分析,结果显示,在低噪声干扰下所有去噪方法都能较好地完成任务,但滑动窗口均值方法在光谱的边缘去噪效果会出现下降。随着噪声信号的增大,滑动窗口均值方法、S-G滤波方法、傅里叶变换方法去噪性能都出现明显下降。而基于反向传播神经网络的去噪方法要优于傅里叶变换法、滑动窗口均值法、S-G滤波器法,同时该方法在避免复杂参数寻优设置的同时,获得了和最优阈值小波变换方法近乎一致的去噪效果,大大简化了参数设置,更适合拉曼光谱去噪的自动化实现。     

小波消噪与二维相关红外光谱的质量优化

采用小波变换消噪技术首次应用到中药二维相关红外光谱的数据处理中。结果表明 ,经过消噪处理后 ,可以有效地去除噪声对二维相关红外光谱同步图的影响 ,优化谱图的质量。该技术的应用既增强了同步图中的信号峰 ,又分离了消噪前的重叠峰 ;不但提高了谱图的分辨率 ,而且还获得了更多的光谱信息。     

一种混沌映射的相空间去噪方法

对于混沌映射来说,它们的频谱比混沌流的频谱更广阔,与噪声频谱的重叠率更高,所以混沌流的去噪方法对它们并不适用. 在半盲分析法的框架下,混沌系统的参数估计问题终将归结为最小二乘估计问题. 本文从最小二乘拟合的角度出发估计混沌映射的演化参数,进而通过相空间重构以及投影操作,实现对观测信号的噪声抑制. 实验结果表明,该算法的去噪效果优于扩展卡尔曼滤波器（extended Kalman filter,EKF）和无先导卡尔曼滤波器（unscneted Kalman filter,UKF）,并且能够较大程度地将信号源的混沌特征量还原. 关键词： 混沌 噪声抑制 相空间重构 投影     

基于提升小波变换的矿物油荧光光谱去噪研究

矿物油的使用是造成雾霾等空气污染问题的重要原因。矿物油荧光光谱检测系统光谱消噪处理的有效性和快速性是在线实时监测系统的热点问题。研究应用提升算法小波变换(LWT)矿物油荧光光谱去噪的方法。与传统的离散小波变换(DWT)相比,提升小波变换将现有的小波滤波器分解成基本的构造模块,分步骤完成变换,结构简单,运算速度快。在矿物油荧光光谱去噪过程中具有运算量低、原位运算和便于实现的特点,有效解决了传统小波变换在这方面的不足。提升算法的小波变换、传统离散小波变换和经验模态变换(EMD)分别运用到0#柴油、97#汽油、煤油三种矿物油的荧光光谱去噪中,评价去噪效果指标的信噪比(SNR)、重构均方根误差(RMSE)和波形相似度(NCC)证明了提升方法小波变换用于矿物油荧光光谱去噪的有效性。同时,提升算法变换能提高构造的灵活性和运算的简单性使消噪时间降低62%,证明了提升算法的小波变换运用到矿物油荧光光谱去噪中的快速性,适于矿物油实时消噪处理系统。     

基于小波变换的便携式X射线荧光光谱仪检测模型的建立与改进

应用便携式X射线荧光光谱仪对土壤中Cr,Cu,Zn,As,Pb等重金属含量进行检测, 每个样品扫描检测3次,利用小波阈值滤噪的方法对所测谱线进行光滑去噪处理后, 根据土壤重金属的标准值和相应的计数率(取三次处理后检测谱线的平均值)建立各重金属的标准曲线。运用小波阈值滤噪方法时, 为确定最佳的小波基和小波分解层数, 以信噪比(SNR),均方根误差(MSE)和信息熵(H)作为评估指标评价降噪效果。为验证仪器的稳定性, 根据土壤样品中重金属浓度的不同挑选部分样品并同时选用H₃BO₃(空白对照)进行重测。结果表明: 运用小波变换方法时,选取coif3小波基对谱线进行三层分解, 取得了最佳的去噪效果; 建立好模型后,仪器的决定系数R2范围是0.990~0.996, 表明在0~1 500 mg·kg-1范围内, 土壤样品中各重金属元素含量与X射线荧光光谱特征峰强度之间的线性关系良好; 经过重复检测和计算得知仪器的检出限均低于国家一级土壤标准。将小波变换的方法实际运用到X射线荧光光谱仪检测模型的建立与改进中,有效的提高了模型的准确性,同时经验证,仪器具有良好的精密度,可运用于实际土壤重金属污染的现场快速筛查。     

提升小波变换与中值滤波结合的红外光谱消噪

在光谱数据的定量分析中,噪声的存在常常会影响结果的准确性。为提高红外光谱分析精度,需要对光谱数据进行去噪处理。将一种光滑阈值函数和一种分层阈值选取方法应用到提升小波域光谱信号的去噪处理中,并对提升小波重构信号进行中值滤波。对某小麦品种的实测光谱信号,添加信噪比为21.17 dB的噪声后采用该方法进行去噪处理,并利用信噪比(SNR)、均方根误差(RMSE)、峰值平均相对误差(AREPV)以及峰位平均误差(AEPP)四项指标对去噪效果进行评价。结果表明,与软阈值法与硬阈值法相比,该方法能更有效地去除光谱信号中的噪声,保留光谱中的有用信息,提高光谱信噪比,降低均方根误差、峰值平均相对误差以及峰位平均误差,提高光谱的分析能力。