一种改进的奇异值降噪阶次选取方法用于紫外光谱信号去噪的研究

光谱去噪是光谱检测的重要环节。针对光谱信号易受光谱仪热噪声、现场机械振动以及随机噪声等因素影响,而在线监测系统要求减少人为参数选择对去噪效果的影响,提出利用奇异值分解(SVD)理论对光谱信号去噪。提出一种改进的降噪阶次选取方法：指定奇异值差分谱最大峰值点θ₁为所选阶次下界;利用奇异值、奇异值差分谱综合信息选取阶次上界θ₂;将区间θ₁～θ₂定义为模糊区域,通过模糊C均值聚类求取隶属度,赋予模糊区域内奇异值相应的权重系数。用所提方法对不同信噪比下SO₂紫外光谱信号去噪,将信噪比、均方根误差、波形相似系数、平滑度指标用于去噪效果的评价。去噪结果表明：所提方法完全基于数据驱动,具有较好的去噪效果,能够真实的恢复原始信号。     

基于提升小波变换的阈值改进去噪算法在紫外可见光谱中的研究

在紫外可见光谱定量分析中,由于分光光度计内部的光学系统、光源、检测器、电子元器件,电路设计以及外部环境干扰等因素产生的随机噪声,严重影响光谱定量分析结果的准确性,为提高紫外可见光谱分析精度,需要对光谱数据进行去噪预处理。由于小波分析具有多分辨率,低熵性、去相关性等特点,基于小波分析的去噪算法优于传统的去噪算法,目前基于小波去噪的方法主要有模极大值去噪算法,系数相关去噪算法,阈值去噪算法,工程实际应用以Donoho的阈值去噪法最为常用。根据Donoho阈值消噪原理,提出一种基于提升小波变换的阈值改进算法,一方面使用提升小波变换,提升小波变换是第二代小波变换,继承了小波的多分辨率特性,并且不需要进行傅里叶变换,从而具有算法简单,速度快,实现简单的优点;另一方面提出了一种新的阈值函数,克服了硬阈值函数在阈值处不连续以及软阈值函数存在恒定偏差的问题,同时对阈值估计进行了调整,有利于信号小波系数的保留和噪声小波系数的剔除。对三组多金属离子混合溶液的实测紫外可见光谱信号,添加随机噪声后使用该方法进行去噪处理,并使用信噪比(SNR)和均方根误差(RMSE)进行去噪性能评价。试验结果表明,提出的算法优于Donoho的软硬阈值去噪算法,能够有效提高光谱信噪比和降低均方根误差,从而更好地消除光谱信号中的噪声和保留光谱信号中一些重要的细节特征,比较适合用于紫外可见光谱数据建模之前的去噪预处理,在紫外可见光谱信号分析中具有较好的应用前景。     

基于集合经验模态分解和奇异值分解的激光雷达信号去噪

为了提高差分光柱像运动激光雷达(DCIM雷达)探测信噪比,提出了一种基于集合经验模态分解(EEMD)和奇异值分解(SVD)的混合降噪法.由EEMD获得含噪信号多层模态分量,根据各模态分量之间互相关系数的差分量确定主要噪声并予以滤除,利用奇异值分解识别模态分量中的残余噪声并提取有用信号.利用混合降噪法EEMD-SVD和EEMD方法分别对模拟仿真信号和实测激光雷达信号进行降噪处理.结果表明,当模拟噪声标准差在0.05~0.2之间时,相比与未降噪直接反演的湍流廓线,EEMD-SVD方法降噪后反演的湍流廓线信噪比提高了2.718 7dB~6.921 5dB,相应的EEMD方法提高了1.446 1dB~3.366 1dB;两个不同时段DCIM雷达降噪前后反演廓线与探空廓线的对比发现,EEMD-SVD和EEMD两种方法降噪后反演廓线较之于未降噪的反演廓线,信噪比最大提高了2.526 5dB和2.155 6dB.EEMD-SVD的降噪效果优于EEMD,能够更有效地识别和滤除噪声,较大地提高了原始信号的信噪比,获得更准确的大气湍流廓线反演结果.     

基于小波变换的压缩感知理论对水质检测紫外-可见光谱数据的去噪研究

消除噪声影响对提高直接光谱法水质检测系统的测量稳定性和精度都具有重要意义。直接光谱法在线水质检测系统通常采用长寿命、无需预热的脉冲氙灯和适用于复杂检测环境的工业级光谱探测装置。针对整个光谱探测系统受到光源、光路和光电转换器件的严重影响,测定的光谱数据含有大量噪声这一实际问题,提出了基于小波变换的压缩感知去噪算法,并与传统小波阈值去噪方法进行了比较实验。针对化学需氧量为200 mg·L-1的邻苯二甲酸氢钾标液的紫外-可见光谱数据进行去噪处理,采用压缩感知去噪算法,将信号在小波域内分解,得到含噪高频系数;采用随机高斯矩阵作为压缩感知算法的观测矩阵,压缩比设置为2,对高频系数进行观测;选择正交匹配追踪算法恢复高频小波系数的稀疏性,从而达到去噪目的。同时针对传统的小波阈值去噪,采用daubechies4作为小波基的软阈值滤波方法对光谱数据进行去噪处理。为验证去噪算法的可行性,采集某溪水和城市生活污水的光谱信号分别采用以上两种方法进行去噪处理,实验结果表明：基于小波变换的压缩感知去噪算法适用于紫外-可见光谱法在线水质检测系统,该方法能在保留水样原始光谱信号的吸收特征的前提下有效地去噪,且去噪效果优于小波阈值去噪算法。与小波阈值去噪算法相比,信噪比提高了12.201 5 dB,均方根误差减小了0.009 3,峰值信噪比增加了5.299 dB。不仅避免了小波阈值去噪过程中阈值的选取依靠主观判断问题,而且在重构过程中有效地抑制了噪声,为直接光谱法检测水质参数提供了一种新的解决方案。     

EEMD自适应去噪在拉曼光谱中的应用

二代小波是公认较好的降噪手段,但是降噪效果依赖于基函数、分解层数和阈值等参数设置。经验模态分解(empirical mode decomposition, EMD)无需参数设定,按照频率特性将信号分解成本征模函数(intrinsic mode function, IMF),对IMF滤波,实现了信号自适应去噪。拉曼光谱中信号和噪声交叠集中在极高频段,EMD产生模态混叠问题,影响去噪效果。应用总体平均经验模态分解(ensemble empirical mode decomposition,EEMD)拉曼光谱克服了模态混叠,有效区分出高频信号和噪声,获得了与小波函数相似去噪效果。文中首先对一段非线性非平稳豆油脂拉曼光谱EMD分解,可见模态混叠,EEMD分解出清晰模态的特征分量。然后分别用快速傅里叶变换(fast Fourier transform,FFT)、小波变换(Wavelet)、EMD和EEMD处理含噪光谱,信噪比、均方根误差、相关系数三个方面指标表明FFT高频去噪效果最差,其次是EMD,恰当的Wavelet同EEMD效果相当,EEMD的优势是降噪过程的自适应。最后提出光谱时频分析方法和IMF噪声属性判别准则研究趋势。     

近红外“3R”法双谱自适应去噪

针对近红外透射和吸收双光谱提出一种自适应的去噪方法。同步采集样品的近红外透射谱和吸收谱,在相同分解原则下总体经验模态法分解两组光谱,得到单组分特征模态分量。计算特征模态分量与原透射谱、吸收谱之间相关性,以及两组特征模态分量之间相关性,相关性最小模态分量初判为噪声分量。分析该分量在光谱中点处自相关性,若中点处很大,其他点几乎为零或很小,可以判断该分量为噪声。这种基于模态分量相关性的噪声判别方法称为“3R”法则。剔除噪声分量,重构光谱信号,循环上述分解过程,直到不满足“3R”法则,降噪过程结束。构造理想光谱,叠加噪声,“3R”法降噪效果优于EMD和EEMD低通滤波器,略逊于小波分解。真实光谱实验中,经过上述方法降噪处理过的玉米叶片光谱采用3层BP神经网络建立与叶绿素之间预测模型,“3R”法处理模型具有最大校正相关系数和预测相关系数,最小校正标准差和预测标准差。在四种降噪方法中,“3R”法对光谱谱峰位置和峰高的影响最小。实验表明,“3R”双谱去噪方法无需预设迭代次数,不用考虑分解层数,没有基函数,是自适应的,该方法适合近红外光谱去噪。     

基于二维重组和动态窗格的水质检测紫外-可见光谱去噪算法

立足于成功研制的紫外-可见光谱水质检测多参数测量系统,针对紫外-可见光谱水质多参数原位实时检测在精度、灵敏度、稳定性等方面的实际需要,开展了基于二维重组和动态窗格的水质检测紫外-可见光谱去噪算法的研究,以此提高紫外-可见光谱水质检测的测量精度。光谱法水质检测系统通常使用工业级低成本光谱仪,其输出光谱包含明显的非平稳噪声。传统去噪法难以在滤除噪声的同时保留谱线细节。而且,原位实时水质检测条件下,被测水样可能快速变化,传统去噪法中常用的多次采样求均值法将产生额外的测量误差。引入的去噪算法通过对水样光谱进行等间隙连续采样,将光谱数据张成由光谱轴和时间轴构成的二维矩阵,经过二维小波变换后,设置一个可变宽度的窗格在系数矩阵中水平滑动,使用窗格内的小波系数计算得到动态去噪阈值,并随窗格滑动构建去噪阈值向量,由此进行光谱去噪。其中,窗格宽度由相邻区域的噪声方差变化率决定,变化率较高的区域缩小窗格宽度,反之则扩大宽度。实验结果表明,这种去噪算法不仅能有效去除光谱中的非平稳噪声,而且能保留光谱的细节信息,有助于提高仪器的测量精度。与此同时,由于该算法并未使用时域平均,样本的快速变化对去噪性能的影响较小,适合在线或原位水质检测的水样本环境。     

基于特征提取的低信噪比拉曼光谱去噪方法研究

为了提高拉曼光谱检测系统的时间分辨率,常常需要采用较短的采样积分时间,此时带有分子结构振动谱的有用拉曼信号可能完全淹没在噪声中,严重影响信号的进一步分析,因此有必要对测量所得的光谱信号进行噪声消除处理。传统的消噪方法是基于信号与噪声在频域或统计特性之间的差异,通过平滑滤波或取平均值的方法来消除噪声,一般适用于噪声强度不高的情况,对于信噪比较低的情况处理效果并不理想。针对传统去噪方法的不足,从信号重构的角度,利用基于小波变换的谱峰识别、半峰宽检测提取光谱特征参数,再利用最小二乘拟合的方法,能够有效地提取淹没于强噪声背景下的有用拉曼信号。在仿真中,运用该算法得到的光谱曲线光滑,峰位置准确,信噪比改善明显。在实验中,分别利用该方法处理头孢呋辛酯片和罗红霉素拉曼光谱数据,得到了清晰的谱峰位置、幅值及半峰宽信息,实现了对短积分时间、强噪声背景的拉曼信号的有效还原,提高了检测系统的时间分辨率。仿真和实验结果表明,该方法需要调整参数少,易于实现,在信噪比比较低的情况下依然能够得到良好的去噪效果,为进一步分析光谱数据提供准确可靠的信息。     

小波分析在汽车车灯光源色测量中CCD光谱的消噪平滑处理

本文依据小波变换原理 ,提出利用小波变换技术对汽车车灯光源色测量中实时采集的光源光谱信号进行多分辨分解 ,有效地消除噪声 ,提高了光谱的信噪比。由CCD接收的标准A光源谱进行了多层分解 ,讨论了不同小波基和分解阶次对信号分析结果的影响。选取最佳小波基 ,为光谱信号消噪平滑处理提供了较有效的数据处理方法。通过对CCD接收的光谱信号进行了消噪和平滑处理 ,解决了实时采集光谱信号在分析和数据处理上的困难 ,该研究充分体现了小波变换在数据处理方面的优势 ,在依赖于光谱信号的颜色测量领域中起重要的作用。     

基于小波变换的体内外酒精含量近红外光谱检测与分析

应用小波分析对体外和体内的酒精近红外光谱信号进行去噪分析,通过体外光谱分析确定酒精吸收峰特征范围,为体内近红外光谱分析确定有效区间。软阈值和硬阈值下,分别采用缺省阈值、Birge-Massart阈值和最大最小值阈值,比较酒精光谱去噪,信噪比(signal noise ratio,SNR)和均方根误差(root mean square error,RMSE)去噪效果。结果表明:缺省硬阈值方法对酒精近红外光谱去噪的效果较好;小波变换可以有效去除酒精近红外光谱的噪声,提高信噪比,保留有用真实信号。在不同的酒精浓度下,去噪后的近红外光谱能够较好的显示浓度变化规律。小波分析在近红外光谱法对人体酒精无创检测及定量分析方面有较好的应用前景。     

改进阈值提升小波和自适应滤波器的开放光路红外光谱去噪

大气污染物的主要组成成分为挥发性有机物(VOCs),傅里叶变换红外光谱技术(FTIR)是现阶段应用广泛的挥发性有机物在线测量方法。开放光路获取到的大气红外光谱(OP-FTIR)易受各种噪声污染,如何有效、快速的去除红外光谱中的噪声是大气在线实时监测系统研究的热点。综合利用提升小波变换结构简单、运算量低的优点以及最小均方误差自适应滤波器的自动调节参数以达最优化滤波的性能,提出了一种改进阈值提升小波结合自适应滤波的红外光谱去噪算法。该算法先通过改进阈值小波系数的提升小波去噪,在去噪的同时保留更多光谱特征信息,然后使用提升小波变换分解出的高频系数重构出噪声相关信号,将其作为最小均方误差自适应滤波器的参考输入进行二次滤波处理,最终获得的去噪信号很好的去除了与特征光谱频谱重叠的噪声信号。分别对人工添加噪声的标准红外光谱和合肥市市区上空实测开放光路红外光谱进行去噪处理,结果显示使用该算法处理后的光谱信噪比(SNR)较离散小波传统阈值去噪方法高出3db,均方根误差(RSME)平均减少30%左右,运行时间减少46%。表明该算法计算简单、运行速度快,对于大气环境监测实时消噪系统具有重要的实际应用意义。     

空间外差光谱仪光谱降噪方法研究

空间外差光谱仪是一种新式的超高分辨率光谱仪，可用于大气监测、卫星遥感等领域。为了减少空间外差光谱信号中的噪声，提出基于提升小波变换结合中值滤波方法来实现信号的降噪。改进的提升小波变换融合了一种双因子的阈值函数、分层阈值选取。与小波变换的软、硬阈值对比发现，它能提取空间外差光谱，减小峰宽和保留重要的细节特征，降噪效果优于小波变换的软、硬阈值法。最后用信噪比和均方误差两项定量指标来衡量算法的效果。实验结果表明:该算法比软阈值法在处理氙灯和积分球时信噪比提高了24.6%和31%，均方误差减少了43.2%和51.5%；与硬阈值法相比信噪比提高了21.5%和30.6%，均方误差减少了40.2%和51.2%。因此，算法在空间外差光谱降噪方面具有可行性。     

高光谱遥感图像微分域三维混合去噪方法

高光谱遥感图像是一种三维数据,由二维空间信息和一维光谱信息组成。普通的对二维静态图像或一维光谱信息去噪的算法忽视了高光谱图像强烈的谱间相关性和图谱合一的特点,无法取得令人满意的效果。同时现代的高光谱遥感图像噪声级别相对较低,噪声方差随波段不同而不同。针对以上特点,提出一种微分域三维混合去噪方法。首先将高光谱遥感图像变换到光谱微分域,使细微的噪声变得显著。然后在微分域中,对二维空间域采用基于小波的非线性阈值去噪BayesShrink算法。为克服噪声方差不同的特点,对光谱维不再采用小波阈值去噪方法,而采用Savitzky-Golay滤波进行平滑。最后对微分域去噪平滑处理后的图像进行光谱积分,并进行积分修正,消除光谱积分中引入的积累误差。对信噪比为600∶1的机载可见红外成像光谱仪数据(AVIRIS)实验表明,该算法能有效地降低噪声,将信噪比提高到2 000∶1以上。     

一种改进的微弱NQR信号检测算法

核四极矩共振（NQR）是一种固态射频谱分析技术,可用于检测高危险爆炸物. 然而NQR信号本身非常弱,并且易受线圈的热噪声和外部射频干扰的影响,低信噪比限制了NQR的实际应用. 该文提出一种改进的微弱NQR信号检测算法. 首先利用Hankel矩阵方式下奇异值分解的方法,有效地抑制射频干扰和噪声,并将NQR信号分离出来. 然后提出了一种基于MUSIC谱估计的非线性最小二乘检测器,它既保证了高的频率分辨率,又大大降低了运算量. 仿真数据和实测数据结果表明该算法的有效性.     

基于光谱吸收原则的低成本硫化氢传感器研究

H₂S浓度检测的发展趋势是实时检测,基于光谱吸收原则是其中一个发展方向。用宽带光源替代以往使用的成本较高的窄带光源,降低整个系统的成本,可以提高检测系统的实用性。宽带光源经过Bragg光纤光栅滤波后可以得到窄带光。此方法得到的光波必然会有噪声和波动,然后对其进行滤波,消除一部分系统的噪声和波动,再通过光线分束器分别通入检测光路和参考光路后做差。此差分信号不仅消除了一部分系统噪声和波动,还消除了基波分量,增大了信噪比。用数学分析的方法推导出二次谐波信号,利用SIMILINK仿真观察此信号,不同浓度的H₂S气体会有不同的输出信号,也就得到了气体的浓度。双光路差分法、谐波检测技术和窄带滤波技术综合起来的优势是降低了成本,增加了信噪比,提高了系统的检测能力。实验仿真结果表明,在LED宽带光源基础上采用提取谐波信号的双光路差分方法检测H₂S气体浓度正确可行,此方法降低了系统成本,为大范围实际应用提供了可能性。     

基于激光驱动等离子体光源的近红外傅里叶变换光谱系统

近红外傅里叶变换光谱仪作为一种常用的科研级近红外光谱检测仪器,广泛应用于各个科研领域。目前的近红外光谱仪着重于光谱分辨率方面的提升,在光谱信噪比提升方面关注较少。光谱信噪比直接影响光谱线指数测量精度的优劣,光谱信噪比越高,光谱线指数测量精度越高,越有利于对微量物质进行精细光谱比对。因此,提升光谱仪的光谱信噪比是十分必要的。对比常用的钨灯光源,激光驱动等离子体光源(LDLS)不仅在近红外区域具有高光照强度的优点,而且其独特的高频调制输出信号在经锁相放大器调制解调后能够很好的抑制背景信号对干涉光谱所带来的影响。高亮度与辐射调制的结合使得以LDLS作为光源的近红外傅里叶变换光谱系统在光谱信噪比方面获得显著提升。基于上述原因,提出利用新型激光驱动等离子体光源作为光谱信号输出源的近红外傅里叶变换光谱系统,并与含有调制能力的钨灯光源搭建的近红外傅里叶变换光谱系统进行了信噪比的比较实验。首先利用钨灯光源由斩波器高频调制再经过锁相放大器解调的方式,对锁相放大器积分时间进行优化并通过计算干涉光谱信噪比进行评估,分别对比了积分时间为0.5,1,5,10和20 ms的干涉光谱信噪比与对称度,确定后续系统中的锁相放大器最佳积分时间为5 ms,该状态下钨灯光源所实现的干涉光谱信噪比经计算约为90∶1;其次利用激光驱动等离子体光源代替钨灯光源和斩波器,在最佳积分时间下进行干涉光谱信噪比对比评估,结果表明激光驱动等离子体光源的干涉光谱信噪比与传统钨灯光源相比提升111倍;最后,利用近红外标准片对系统进行光谱测量准确性评估,结果表明利用该光源的近红外傅里叶变换光谱系统的近红外吸收峰值误差<0.5 nm,具有高光谱准确性与分辨能力。     

混沌信号自适应协同滤波去噪

混沌信号协同滤波去噪算法充分利用了混沌信号的自相似结构特征,具有良好的信噪比提升性能.针对该算法的滤波参数优化问题,考虑到最优滤波参数的选取受到信号特征、采样频率和噪声水平的影响,为提高该算法的自适应性使其更符合实际应用需求,基于排列熵提出一种滤波参数自动优化准则.依据不同噪声水平的混沌信号排列熵的不同,首先选取不同滤波参数对含噪混沌信号进行去噪,然后计算各滤波参数对应重构信号的排列熵,最后通过比较各重构信号的排列熵,选取排列熵最小的重构信号对应的滤波参数为最优滤波参数,实现滤波参数的优化.分析了不同信号特征、采样频率和噪声水平情况下滤波参数的选取规律.仿真结果表明,该参数优化准则能在不同条件下对滤波参数进行有效的自动最优化,提高了混沌信号协同滤波去噪算法的自适应性.