基于小波变换的压缩感知理论对水质检测紫外-可见光谱数据的去噪研究

消除噪声影响对提高直接光谱法水质检测系统的测量稳定性和精度都具有重要意义。直接光谱法在线水质检测系统通常采用长寿命、无需预热的脉冲氙灯和适用于复杂检测环境的工业级光谱探测装置。针对整个光谱探测系统受到光源、光路和光电转换器件的严重影响,测定的光谱数据含有大量噪声这一实际问题,提出了基于小波变换的压缩感知去噪算法,并与传统小波阈值去噪方法进行了比较实验。针对化学需氧量为200 mg·L-1的邻苯二甲酸氢钾标液的紫外-可见光谱数据进行去噪处理,采用压缩感知去噪算法,将信号在小波域内分解,得到含噪高频系数;采用随机高斯矩阵作为压缩感知算法的观测矩阵,压缩比设置为2,对高频系数进行观测;选择正交匹配追踪算法恢复高频小波系数的稀疏性,从而达到去噪目的。同时针对传统的小波阈值去噪,采用daubechies4作为小波基的软阈值滤波方法对光谱数据进行去噪处理。为验证去噪算法的可行性,采集某溪水和城市生活污水的光谱信号分别采用以上两种方法进行去噪处理,实验结果表明：基于小波变换的压缩感知去噪算法适用于紫外-可见光谱法在线水质检测系统,该方法能在保留水样原始光谱信号的吸收特征的前提下有效地去噪,且去噪效果优于小波阈值去噪算法。与小波阈值去噪算法相比,信噪比提高了12.201 5 dB,均方根误差减小了0.009 3,峰值信噪比增加了5.299 dB。不仅避免了小波阈值去噪过程中阈值的选取依靠主观判断问题,而且在重构过程中有效地抑制了噪声,为直接光谱法检测水质参数提供了一种新的解决方案。     

基于提升小波变换的阈值改进去噪算法在紫外可见光谱中的研究

在紫外可见光谱定量分析中,由于分光光度计内部的光学系统、光源、检测器、电子元器件,电路设计以及外部环境干扰等因素产生的随机噪声,严重影响光谱定量分析结果的准确性,为提高紫外可见光谱分析精度,需要对光谱数据进行去噪预处理。由于小波分析具有多分辨率,低熵性、去相关性等特点,基于小波分析的去噪算法优于传统的去噪算法,目前基于小波去噪的方法主要有模极大值去噪算法,系数相关去噪算法,阈值去噪算法,工程实际应用以Donoho的阈值去噪法最为常用。根据Donoho阈值消噪原理,提出一种基于提升小波变换的阈值改进算法,一方面使用提升小波变换,提升小波变换是第二代小波变换,继承了小波的多分辨率特性,并且不需要进行傅里叶变换,从而具有算法简单,速度快,实现简单的优点;另一方面提出了一种新的阈值函数,克服了硬阈值函数在阈值处不连续以及软阈值函数存在恒定偏差的问题,同时对阈值估计进行了调整,有利于信号小波系数的保留和噪声小波系数的剔除。对三组多金属离子混合溶液的实测紫外可见光谱信号,添加随机噪声后使用该方法进行去噪处理,并使用信噪比(SNR)和均方根误差(RMSE)进行去噪性能评价。试验结果表明,提出的算法优于Donoho的软硬阈值去噪算法,能够有效提高光谱信噪比和降低均方根误差,从而更好地消除光谱信号中的噪声和保留光谱信号中一些重要的细节特征,比较适合用于紫外可见光谱数据建模之前的去噪预处理,在紫外可见光谱信号分析中具有较好的应用前景。     

高光谱遥感图像微分域三维混合去噪方法

高光谱遥感图像是一种三维数据,由二维空间信息和一维光谱信息组成。普通的对二维静态图像或一维光谱信息去噪的算法忽视了高光谱图像强烈的谱间相关性和图谱合一的特点,无法取得令人满意的效果。同时现代的高光谱遥感图像噪声级别相对较低,噪声方差随波段不同而不同。针对以上特点,提出一种微分域三维混合去噪方法。首先将高光谱遥感图像变换到光谱微分域,使细微的噪声变得显著。然后在微分域中,对二维空间域采用基于小波的非线性阈值去噪BayesShrink算法。为克服噪声方差不同的特点,对光谱维不再采用小波阈值去噪方法,而采用Savitzky-Golay滤波进行平滑。最后对微分域去噪平滑处理后的图像进行光谱积分,并进行积分修正,消除光谱积分中引入的积累误差。对信噪比为600∶1的机载可见红外成像光谱仪数据(AVIRIS)实验表明,该算法能有效地降低噪声,将信噪比提高到2 000∶1以上。     

集合背景误差方差中小波阈值去噪方法研究及试验

背景误差方差的集合估计值中带有大量采样噪声,在应用之前需进行降噪处理.区别于一般的高斯白噪声,采样噪声具有空间和尺度相关性,部分尺度上的噪声能级远大于平均能级.本文针对背景误差方差中采样噪声的特征,引入小波阈值去噪方法,并根据截断余项的小波系数分布特征发展了一种计算代价很小,能自动修正阈值的算法.一维理想试验结果表明,该方法能滤除大量采样噪声,提高背景误差方差估计值的精度.相对于原来的小波阈值方法,修正阈值后减少了因部分尺度上噪声能级过大导致的残差,去噪后的RMSE减少了13.28%.将该方法应用在实际的集合资料同化系统中,结果表明,小波阈值方法优于谱方法,阈值修正后能在不影响信号的前提下增大小波去噪强度.     

自适应小波阈值去噪在光谱信号处理中的应用

在光谱数据的多组分定量分析中 ,噪声的存在往往影响分析的准确度。小波变换的多分辨率分析的特性使它成为一种优良的去噪方法。本文基于 Dohono提出的小波阈值去噪和 Mallat,Xu等提出的空域相关去噪法 ,提出了一种新的自适应小波阈值函数滤噪法。与原来方法比较 ,新法能够在有效去除噪声的同时 ,很好地保留了信号的细节。仿真计算和分析表明了此算法的有效性。     

用于近红外宽带腔增强吸收光谱的小波去噪

为了有效抑制检测系统的噪声,提高气体浓度的反演精度,研究了近红外宽带腔增强气体传感系统的小波去噪方法。小波去噪方法的优化分析结果表明,选择db2小波函数作为小波基对含噪信号进行6级分层处理,并选择heursure阈值估计方法,采用局部阈值方式对噪声部分小波系数进行置零处理,可达到最优去噪效果。将近红外宽带腔增强吸收光谱技术与高分辨率傅里叶变换红外光谱仪相结合,建立了用于甲烷检测的气体传感系统,使用最小二乘拟合算法对去噪前后的甲烷吸收系数进行反演。结果表明,采用小波去噪后,反演浓度更接近真实值,反演精度提高7%,信噪比提高90%,系统检测下限降低45%,证明小波去噪算法可以有效提高系统的检测精度。     

嵌入式粒子群-遗传算法的水质COD检测特征波长优化算法

基于紫外-可见光谱法的水质测量中,光谱信号易受到系统噪声干扰、悬浮物散射干扰,且存在信息冗余、多重共线性等特征,导致水质COD测量中特征波长的选取产生较大偏差。因此,提出了基于嵌入式粒子群-遗传（EPSO_GA）算法的水质COD检测特征波长优化算法,以提高波长选择精度。为验证检测特征波长优化算法的可行性,采集了某高校池塘水样、生活污水和排水沟水样的光谱数据,利用EPSO_GA算法对预处理后的光谱数据选取特征波长。EPSO_GA算法采用实数编码方法实现了粒子群（PSO）优化算法和遗传（GA）优化算法的统一编码,在PSO算法中更新粒子时嵌入GA算法的选择、交叉、变异等操作,改善了这两种算法各自在光谱波长特征选取问题上的局限性。将EPSO_GA算法选取的特征波长结合偏最小二乘法（PLS）构建了EPSO_GA_PLS的水质COD预测模型,并且与传统的PSO算法、GA算法选取特征波长建立的PSO_PLS、GA_PLS和全光谱构建的PLS水质COD预测模型做了对比。结果表明：与PSO_PLS,GA_PLS和全光谱构建的PLS水质COD预测模型相比,EPSO_GA改善了PSO算法和GA算法在光谱特征波长选择中早熟和收敛速度慢的问题,降低了全光谱构建PLS水质COD预测模型的复杂度,提高了模型的预测精度。基于EPSO_GA算法建立的EPSO_GA_PLS水质COD预测模型,均方根误差降到了0.212 3,预测精度增加到0.999 3,可以快速定量检测水质COD,为紫外-可见光谱法测COD提供了更好的预测模型。     

基于小波变换的Stark展宽算法的优化研究

为了提升Stark展宽计算等离子体电子密度的准确性,基于小波阈值去噪处理方法,对EAST氘原子光谱信号进行了处理,以信噪比(SNR)和均方根误差(RMSE)作为滤波效果的评价依据,通过对比确定了最优小波基db4,最优小波分解4层。根据噪声估计值计算适合的阈值参数进行信号重构,并将经过去噪处理后的数据应用到后期Stark展宽算法计算等离子体密度的分析过程中。结果表明,小波硬阈值去噪能够有效提高光谱信号信噪比、降低均方根误差,在消除光谱信号中噪声的同时,最大程度保留了有用的光谱细节特征信息,进而有利于光谱数据的建模效果,获得更为准确的等离子体电子密度。     

基于FFT奇异值分解的光谱信号去噪算法

微型光谱仪在采集光谱信号过程中,光谱数据经常受到来自仪器光学系统和电子电路中的干扰出现噪声和光源特征峰,严重干扰了真实光谱信号的图谱特征,因此需要使用合理的预处理方法保留光谱信号中有用信号并尽可能过滤噪声信号同时将光源特征峰滤除,从而提高光谱信息定量分析的稳健性和准确性。并且在线检测系统要求尽可能减少人为参数选择对去噪效果的影响,奇异值分解经常应用于由系统电路引起的噪声去噪,奇异值降噪阶次的选取对提高信号信噪比十分关键,但是往往参数选取主要依赖经验调试和实验验证。因此,提出了一种基于奇异值重构信号分量频率的光谱信号去噪算法。该算法首先重构原始光谱信号单个奇异值分量信号,然后对每个奇异值分量信号作快速傅里叶变换,得到每个奇异值分量信号快速傅里叶变换结果中振幅最大所对应的频率值,最后按照奇异值递减方式对相应分量信号频率值进行一阶滞后差分,得到频率差分谱,研究表明,差分谱第一个谱峰值在大于设定阈值处所对应的奇异值即为奇异值分解降噪的有效阶次。结果表明：对包含多种重金属离子的溶液在线测量的紫外可见光谱信号,添加不同强度的随机噪声,并进行去噪处理,使用信噪比和均方根误差两个性能指标进行对比。所提算法相较于SG滤波算法和小波变换去噪算法信噪比分别提高了22.05%,10.88%,均方根误差分别降低了74.28%,41.29%。所提算法完全基于数据驱动,在处理真实紫外可见光谱信号中不仅抑制了噪声影响,而且将微型光谱仪的光源特征峰有效滤除,在紫外可见光谱信号的定量分析中具有较好的应用前景。     

非下采样小波变换红外光谱数据去噪

为了降低噪声对实测红外光谱信号的影响,引入了一种非下采样小波变换的红外光谱数据去噪方法。采用非下采样小波变换对原始光谱信号进行多尺度分解,提取信号的多尺度细节特征;根据光谱信号和噪声在不同尺度上的差异,通过应用变分偏微分方程方法调整分解后的各子带系数;重构各子带就可以将原始光谱信号中真实信号和噪声分离,从而达到剔除噪声的目的。通过两组实验对比传统小波和该方法针对红外光谱数据的消噪效果,实验结果表明:非下采样小波变换在红外光谱数据去噪方面具有明显的优势,不仅能够有效地去除噪声,很好地保持信号的形状,并且均方误差较小;在实际的红外光谱数据处理中能够获得较好的去噪效果。     

空间外差光谱仪光谱降噪方法研究

空间外差光谱仪是一种新式的超高分辨率光谱仪,可用于大气监测、卫星遥感等领域。为了减少空间外差光谱信号中的噪声,提出基于提升小波变换结合中值滤波方法来实现信号的降噪。改进的提升小波变换融合了一种双因子的阈值函数、分层阈值选取。与小波变换的软、硬阈值对比发现,它能提取空间外差光谱,减小峰宽和保留重要的细节特征,降噪效果优于小波变换的软、硬阈值法。最后用信噪比和均方误差两项定量指标来衡量算法的效果。实验结果表明:该算法比软阈值法在处理氙灯和积分球时信噪比提高了24.6%和31%,均方误差减少了43.2%和51.5%;与硬阈值法相比信噪比提高了21.5%和30.6%,均方误差减少了40.2%和51.2%。因此,算法在空间外差光谱降噪方面具有可行性。     

改进阈值提升小波和自适应滤波器的开放光路红外光谱去噪

大气污染物的主要组成成分为挥发性有机物(VOCs),傅里叶变换红外光谱技术(FTIR)是现阶段应用广泛的挥发性有机物在线测量方法。开放光路获取到的大气红外光谱(OP-FTIR)易受各种噪声污染,如何有效、快速的去除红外光谱中的噪声是大气在线实时监测系统研究的热点。综合利用提升小波变换结构简单、运算量低的优点以及最小均方误差自适应滤波器的自动调节参数以达最优化滤波的性能,提出了一种改进阈值提升小波结合自适应滤波的红外光谱去噪算法。该算法先通过改进阈值小波系数的提升小波去噪,在去噪的同时保留更多光谱特征信息,然后使用提升小波变换分解出的高频系数重构出噪声相关信号,将其作为最小均方误差自适应滤波器的参考输入进行二次滤波处理,最终获得的去噪信号很好的去除了与特征光谱频谱重叠的噪声信号。分别对人工添加噪声的标准红外光谱和合肥市市区上空实测开放光路红外光谱进行去噪处理,结果显示使用该算法处理后的光谱信噪比(SNR)较离散小波传统阈值去噪方法高出3db,均方根误差(RSME)平均减少30%左右,运行时间减少46%。表明该算法计算简单、运行速度快,对于大气环境监测实时消噪系统具有重要的实际应用意义。     

基于极值统计的拉曼光谱信噪比评估方法与应用

随着近年来便携式光谱仪技术的迅速发展,CCD光谱仪相对于传统光谱仪在光谱收集方式上发生了很多变化：（1）采集到的光谱对信号进行叠加积分,传统信噪比评估方法无法通过单次检测获得探测器波动;（2）对于谱图噪声（谱线随机波动）,由探测器响应随机波动和扫描重复误差转变为CCD探测器像素响应差异、探测器随机噪声和与光学系统分辨力有关的模式噪声。噪声类型发生改变,导致原有的光谱质量评价方法适用性变差,基于实测光谱提出更具适应性的光谱质量评价方法具有很强的现实意义。根据拉曼光谱仪检测器的变化,对采集光谱信号的成分进行分析,在该分析的基础上提出了CCD光谱仪的噪声模型假设,根据该假设使用不同的信号极值点频率对不同的噪声进行像素分离,并对噪声频率模式进行了数值模拟,模拟结果与假设相符;在此基础上提出并实验验证了通过谱线极值间距评估谱线噪声的拉曼光谱信噪比评估方法,该方法包括以下两个步骤：（1）通过采集多次实测光谱进行叠加,叠加过程中对对应不同频次的光谱极值点数量进行统计,得到统计结果后基于文中规律分离光谱仪中的环境噪声和暗噪声;（2）应用上述分离结果,对实测光谱中对应暗噪声的谱线极值点作统计平均,再将该值应用于文中公式,计算得到信噪比。该方法在进行了步骤（1）的前期准备后,可以通过单张谱图评估CCD拉曼光谱仪的随机噪声,并用于评估光谱的信噪比。基于光学构架相同、CCD探测器不同的三个拉曼光谱系统进行实验,采用该方法通过设定信噪比阈值对谱图质量进行控制,获得了一致的光谱曲线;基于该方法对同步叠加平均法进行信噪比拟合,拟合优度达到98%。该方法可用于拉曼光谱仪的性能评估和获取拉曼光谱谱图的质量实时控制。理论和实验表明：对于基于CCD探测器的拉曼光谱仪器,当确定样品和特征峰时,可以基于此方法获得信噪比。该方法还可用于比对不同配置的拉曼光谱设备,以及作为控制谱图质量一致性的标准,并对基于拉曼光谱技术的智能鉴别系统的开发具有指导意义。     

基于小波变换的便携式X射线荧光光谱仪检测模型的建立与改进

应用便携式X射线荧光光谱仪对土壤中Cr,Cu,Zn,As,Pb等重金属含量进行检测, 每个样品扫描检测3次,利用小波阈值滤噪的方法对所测谱线进行光滑去噪处理后, 根据土壤重金属的标准值和相应的计数率(取三次处理后检测谱线的平均值)建立各重金属的标准曲线。运用小波阈值滤噪方法时, 为确定最佳的小波基和小波分解层数, 以信噪比(SNR),均方根误差(MSE)和信息熵(H)作为评估指标评价降噪效果。为验证仪器的稳定性, 根据土壤样品中重金属浓度的不同挑选部分样品并同时选用H₃BO₃(空白对照)进行重测。结果表明: 运用小波变换方法时,选取coif3小波基对谱线进行三层分解, 取得了最佳的去噪效果; 建立好模型后,仪器的决定系数R2范围是0.990~0.996, 表明在0~1 500 mg·kg-1范围内, 土壤样品中各重金属元素含量与X射线荧光光谱特征峰强度之间的线性关系良好; 经过重复检测和计算得知仪器的检出限均低于国家一级土壤标准。将小波变换的方法实际运用到X射线荧光光谱仪检测模型的建立与改进中,有效的提高了模型的准确性,同时经验证,仪器具有良好的精密度,可运用于实际土壤重金属污染的现场快速筛查。     

基于透射光谱的水体含沙量在线监测技术研究

水体含沙量监测一直是水文观测及水中建设施工的重要观测内容,实时有效地监测水体含沙量具有重要实际价值。传统人工测量方法效率低下,无法实时监测,基于超声波等仪器监测方法虽可实现水体含沙量的实时测量,但在安全性、稳定性和测量范围上各有缺点。而基于光谱法进行物质含量监测的技术具有快速、无损、精确高效等优点,近年来被广泛应用于各领域,为水体含沙量在线监测技术提供新的思路与方法。但直接透射光谱法易受光源的不稳定和外界的杂散光的干扰,产生光谱噪声,同时由于仪器设备的光强饱和度,其测量量程存在限制。基于此,重点研究直接透射光谱噪声处理和多段标定技术,设计了一种基于透射光谱的水体含沙量快速大量程在线监测系统。首先基于朗伯-比尔基本定律理论分析水体含沙量与透射光强度之间的关系,然后利用比色皿支架实验室搭建了水体含沙量监测试验系统,配制不同含沙比例的标准溶液,进行强度-含沙量实际相关度标定测试。为克服光谱噪声影响,采用小波阈值去噪算法对原始透射光谱进行预处理,使用sym7小波基,极小极大阈值选择规则和7次小波分解次数,消除光谱噪声;设置不同积分时长,采用多段标定的方式实现了从4%到22%含沙量的大量程测量,并在算法中实现标定函数与测量量程自动匹配。结果表明标定曲线R平方值均在0.99以上,线性度良好,与理论相符合。最后对设计的水体含沙量在线监测系统进行实际精度测试,结果表明在大量程测量范围的测量误差均控制在0.4%以下,全量程误差均值为0.173%,误差标准差为0.115%,可满足工程实际需求。因此提出一种大量程的水体含沙量在线监测系统,并试验验证了系统测量准确度,可以用于水体含沙量实时在线监测。     

基于改进小波阈值的量子点荧光光谱降噪研究

使用光谱仪采集到的信号难免受到不同噪声源的影响。为了提高光谱信号解析的精准度,通过分析小波应用于信号降噪的原理以及经典的软、硬阈值降噪法存在的缺陷,提出了一种改进的阈值降噪法。该方法既克服了硬阈值法产生间断点,软阈值法产生恒定偏差的缺陷,又尽量地保留了有用信号。实验选用的小波基函数为SymletsA,分解层数为4,结合Birge Massart策略模型确定的分层阈值对硒化镉量子点荧光光谱信号进行降噪处理。结果表明,与经典的软、硬阈值降噪法相比,通过改进阈值降噪法得到重构信号的信噪比（SNR=47.550 2）、能量占比（PER=0.973 3）和均方误差（MSE=149.421 3）均有提高和改善。     

DNA测序信号去噪分析的一种新方法

在DNA荧光测序中,噪声会影响分析的准确度和检出限。相比其他滤波方法,小波分析具有良好的时频域分辨特性。在小波去噪处理中,正确选择合适的小波基函数、去噪阈值和分解层数直接关系到信号去噪处理的质量。为了真实构建噪声模型并准确评价去噪算法的有效性,实验中通过实际系统中采集到的噪声信号叠加理想荧光信号构建DNA测序仿真信号,去噪分析的结果表明：选择sym7小波基函数、分解层数(lev＝5)与使用固定格式软阈值,有效去除了DNA测序信号的噪声;处理后,信号的信噪比提高了5倍以上。将其用于处理实际的DNA电泳荧光信号,相比基于随机噪声模型的算法,去噪后的信号更加真实可靠。