基于改进Hodrick-Prescott分解模型的近红外自适应降噪方法

在检测果蔬农药残留的近红外光谱采集过程中,往往会受噪声干扰获得低信噪比近红外光谱,且近红外光谱中表征农药和果蔬化学组分的谱峰微弱且重叠度高,因而此近红外光谱降噪普遍存在易平滑微弱的农药组分谱峰、或增加非测量物化学组分谱峰的危险,导致在后续以仅挖掘红外光谱谱峰特征为前提的分类和化学组分分析中,恶化近红外光谱的分类精度、影响农药残留成分的正确分析。针对抑制近红外光谱噪声与保持近红外光谱谱峰的矛盾,提出一种改进Hodrick-Prescott分解模型的自适应降噪方法。在该方法的Hodrick-Prescott分解模型中,以染噪光谱与复原光谱之间残差的L2范数为残差项,描述高斯噪声结构,以复原光谱信号二阶差分的L2范数为正则化项,惩罚复原光谱、迫使从染噪光谱中复原的光谱倾向于梯度减少的方向,以平滑噪声、保持原始谱峰信息。该方法同时结合L-曲线方法,自适应地获取染噪光谱在Hodrick-Prescott优化方程中的正则化参数,并通过求解该曲线最大曲率点对应的参数获得最优正则化参数,确保能平衡Hodrick-Prescott分解模型中正则化项和残差项,以得到较为理想的光谱复原结果。实验以农药残留和未残留的上海青近红外光谱为基本数据、通过降噪前后信噪比、以及支持向量机分类模型的识别率,对比分析bior6.8小波分解方法、 sym8小波分解方法、互补集合模态分解方法的降噪效果。实验结果显示,该方法在处理18.79 dB信噪比染噪近红外光谱时获得了33.35 dB信噪比;在实施上海青农药残留检测中,处理训练集与测试集近红外光谱数据后,训练所得支持向量机分类模型的训练集识别率达93.58%、测试集识别率达71.18%,此识别率明显高于上述三种方法降噪后的结果,接近于原始未染噪声光谱数据。该方法在近红外光谱降噪方面具有明显的优势,能应用于农药残留近红外光谱检测的前期处理。     

基于经验模态分解的近红外光谱预处理方法

针对微分法在有效消除光谱背景和基线漂移的同时会增加光谱噪声的问题,把最新发展的经验模态分解方法(EMD)引入到近红外光谱处理中来,以烟草的一阶导数近红外(NIR)光谱为研究对象,探讨经验模态分解在近红外光谱预处理中的应用,并与小波变换消噪效果进行了对比分析。结果表明,用基于经验模态分解去噪后的光谱进行分析,预测集的决定系数r2由去噪前的0.9705提高到0.9832,均方根误差(RMSEP)由去噪前的0.5606降为0.3310,比基于小波变换的分析结果略高。因此,经验模态分解方法对消除光谱的噪声是有效的,有效地提高了光谱的分析精度和模型的稳定,为近红外光谱预处理提供了一种新方法。     

EEMD-ICA在功能性近红外光谱特征信号提取中的应用

近年来,功能性近红外光谱技术(fNIRS)广泛应用于神经影像学领域。为解决fNIRS特征信号提取中的信噪频谱混叠问题,依据近红外光谱脑功能成像信号非线性与非平稳特点,提出一种结合集合经验模态分解法和独立成分分析的多分辨率联合信号提取方法EEMD-ICA。在脑功能成像仪器平台上采集多通道多波长脑功能成像近红外光密度信号,先对该信号进行集合经验模态分解将其按频率成分分解为多层本征模态函数,之后将独立成分分析应用于目标频率分量函数进行自适应去噪,最后将处理后的分量累加、重构获得近红外光谱脑功能成像的特征信号。将Valsalva氏实验测试数据作为研究对象进行滤噪处理,与经验模态分解法和集合经验模态分解法对fNIRS特征信号的提取效果对比。对实测数据的处理结果进行信噪比和误差参数分析,结果表明,该方法能够有效解决去噪过程中丢失原始信号有用信息及由于信噪频谱混叠不能完整去除噪声的问题,信号处理效果理想,对比另外两种信号提取方法更为优化。     

EEMD自适应去噪在拉曼光谱中的应用

二代小波是公认较好的降噪手段,但是降噪效果依赖于基函数、分解层数和阈值等参数设置。经验模态分解(empirical mode decomposition, EMD)无需参数设定,按照频率特性将信号分解成本征模函数(intrinsic mode function, IMF),对IMF滤波,实现了信号自适应去噪。拉曼光谱中信号和噪声交叠集中在极高频段,EMD产生模态混叠问题,影响去噪效果。应用总体平均经验模态分解(ensemble empirical mode decomposition,EEMD)拉曼光谱克服了模态混叠,有效区分出高频信号和噪声,获得了与小波函数相似去噪效果。文中首先对一段非线性非平稳豆油脂拉曼光谱EMD分解,可见模态混叠,EEMD分解出清晰模态的特征分量。然后分别用快速傅里叶变换(fast Fourier transform,FFT)、小波变换(Wavelet)、EMD和EEMD处理含噪光谱,信噪比、均方根误差、相关系数三个方面指标表明FFT高频去噪效果最差,其次是EMD,恰当的Wavelet同EEMD效果相当,EEMD的优势是降噪过程的自适应。最后提出光谱时频分析方法和IMF噪声属性判别准则研究趋势。     

基于分组三维离散余弦变换字典的植物高光谱数据去噪方法EI北大核心CSCD

针对植物高光谱图像各波段噪声强度不同,以及空间域和谱域均存在噪声污染的问题,提出了一种基于分组三维(3D)离散余弦变换(DCT)字典的稀疏表示去噪方法。首先分析了植物光谱特征,根据谱间相关性对波段进行分组;然后采用边缘块剔除的局部均值标准差法对高光谱图像进行噪声标准差估计,为去噪算法提供参考阈值;最后构建三维DCT字典的稀疏表示去噪方法,对植物高光谱图像进行去噪。实验结果表明,与原始数据和二维DCT字典去噪方法相比,谱域噪声评估中平均信噪比分别提高18.2dB和9.2dB。因此,该方法不仅具有较好的空间域去噪能力,也有较好的谱域去噪能力。     

基于独立成分分析和经验模态分解的混沌信号降噪

基于经验模态分解和独立成分分析去噪的特点,提出了一种联合独立成分分析和经验模态分解的混沌信号降噪方法. 利用经验模态分解对混沌信号进行分解,根据平移不变经验模态分解的思想构造多维输入向量, 通过所构造的多维输入向量和独立成分分析对混沌信号的各层内蕴模态函数进行自适应去噪处理; 将处理后的所有内蕴模态函数进行累加重构,从而得到降噪后的混沌信号. 仿真实验中分别对叠加不同强度高斯噪声的Lorenz混沌信号及实际观测的月太阳黑子混沌序列进行了研究, 结果表明本文方法能够对混沌信号进行有效的降噪,而且能够较好地校正相空间中点的位置, 逼近真实的混沌吸引子轨迹. 关键词： 独立成分分析 经验模态分解 混沌信号 降噪     

基于分组三维离散余弦变换字典的植物高光谱数据去噪方法

针对植物高光谱图像各波段噪声强度不同,以及空间域和谱域均存在噪声污染的问题,提出了一种基于分组三维(3D)离散余弦变换(DCT)字典的稀疏表示去噪方法。首先分析了植物光谱特征,根据谱间相关性对波段进行分组;然后采用边缘块剔除的局部均值标准差法对高光谱图像进行噪声标准差估计,为去噪算法提供参考阈值;最后构建三维DCT字典的稀疏表示去噪方法,对植物高光谱图像进行去噪。实验结果表明,与原始数据和二维DCT字典去噪方法相比,谱域噪声评估中平均信噪比分别提高18.2dB和9.2dB。因此,该方法不仅具有较好的空间域去噪能力,也有较好的谱域去噪能力。     

基于LCEEMD的低信噪比拉曼光谱自适应去噪方法研究

在生物体拉曼光谱快速采集或低功率采集过程中,往往会获得低信噪比拉曼光谱。针对低信噪比光谱数据,提出应用补充总体经验模态方法(CEEMD)分解拉曼光谱,并且依据特征模态分量的归一化排列熵值(NPE)按比例扣除噪声成分的方法,称为局部补充总体均值经验模分解方法(LCEEMD)。LCEEMD方法不仅解决了经验模态(EMD)分解中高频信号与噪声的模态混叠问题,还有效降低了总体经验模态分解法(EEMD)中的残留噪声。仿真数据实验显示,LCEEMD方法在处理10db信噪比模拟光谱时获得了39.615 0 db信噪比,0.001 17标准差和0.999 9相关系数。在人体皮肤拉曼光谱试验中,LCEEMD方法滤波后数据准确呈现出角质层脂质酰胺I带激发拉曼强谱峰以及甘油三酸酯中(CO)酯微弱谱峰。在水稻叶片可溶性糖定量预测模型中,LCEEMD方法取得了0.871 7预测相关系数和0.912 0预测标准误差,优于EMD和EEMD软阈值去噪(0.511 4,1.647 8和0.638 2,1.508 8)。LCEEMD方法实施过程中,根据去噪性能指标反馈调整归一化排列熵阈值,直至获得最佳去噪效果,滤波过程无需参数设置,可以自适应实现。     

基于EMD的拉曼光谱去噪方法研究

经验模态分解(EMD)方法是一个以信号极值特征尺度为度量的时空滤波过程,它充分保留了信号本身的非线性和非平稳特征,在信号的滤波和去噪中具有较大的优势。文章在介绍EMD分解方法的基础上,结合EMD的多尺度滤波特性,提出了一种新的拉曼光谱去噪方法——EMD阈值去噪法。该方法首先对含噪的拉曼光谱信号做EMD分解,得到各阶本征模态函数(IMF),然后对高频的IMF分量用阈值法进行处理,把经过阈值处理后的高频IMF分量与低频IMF分量叠加得到重构的信号,即去噪信号。通过处理对二甲苯的拉曼光谱信号,分析了在不同噪声水平上不同去噪方法的处理效果。实验结果表明EMD阈值去噪法有效地去除了噪声,较好地保留了光谱的细节信息,与小波阈值去噪方法相比较具有自适应的优势,在拉曼光谱去噪中有很好的应用前景。     

基于集合经验模态分解和奇异值分解的激光雷达信号去噪

为了提高差分光柱像运动激光雷达(DCIM雷达)探测信噪比,提出了一种基于集合经验模态分解(EEMD)和奇异值分解(SVD)的混合降噪法.由EEMD获得含噪信号多层模态分量,根据各模态分量之间互相关系数的差分量确定主要噪声并予以滤除,利用奇异值分解识别模态分量中的残余噪声并提取有用信号.利用混合降噪法EEMD-SVD和EEMD方法分别对模拟仿真信号和实测激光雷达信号进行降噪处理.结果表明,当模拟噪声标准差在0.05~0.2之间时,相比与未降噪直接反演的湍流廓线,EEMD-SVD方法降噪后反演的湍流廓线信噪比提高了2.718 7dB~6.921 5dB,相应的EEMD方法提高了1.446 1dB~3.366 1dB;两个不同时段DCIM雷达降噪前后反演廓线与探空廓线的对比发现,EEMD-SVD和EEMD两种方法降噪后反演廓线较之于未降噪的反演廓线,信噪比最大提高了2.526 5dB和2.155 6dB.EEMD-SVD的降噪效果优于EEMD,能够更有效地识别和滤除噪声,较大地提高了原始信号的信噪比,获得更准确的大气湍流廓线反演结果.     

二次谐波的变分模态分解和小波阈值函数降噪

针对利用可调谐半导体激光器吸收光谱学(TDLAS)技术测量气体浓度过程中二次谐波谱线存在的外界噪声干扰问题,提出一种基于变分模态分解和小波阈值函数复合算法的二次谐波降噪方法。首先对二次谐波含噪信号进行分解,得到有用固有模态函数(IMF)并进行重构,再对重构信号进行小波阈值函数降噪处理。讨论了变分模态分解中最佳平衡参数的选取,得出最佳平衡参数与含噪信号中噪声成正比的结论。通过改变小波变换的阈值函数改变高频小波系数,以更好地抑制噪声。对实际测量曲线的降噪结果表明,所提出的降噪方法可以在信噪比较低的情况下有效抑制噪声,提取有用的二次谐波信号。     

基于FFT奇异值分解的光谱信号去噪算法

微型光谱仪在采集光谱信号过程中,光谱数据经常受到来自仪器光学系统和电子电路中的干扰出现噪声和光源特征峰,严重干扰了真实光谱信号的图谱特征,因此需要使用合理的预处理方法保留光谱信号中有用信号并尽可能过滤噪声信号同时将光源特征峰滤除,从而提高光谱信息定量分析的稳健性和准确性。并且在线检测系统要求尽可能减少人为参数选择对去噪效果的影响,奇异值分解经常应用于由系统电路引起的噪声去噪,奇异值降噪阶次的选取对提高信号信噪比十分关键,但是往往参数选取主要依赖经验调试和实验验证。因此,提出了一种基于奇异值重构信号分量频率的光谱信号去噪算法。该算法首先重构原始光谱信号单个奇异值分量信号,然后对每个奇异值分量信号作快速傅里叶变换,得到每个奇异值分量信号快速傅里叶变换结果中振幅最大所对应的频率值,最后按照奇异值递减方式对相应分量信号频率值进行一阶滞后差分,得到频率差分谱,研究表明,差分谱第一个谱峰值在大于设定阈值处所对应的奇异值即为奇异值分解降噪的有效阶次。结果表明：对包含多种重金属离子的溶液在线测量的紫外可见光谱信号,添加不同强度的随机噪声,并进行去噪处理,使用信噪比和均方根误差两个性能指标进行对比。所提算法相较于SG滤波算法和小波变换去噪算法信噪比分别提高了22.05%,10.88%,均方根误差分别降低了74.28%,41.29%。所提算法完全基于数据驱动,在处理真实紫外可见光谱信号中不仅抑制了噪声影响,而且将微型光谱仪的光源特征峰有效滤除,在紫外可见光谱信号的定量分析中具有较好的应用前景。     

EMD时频分析拉曼光谱和近红外光谱

用时频方法分析拉曼光谱和近红外光谱。经验模态分解光谱成为特征模态分量,模态分量比重计算显示拉曼光谱能量均匀分布于各个分量,而近红外光谱的低阶特征模态分量只承载了较少的原光谱有效信息。真实光谱和数值实验均显示,经验模态分解视拉曼光谱为调幅信号,具有高频能量吸附特性; 视近红外光谱为调频信号,在一阶特征模态分量中可以较好实现高频窄带解调。一阶特征模态分量希尔伯特变换显示,经验模态分解拉曼光谱时易出现模态混叠现象。进一步在时频域分析玉米叶片近红外光谱,经验模态分解后截掉低能量的一、二阶分量,用剩余特征模态分量重构光谱信号,均方根误差为1.001 1,相关系数为0.981 3,两个指标反映出重构精度较高; 分解趋势项表明在近红外光波段,吸光度随着波长的减小呈现递增趋势; 特征模态分量的希尔伯特变换显示,657 cm-1是碱胁迫光谱特有频率,可作为碱胁迫光谱特征频率来辨识。     

基于可见/近红外光谱技术的林地土壤氮含量测定

提出一种利用可见/近红外光谱技术进行杉木林土壤全氮测定的方法.利用不同方法实现了土壤光谱的预处理,并以偏最小二乘回归算法(PLS)建立土壤氮含量估测模型对其进行比较分析,发现小波除噪结合多远散射校正能最有效地消除原始光谱的噪声与背景信息,此时PLS模型校正集与预测集R2分别为0.891与0.885.为优化模型,对预处理后的光谱数据采用主成分分析法(PCA)降维,以最小二乘支撑向量机回归算法(LS-SVR)建立了土壤氮含量估测模型,其校正集与预测集R2分别提高至0.921与0.917,具有比PLS算法更高的精度.结果表明:以可见/近红外光谱技术进行林地土壤氮含量快速监测是可行的,其中小波去噪结合多元散射校正系光谱预处理的优选方法,而LS-SVR则是建模的优选方法.     

近红外光谱快速检测丙氨酸氨基转移酶

在探讨近红外光谱快速检测丙氨酸氨基转移酶的可行性过程中,首先对不同厚度(0.5,1,2和4mm)血液样品的近红外透射光谱进行了分析。发现全血样品0.5 mm厚时的近红外透射光谱更适合于进行光谱分析。进而采集了176个全血样品0.5 mm厚时的近红外光谱。对采集的光谱进行多元散射校正、二阶微分法光谱预处理后,采用逐步多元线性回归和偏最小二乘回归方法建立定量分析模型,预测了全血丙氨酸氨基转移酶的含量。结果表明:利用近红外光谱法测定丙氨酸氨基转移酶时,采用偏最小二乘回归方法建立的定标模型预测效果最好,定标相关系数、定标标准差和预测标准差的值分别为:0.98,2.42和7.22。     

基于经验模态分解的高光谱遥感数据去噪方法

经验模态分解(EMD)是一种新的时频分析方法,经EMD分解后的各个固有模态函数(IMF)突出了原始信号的局部特征,从而可以区分噪声和有用信号。基于此,结合高光谱遥感数据的光谱变化特征,提出了一种基于经验模态分解的高光谱遥感数据去噪方法。通过对理论数据的实验表明,数据中的噪声无论是高斯分布还是均匀分布,数据经EMD分解后,噪声都主要集中在前几个特定的IMF,对相应的IMF进行滤波处理后并与其他IMF分量进行重构就可得到去噪信号,与小波去噪结果相比较,这种方法效果更好。最后把该去噪方法应用于野外实测的油膜高光谱数据去噪,实验结果表明,该方法能准确、有效地去除高光谱遥感数据的噪声。     

运动西瓜可见/近红外光谱采集系统及品质检测试验研究

为使可见/近红外漫透射光谱技术用于西瓜品质在线检测,自行设计加工了运动西瓜光谱采集系统,并进行了样品光谱采集。通过运动状态下西瓜光谱与品质指标的建模与预测结果,分析由于运动引起的噪声对光谱的影响,并分别采用最小二乘拟合法、Norris微分滤波等方法进行了光谱的平滑消噪处理,分析这些方法对光谱的平滑消噪效果及对建模与预测结果的影响,发现Norris微分滤波法更适合本系统采集到的西瓜光谱的平滑消噪处理,改善了光谱的平滑性,提高了建模与预测精度;建立了运动西瓜的可溶性固形物含量与可见/近红外光谱的相关关系模型,校正相关系数为0.895,均方根校正标准偏差RMSEC为0.549,均方根预测标准偏差RMSEP为0.760。     

遗传算法优化变分模态分解提取舰船辐射噪声特征线谱方法

特征线谱提取是舰船目标识别的一个重要研究环节,常采用传统的DEMON谱分析方法,处理过程中,一般对舰船噪声时域信号未予抑噪,低信噪比情况下,传统DEMON谱分析性能差。对此,提出一种采用遗传算法优化变分模态分解方法,用于分解舰船噪声原时域信号,获得抑制噪声后的舰船噪声重构信号,进而有效提取了舰船目标噪声幅度调制特征线谱。该方法首先采用遗传算法优化变分模态分解的两个关键输入参数(分解所取模态个数和惩罚因子),对变分模态分解得到的各阶固有模态分量加以判别,去除噪声主导分量,保留信号主导分量,使重构舰船噪声信号显著抑制了干扰噪声,然后对降噪后的重构信号进行频谱分析,获得目标噪声调制特征线谱。理论分析、仿真和实验数据处理结果表明,相比传统DEMON谱分析法,基于遗传算法优化变分模态分解的舰船噪声特征线谱提取方法具有更好的噪声抑制能力,所获取的舰船噪声幅度调制特征线谱信噪比明显高于传统DEMON方法,具有一定优势,前景良好。     

乙醇含量拉曼光谱检测中噪声与背景同时消除方法研究

乙醇含量拉曼光谱检测中,拉曼光谱信号中的各种噪声及光谱荧光造成的基线漂移和样品池背景等,影响了校正模型的预测精度。利用总体平均经验模态分解,将光谱信号分解成若干无模态混叠的内在模式分量,根据排列熵的信号随机性检测判据判断出代表背景信息和噪声信息的内在模式分量,将其置零即可同时消除拉曼光谱中的噪声与背景。将总体平均经验模态分解与排列熵相结合的预处理方法应用于乙醇含量的拉曼光谱检测中,并与小波变换和平均平滑滤波做了对比。实验结果表明：应用总体平均经验模态分解与排列熵相结合的方法能够有效的同时消除乙醇含量拉曼光谱检测中的噪声和背景信息,提高校正模型的预测精度,且使用简便,无需参数设置,对乙醇含量拉曼光谱检测具有实用价值。     

基于经验模态分解消噪的光纤光栅解调系统

为了提高光纤Bragg光栅解调系统的解调准确度,提出利用经验模态分解对信号进行滤波分析和降噪处理的方法.该方法将经验模态分解得到的固有模态函数,分为信号分量起主导作用模态与噪音分量起主导作用模态,并利用反映信号主要结构的模态对信号进行重构实现去噪.实验表明,解调系统输出信号能够识别出中心波长的位置,精确得到Bragg波长的漂移量,输出谱失真小、信噪比高.对温度实验数据进行曲线拟合,拟合线性度为0.998,提高了系统的解调准确度.