基于LCEEMD的低信噪比拉曼光谱自适应去噪方法研究

在生物体拉曼光谱快速采集或低功率采集过程中,往往会获得低信噪比拉曼光谱。针对低信噪比光谱数据,提出应用补充总体经验模态方法(CEEMD)分解拉曼光谱,并且依据特征模态分量的归一化排列熵值(NPE)按比例扣除噪声成分的方法,称为局部补充总体均值经验模分解方法(LCEEMD)。LCEEMD方法不仅解决了经验模态(EMD)分解中高频信号与噪声的模态混叠问题,还有效降低了总体经验模态分解法(EEMD)中的残留噪声。仿真数据实验显示,LCEEMD方法在处理10db信噪比模拟光谱时获得了39.615 0 db信噪比,0.001 17标准差和0.999 9相关系数。在人体皮肤拉曼光谱试验中,LCEEMD方法滤波后数据准确呈现出角质层脂质酰胺I带激发拉曼强谱峰以及甘油三酸酯中(CO)酯微弱谱峰。在水稻叶片可溶性糖定量预测模型中,LCEEMD方法取得了0.871 7预测相关系数和0.912 0预测标准误差,优于EMD和EEMD软阈值去噪(0.511 4,1.647 8和0.638 2,1.508 8)。LCEEMD方法实施过程中,根据去噪性能指标反馈调整归一化排列熵阈值,直至获得最佳去噪效果,滤波过程无需参数设置,可以自适应实现。     

EMD时频分析拉曼光谱和近红外光谱

用时频方法分析拉曼光谱和近红外光谱。经验模态分解光谱成为特征模态分量,模态分量比重计算显示拉曼光谱能量均匀分布于各个分量,而近红外光谱的低阶特征模态分量只承载了较少的原光谱有效信息。真实光谱和数值实验均显示,经验模态分解视拉曼光谱为调幅信号,具有高频能量吸附特性; 视近红外光谱为调频信号,在一阶特征模态分量中可以较好实现高频窄带解调。一阶特征模态分量希尔伯特变换显示,经验模态分解拉曼光谱时易出现模态混叠现象。进一步在时频域分析玉米叶片近红外光谱,经验模态分解后截掉低能量的一、二阶分量,用剩余特征模态分量重构光谱信号,均方根误差为1.001 1,相关系数为0.981 3,两个指标反映出重构精度较高; 分解趋势项表明在近红外光波段,吸光度随着波长的减小呈现递增趋势; 特征模态分量的希尔伯特变换显示,657 cm-1是碱胁迫光谱特有频率,可作为碱胁迫光谱特征频率来辨识。     

EEMD自适应去噪在拉曼光谱中的应用

二代小波是公认较好的降噪手段,但是降噪效果依赖于基函数、分解层数和阈值等参数设置。经验模态分解(empirical mode decomposition, EMD)无需参数设定,按照频率特性将信号分解成本征模函数(intrinsic mode function, IMF),对IMF滤波,实现了信号自适应去噪。拉曼光谱中信号和噪声交叠集中在极高频段,EMD产生模态混叠问题,影响去噪效果。应用总体平均经验模态分解(ensemble empirical mode decomposition,EEMD)拉曼光谱克服了模态混叠,有效区分出高频信号和噪声,获得了与小波函数相似去噪效果。文中首先对一段非线性非平稳豆油脂拉曼光谱EMD分解,可见模态混叠,EEMD分解出清晰模态的特征分量。然后分别用快速傅里叶变换(fast Fourier transform,FFT)、小波变换(Wavelet)、EMD和EEMD处理含噪光谱,信噪比、均方根误差、相关系数三个方面指标表明FFT高频去噪效果最差,其次是EMD,恰当的Wavelet同EEMD效果相当,EEMD的优势是降噪过程的自适应。最后提出光谱时频分析方法和IMF噪声属性判别准则研究趋势。     

近红外“3R”法双谱自适应去噪

针对近红外透射和吸收双光谱提出一种自适应的去噪方法。同步采集样品的近红外透射谱和吸收谱,在相同分解原则下总体经验模态法分解两组光谱,得到单组分特征模态分量。计算特征模态分量与原透射谱、吸收谱之间相关性,以及两组特征模态分量之间相关性,相关性最小模态分量初判为噪声分量。分析该分量在光谱中点处自相关性,若中点处很大,其他点几乎为零或很小,可以判断该分量为噪声。这种基于模态分量相关性的噪声判别方法称为“3R”法则。剔除噪声分量,重构光谱信号,循环上述分解过程,直到不满足“3R”法则,降噪过程结束。构造理想光谱,叠加噪声,“3R”法降噪效果优于EMD和EEMD低通滤波器,略逊于小波分解。真实光谱实验中,经过上述方法降噪处理过的玉米叶片光谱采用3层BP神经网络建立与叶绿素之间预测模型,“3R”法处理模型具有最大校正相关系数和预测相关系数,最小校正标准差和预测标准差。在四种降噪方法中,“3R”法对光谱谱峰位置和峰高的影响最小。实验表明,“3R”双谱去噪方法无需预设迭代次数,不用考虑分解层数,没有基函数,是自适应的,该方法适合近红外光谱去噪。     

基于EMD的拉曼光谱去噪方法研究

经验模态分解(EMD)方法是一个以信号极值特征尺度为度量的时空滤波过程,它充分保留了信号本身的非线性和非平稳特征,在信号的滤波和去噪中具有较大的优势。文章在介绍EMD分解方法的基础上,结合EMD的多尺度滤波特性,提出了一种新的拉曼光谱去噪方法——EMD阈值去噪法。该方法首先对含噪的拉曼光谱信号做EMD分解,得到各阶本征模态函数(IMF),然后对高频的IMF分量用阈值法进行处理,把经过阈值处理后的高频IMF分量与低频IMF分量叠加得到重构的信号,即去噪信号。通过处理对二甲苯的拉曼光谱信号,分析了在不同噪声水平上不同去噪方法的处理效果。实验结果表明EMD阈值去噪法有效地去除了噪声,较好地保留了光谱的细节信息,与小波阈值去噪方法相比较具有自适应的优势,在拉曼光谱去噪中有很好的应用前景。     

基于集合经验模态分解的拉曼光谱信号特征研究

拉曼光谱信号是一种基于分子振动的散射信号,拉曼光谱仪的激光源波长一般为纳米级,考虑到散射频移,拉曼光谱有效信息主要集中在较高频段。拉曼信号是典型的非平稳信号,并且由于拉曼散射比较弱,信号很容易被高频噪声和荧光背景干扰,想获取较为全面的拉曼信息,需要对信号进行处理,小波变换对拉曼信号的分析结果取决于小波基的选择,不同小波基处理结果有差异;经验模态分解(EMD)方法可以自适应的分析信号,不需要设置参数,但存在模态混叠的问题;集合平均经验模态分解(EEMD),有效的解决了EMD方法中存在的模态混叠问题,能更加清晰的将信号中的不同频率成分划分开来,因此更加适合频率成分丰富的拉曼信号的特征分析和处理。采集了市面上常见的大豆油、花生油、玉米油和葵花籽油样本,通过拉曼光谱仪获得了各自的拉曼光谱信号。使用集合经验模态分解对食用油拉曼光谱信号进行自适应分解和处理,一共获得了10阶固有模态函数(IMF),根据信号的能量分布以及幅值特性, IMF1和IMF2表征为信号中的噪声部分, IMF3-IMF7表征为拉曼特征信号部分,最后一阶IMF10表征为荧光背景成分, IMF8和IMF9为其他物理意义的频率成分。通过对有效信号段的特征增强并重构拉曼信号,使拉曼信号的信噪比获得了2～5倍的提升,其中,难以探测的酯键羰基伸缩振动位于1 745 cm~(-1)的谱峰得到了显著的增强。最后,将原始信号和经过特征增强的信号通过基于连续小波变换的惩罚最小二乘法进行了二次处理,并将获得的信号进行主成分分析后,可知:没有增强的不同类数据样本相互有重叠,不存在明显的类间距,很难完整的区分类型;基于特征增强的数据样本各自聚集,每种类型都可以相互鉴别,可为拉曼光谱信号处理提供一种新的途径。     

小波包熵的复杂体系近红外光谱信息提取

有用信息提取是复杂体系近红外检测的重点和难点之一。由于复杂体系光谱中存在各种噪声、基线漂移、谱带重叠及复杂背景的干扰,常规方法不能准确地从光谱中获得有用信息。为此,将小波包变换(DWPT)和信息熵理论相结合--小波包熵(EWPIE)提取复杂体系光谱中的有用信息。思路是采用小波包变换对光谱信号进行多频带分解,根据有用信号与噪声的频带分布特点,基于信息熵理论滤除干扰的频率分量,采用正交校正法(OSC)剔除与被测组分无关的信息,然后对处理后的频率分量进行重构,从而实现复杂体系有用信息的准确提取。通过对复杂体系光谱数据建立多元校正模型来验证该方法的效果。采用牛奶的近红外光谱数据,以牛奶中脂肪和蛋白质浓度为研究对象,建立了偏最小二乘法(PLS)模型。结果显示,牛奶中脂肪和蛋白质的预测均方根误差(RMSEP)分别为0.132%和0.121%,与单纯的DWPT和OSC相比,EWPIE能够有效地提取有用信息,避免了无用信息的干扰,明显提高了模型的预测精度,对复杂体系的准确检测具有一定的理论意义和实际应用价值。     

拉曼光谱乙醇含量测量基线校正算法研究

采用拉曼特征峰峰比法进行乙醇含量的定量分析时,两峰值强度对定量分析精度有决定作用。为获得准确的乙醇含量信息,本文采用自主研制的激光拉曼乙醇含量检测系统实验获得不同浓度乙醇溶液拉曼光谱特征峰与本底水峰相对强度关系,研究了适用于大范围乙醇浓度定量分析的快速实时基线扣除算法。分别采用小波分析和基于极值自适应缩放的方法去除荧光背景,实现光谱基线校准。基线校准处理后,两种方法均能消除突变噪声及强荧光背景的影响而读取出拉曼峰强度。采用e指数数学模型对拉曼峰值强度比随乙醇浓度变化关系进行非线性回归分析。结果表明,小波分析方法非线性拟合相关系数高于0.980,基于极小极大值自适应缩放的方法非线性拟合相关系数高于0.982。     

基于经验模态分解的近红外光谱预处理方法

针对微分法在有效消除光谱背景和基线漂移的同时会增加光谱噪声的问题,把最新发展的经验模态分解方法(EMD)引入到近红外光谱处理中来,以烟草的一阶导数近红外(NIR)光谱为研究对象,探讨经验模态分解在近红外光谱预处理中的应用,并与小波变换消噪效果进行了对比分析。结果表明,用基于经验模态分解去噪后的光谱进行分析,预测集的决定系数r2由去噪前的0.9705提高到0.9832,均方根误差(RMSEP)由去噪前的0.5606降为0.3310,比基于小波变换的分析结果略高。因此,经验模态分解方法对消除光谱的噪声是有效的,有效地提高了光谱的分析精度和模型的稳定,为近红外光谱预处理提供了一种新方法。     

基于MCKD-EEMD近似熵和TWSVM的齿轮箱故障诊断

在复杂环境下齿轮箱信号往往会淹没在噪声信号中,特征向量难以提取;为了有效地进行故障诊断,提出了基于最大相关反褶积(MCKD)总体平均经验模态分解(EEMD)近似熵和双子支持向量机(TWSVM)的齿轮箱故障诊断方法;首先采用MCKD方法对强噪声信号进行滤波处理,在采用EEMD方法对齿轮箱信号进行分解,分解后得到本征模函数(IMF)分量进行近似熵求解,得到齿轮特征向量,最后将其输入到TWSVM分类器中进行故障识别;仿真实验表明,采用MCKD-EEMD方法能够有效地提取原始信号,与其他分类器相比,TWSVM的计算时间短,分类效果好等优点。     

自适应的EEMD残余相关基线校正算法

基线校正是光谱分析的重要环节,现有算法通常需要设定关键参数,不具备自适应性。根据总体平均经验模态分解(ensemble empirical mode decomposition,EEMD)残余量特点,提出用残余量拟合光谱基线。通过残余量与信号相关性、残余量自相关和互相关性(称为残余相关准则)判断残余量是否是基线组成部分,以此为基础提出一种自适应的EEMD残余相关基线校正算法。对叠加曲线背景和线性背景的模拟光谱数据进行实验,结果显示在已知基线数学假设情况下,EEMD残余相关法逊于多项式拟合,同非线性拟合相差不多,优于小波分解。在没有光谱背景知识情况下,对真实拉曼光谱数据进行试验。经过上述方法预处理过的玉米叶片光谱采用3层BP神经网络建立与叶绿素之间预测模型,经过残余相关基线校正的模型具有最大校正相关系数和预测相关系数,最小交叉验证标准差和相对分析误差。各种基线校正方法中,残余相关基线校正对特征峰峰位、峰强和峰宽影响最小。实验表明,该算法可用于拉曼谱图基线校正,无需分析样品成分的先验知识,无需选择合适的拟合函数、拟合数据点、拟合阶次以及基函数和分解层数,也无需基线信号分布的数学假设,自适应性很强。     

仿生鳍条姿态测量及其误差分析

在复杂环境下齿轮箱信号往往会淹没在噪声信号中,特征向量难以提取。为了有效的进行故障诊断,提出了基于最大相关反褶积(MCKD)总体平均经验模态分解(EEMD)近似熵和双子支持向量机(TWSVM)的齿轮箱故障诊断方法。首先采用MCKD方法对强噪声信号进行滤波处理,在采用EEMD方法对齿轮箱信号进行分解,分解后得到本征模函数(IMF)分量进行近似熵求解,得到齿轮特征向量,最后将其输入到TWSVM分类器中进行故障识别。仿真实验表明,采用MCKD-EEMD方法能够有效的提取原始信号,与其他分类器相比,TWSVM的计算时间短,分类效果好等优点。     

A Novel Noise Reduction Method of UAV Magnetic Survey Data Based on CEEMDAN,Permutation Entropy,Correlation Coefficient and Wavelet Threshold Denoising

Despite the increased attention that has been given to the unmanned aerial vehicle (UAV)-based magnetic survey systems in the past decade, the processing of UAV magnetic data is still a tough task. In this paper, we propose a novel noise reduction method of UAV magnetic data based on complete ensemble empirical mode decomposition with adaptive noise (CEEMDAN), permutation entropy (PE), correlation coefficient and wavelet threshold denoising. The original signal is first decomposed into several intrinsic mode functions (IMFs) by CEEMDAN, and the PE of each IMF is calculated. Second, IMFs are divided into four categories according to the quartiles of PE, namely, noise IMFs, noise-dominant IMFs, signal-dominant IMFs, and signal IMFs. Then the noise IMFs are removed, and correlation coefficients are used to identify the real signal-dominant IMFs. Finally, the wavelet threshold denoising is applied to the real signal-dominant IMFs, the denoised signal can be obtained by combining the signal IMFs and the denoised IMFs. Both synthetic and field experiments are conducted to verify the effectiveness of the proposed method. The results show that the proposed method can eliminate the interference to a great extent, which lays a foundation for the further interpretation of UAV magnetic data.     

Rolling Bearing Fault Diagnosis Based on VMD-MPE and PSO-SVM

The goal of the paper is to present a solution to improve the fault detection accuracy of rolling bearings. The method is based on variational mode decomposition (VMD), multiscale permutation entropy (MPE) and the particle swarm optimization-based support vector machine (PSO-SVM). Firstly, the original bearing vibration signal is decomposed into several intrinsic mode functions (IMF) by using the VMD method, and the feature energy ratio (FER) criterion is introduced to reconstruct the bearing vibration signal. Secondly, the multiscale permutation entropy of the reconstructed signal is calculated to construct multidimensional feature vectors. Finally, the constructed multidimensional feature vector is fed into the PSO-SVM classification model for automatic identification of different fault patterns of the rolling bearing. Two experimental cases are adopted to validate the effectiveness of the proposed method. Experimental results show that the proposed method can achieve a higher identification accuracy compared with some similar available methods (e.g., variational mode decomposition-based multiscale sample entropy (VMD-MSE), variational mode decomposition-based multiscale fuzzy entropy (VMD-MFE), empirical mode decomposition-based multiscale permutation entropy (EMD-MPE) and wavelet transform-based multiscale permutation entropy (WT-MPE)).     

基于希尔伯特黄变换的自适应相位提取法

提出了一种基于希尔伯特黄变换的自适应相位提取法。该方法通过对条纹图信号进行经验模态分解得到一系列本征模函数(IMF)。对每个IMF进行希尔伯特谱分析,提出准则用以确定噪声IMF并判断是否存在模式混叠问题。若存在,根据该噪声IMF自适应设计新的“噪声”并将其添加到原信号中,然后对所形成的新信号再次分解,重复进行该过程直到相应的模式混叠问题不再存在。将最后一次分解所得的噪声IMF和背景分量从信号中去除,对所得的基频分量做希尔伯特变换即可得到条纹图的包裹相位分布。所提方法可有效克服模式混叠问题,可在有效去除噪声和背景分量的同时尽量保留细节相位信息,有较好的自适应性及稳健性,测量精度高。     

混沌海杂波背景下的微弱信号检测混合算法

基于经验模态分解理论, 提出了一种基于粒子群算法的支持向量机预测方法. 采用总体平均经验模式分解法将混沌信号分解为若干固有模态函数和趋势分量, 将复杂的非线性信号转化为具有不同尺度特征的平稳分量. 利用粒子群算法对支持向量机的惩罚系数和核函数进行优化, 结合支持向量机建立混沌序列的单步预测模型. 从预测误差中检测淹没在混沌背景中的微弱信号(包括瞬态信号和周期信号). 对Lorenz系统和实测IPIX雷达数据进行仿真实验, 结果表明, 该方法能够有效地从混沌背景噪声中检测出微弱目标信号, Lorenz系统得到的均方根误差0.000000339 (-102.8225 dB时)比传统支持向量机方法的均方根误差0.049 (-54.60 dB时)降低了5个数量级, 从海杂波中检测出具有谐波特性的微弱信号, 表明预测模型具有更低的门限和误差.     

Optimized Variational Mode Decomposition and Permutation Entropy with Their Application in Feature Extraction of Ship-Radiated Noise

The complex and changeable marine environment surrounded by a variety of noise, including sounds of marine animals, industrial noise, traffic noise and the noise formed by molecular movement, not only interferes with the normal life of residents near the port, but also exerts a significant influence on feature extraction of ship-radiated noise (S-RN). In this paper, a novel feature extraction technique for S-RN signals based on optimized variational mode decomposition (OVMD), permutation entropy (PE), and normalized Spearman correlation coefficient (NSCC) is proposed. Firstly, with the mode number determined by reverse weighted permutation entropy (RWPE), OVMD decomposes the target signal into a set of intrinsic mode functions (IMFs). The PE of all the IMFs and SCC between each IMF with the raw signal are then calculated, respectively. Subsequently, feature parameters are extracted through the sum of PE weighted by NSCC for the IMFs. Lastly, the obtained feature vectors are input into the support vector machine multi-class classifier (SVM) to discriminate various types of ships. Experimental results indicate that five kinds of S-RN samples can be accurately identified with a recognition rate of 94% by the proposed scheme, which is higher than other previously published methods. Hence, the proposed method is more advantageous in practical applications.