基于FFT奇异值分解的光谱信号去噪算法

微型光谱仪在采集光谱信号过程中,光谱数据经常受到来自仪器光学系统和电子电路中的干扰出现噪声和光源特征峰,严重干扰了真实光谱信号的图谱特征,因此需要使用合理的预处理方法保留光谱信号中有用信号并尽可能过滤噪声信号同时将光源特征峰滤除,从而提高光谱信息定量分析的稳健性和准确性。并且在线检测系统要求尽可能减少人为参数选择对去噪效果的影响,奇异值分解经常应用于由系统电路引起的噪声去噪,奇异值降噪阶次的选取对提高信号信噪比十分关键,但是往往参数选取主要依赖经验调试和实验验证。因此,提出了一种基于奇异值重构信号分量频率的光谱信号去噪算法。该算法首先重构原始光谱信号单个奇异值分量信号,然后对每个奇异值分量信号作快速傅里叶变换,得到每个奇异值分量信号快速傅里叶变换结果中振幅最大所对应的频率值,最后按照奇异值递减方式对相应分量信号频率值进行一阶滞后差分,得到频率差分谱,研究表明,差分谱第一个谱峰值在大于设定阈值处所对应的奇异值即为奇异值分解降噪的有效阶次。结果表明：对包含多种重金属离子的溶液在线测量的紫外可见光谱信号,添加不同强度的随机噪声,并进行去噪处理,使用信噪比和均方根误差两个性能指标进行对比。所提算法相较于SG滤波算法和小波变换去噪算法信噪比分别提高了22.05%,10.88%,均方根误差分别降低了74.28%,41.29%。所提算法完全基于数据驱动,在处理真实紫外可见光谱信号中不仅抑制了噪声影响,而且将微型光谱仪的光源特征峰有效滤除,在紫外可见光谱信号的定量分析中具有较好的应用前景。     

基于奇异值分解和中位数绝对偏差的拉曼成像数据去噪方法

拉曼成像是一种无损伤、无需标记的光谱成像技术,它可以提供样品的不同组分的分子指纹信息以及空间分布特征,相比其他成像技术有着更重要的应用。但是拉曼散射的截面积小,灵敏度低,加上在很多实验中为了观察某些组分的动态分布而缩短扫描时间,导致最终得到的成像数据被噪声干扰,因此往往需要对信号进行去噪处理。常规的算法一般都是基于一个给定的数学模型对光谱进行处理,容易造成过滤波,使得信号失真;另外,在处理拉曼成像数据时,常规算法往往是对数据进行逐条光谱去噪,从而忽略了多条光谱之间的相互关系,导致最终的拉曼图像仍然受许多噪点干扰。因此,提出了一种基于奇异值分解和中位数绝对偏差的拉曼成像的信号处理方法,用于拉曼成像数据的去噪处理。该方法首先对拉曼成像数据进行奇异值分解,获得一个奇异值矩阵与两个正交矩阵;然后通过中位数绝对偏差法对奇异值矩阵中的各奇异值进行离群值检测,选取前k个被连续标记的离群值作为要保留的奇异值,并将其余的奇异值赋值为零,得到新的奇异值矩阵;最后用新的奇异值矩阵与两个正交矩阵重新求解得到去噪后的拉曼成像数据。实验中,首先验证了中位数绝对偏差法确定前k个奇异值的正确性,其次分别从处理后的图像质量和信号波形两方面对比了该算法与常规算法的去噪效果。结果证明,中位数绝对偏差法可以快速地确定出合理的k值大小,而且,依据该k值处理后的成像数据不仅在成像质量上消除了大量的噪点,使得组分的空间分布特征清晰可见,也在信号波形上较完美地保留了微小谱峰,并恢复光谱信号。该算法不同于常规算法,能同时对整个拉曼成像数据进行处理,并保留光谱之间的统计特征,是一种更加有效的拉曼成像数据的去噪方法。     

基于经验模态分解的高光谱遥感数据去噪方法

经验模态分解(EMD)是一种新的时频分析方法,经EMD分解后的各个固有模态函数(IMF)突出了原始信号的局部特征,从而可以区分噪声和有用信号。基于此,结合高光谱遥感数据的光谱变化特征,提出了一种基于经验模态分解的高光谱遥感数据去噪方法。通过对理论数据的实验表明,数据中的噪声无论是高斯分布还是均匀分布,数据经EMD分解后,噪声都主要集中在前几个特定的IMF,对相应的IMF进行滤波处理后并与其他IMF分量进行重构就可得到去噪信号,与小波去噪结果相比较,这种方法效果更好。最后把该去噪方法应用于野外实测的油膜高光谱数据去噪,实验结果表明,该方法能准确、有效地去除高光谱遥感数据的噪声。     

闪电瞬态电场信号波形去噪方法

 通过对传统数字滤波和Birge-Massart小波阈值法的比较，对闪电瞬态电场信号进行了去噪研究。构建了双指数衰减脉冲信号并在其上叠加了高斯白噪声信号来仿真闪电瞬态电场实测波形，通过计算去噪前后信号的均方误差和幅值误差，比较了加权平滑滤波、FIR数字低通滤波器和小波阈值法的去噪效果，从处理仿真波形和实测波形结果可以发现，小波阈值去噪方法明显优于另外两种传统滤波方法。通过比较仿真信号由不同小波分解层数去噪结果的均方误差和幅值误差，确定在对闪电电场实测信号的去噪过程中，小波系数分解层数应选5~7。     

非下采样小波变换红外光谱数据去噪

为了降低噪声对实测红外光谱信号的影响,引入了一种非下采样小波变换的红外光谱数据去噪方法。采用非下采样小波变换对原始光谱信号进行多尺度分解,提取信号的多尺度细节特征;根据光谱信号和噪声在不同尺度上的差异,通过应用变分偏微分方程方法调整分解后的各子带系数;重构各子带就可以将原始光谱信号中真实信号和噪声分离,从而达到剔除噪声的目的。通过两组实验对比传统小波和该方法针对红外光谱数据的消噪效果,实验结果表明:非下采样小波变换在红外光谱数据去噪方面具有明显的优势,不仅能够有效地去除噪声,很好地保持信号的形状,并且均方误差较小;在实际的红外光谱数据处理中能够获得较好的去噪效果。     

一种改进的奇异值降噪阶次选取方法用于紫外光谱信号去噪的研究

光谱去噪是光谱检测的重要环节。针对光谱信号易受光谱仪热噪声、现场机械振动以及随机噪声等因素影响,而在线监测系统要求减少人为参数选择对去噪效果的影响,提出利用奇异值分解(SVD)理论对光谱信号去噪。提出一种改进的降噪阶次选取方法：指定奇异值差分谱最大峰值点θ₁为所选阶次下界;利用奇异值、奇异值差分谱综合信息选取阶次上界θ₂;将区间θ₁～θ₂定义为模糊区域,通过模糊C均值聚类求取隶属度,赋予模糊区域内奇异值相应的权重系数。用所提方法对不同信噪比下SO₂紫外光谱信号去噪,将信噪比、均方根误差、波形相似系数、平滑度指标用于去噪效果的评价。去噪结果表明：所提方法完全基于数据驱动,具有较好的去噪效果,能够真实的恢复原始信号。     

水中矿物油三维荧光谱的特征提取与光谱重构

基于荧光激发-发射矩阵的奇异值分解方法,提取矿物油三维荧光谱的特征序列并进行光谱重构研究。对数十个水中污染油的三维荧光谱进行了奇异值分解和参数计算,表明奇异值参数具有明显的能量聚拢特性; 在适当截取奇异值特征参数后,将奇异值与相应的伴随特征向量组合构成三维荧光谱泛基因序列,实现了三维光谱反演重构。作为比较典型的示例,给出了水中柴油的原始三维荧光谱和重构三维荧光谱的对照图。重构的三维荧光谱与原始三维荧光谱基本相同。研究表明,矿物油三维荧光谱的奇异值特征谱能够代表三维荧光谱主能量的分布特征,有限的奇异值泛基因序列具有三维光谱反演重构能力。该结论对于水环境中的污染油模式识别以及矿物油荧光信息文库的建设有重要意义。     

基于EMD的拉曼光谱去噪方法研究

经验模态分解(EMD)方法是一个以信号极值特征尺度为度量的时空滤波过程,它充分保留了信号本身的非线性和非平稳特征,在信号的滤波和去噪中具有较大的优势。文章在介绍EMD分解方法的基础上,结合EMD的多尺度滤波特性,提出了一种新的拉曼光谱去噪方法——EMD阈值去噪法。该方法首先对含噪的拉曼光谱信号做EMD分解,得到各阶本征模态函数(IMF),然后对高频的IMF分量用阈值法进行处理,把经过阈值处理后的高频IMF分量与低频IMF分量叠加得到重构的信号,即去噪信号。通过处理对二甲苯的拉曼光谱信号,分析了在不同噪声水平上不同去噪方法的处理效果。实验结果表明EMD阈值去噪法有效地去除了噪声,较好地保留了光谱的细节信息,与小波阈值去噪方法相比较具有自适应的优势,在拉曼光谱去噪中有很好的应用前景。     

基于峰值信噪比和小波方向特性的图像奇异值去噪技术

提出一种利用小波变换子图像不同的方向特性和峰值信噪比进行奇异值分解的图像去噪算法。由于图像经过小波变换后,低频子图像集中了原图像的大部分能量噪声,故仅作简单维纳滤波;而噪声则主要集中在小波域中的三个不同方向的高频子图中,且系数较小,因此可以利用奇异值分解进行去噪处理,即用较大的奇异值和对应的特征向量重构出去噪图像,然而由于奇异值分解固有的行列方向性,对于高频对角线子图重构出的图像去噪效果不理想,故采取旋转至行列方向后再进行常用的奇异值滤波;最后将去噪后的低频和高频子图进行小波反变换重构出最终的去噪图像,其中重构所需的奇异值个数由图像的峰值信噪比确定。 实验结果表明,该方法在有效去噪的同时较好的保留了原有的高频细节信息。     

基于分组三维离散余弦变换字典的植物高光谱数据去噪方法EI北大核心CSCD

针对植物高光谱图像各波段噪声强度不同,以及空间域和谱域均存在噪声污染的问题,提出了一种基于分组三维(3D)离散余弦变换(DCT)字典的稀疏表示去噪方法。首先分析了植物光谱特征,根据谱间相关性对波段进行分组;然后采用边缘块剔除的局部均值标准差法对高光谱图像进行噪声标准差估计,为去噪算法提供参考阈值;最后构建三维DCT字典的稀疏表示去噪方法,对植物高光谱图像进行去噪。实验结果表明,与原始数据和二维DCT字典去噪方法相比,谱域噪声评估中平均信噪比分别提高18.2dB和9.2dB。因此,该方法不仅具有较好的空间域去噪能力,也有较好的谱域去噪能力。     

心磁信号广义S变换域奇异值分解滤波方法

针对心磁信号工频及背景噪声干扰问题, 提出了广义S变换奇异值分解(singular value decomposition, SVD)滤波方法.在离散S变换基础上, 导出了广义矩阵S变换和逆变换公式. 通过对采样信号进行广义S变换, 调节时频分辨率, 利用SVD分解方法确定有效心磁信 号区域, 实现自适应时频滤波. 实验结果表明, 该方法能有效滤除工频及背景噪声干 扰, 且在较少奇异值个数情况下可获得更好的滤波性能. 关键词： 心磁信号 S变换 奇异值分解 时频滤波     

水体多环芳烃组分识别小样本分析方法研究

多环芳烃(PAHs)是一类在自然环境中常见且广泛存在的有毒有害有机物。其主要来源有自然界的各种微生物以及植物的生物合成，富含植被区域的天然火灾，火山的喷发物，化石燃料以及人为工业碳氢化合物的不完全燃烧和运输过程中的石油泄漏等。多环芳烃的毒性较为强烈，具有生物致癌性，遗产毒性和致突变性。它对于人体呼吸系统，循环系统，神经系统有着多方面的危害，是一种重要的有机污染物，因此有必要对多环芳烃的现场监测和分析方法进行研究。目前对于多环芳烃的分析方法主要有化学分析法和光谱分析法。化学分析法包含有前处理的化学滴定法，液相色谱法(LC)，高效液相色谱法(HPLC)，气相色谱质谱法（GC-MS）；光谱学分析法涉及紫外吸收光谱，荧光光谱和三维荧光光谱等。三维荧光光谱同时获得激发波长和发射波长的信息，因而包含的光学信息十分丰富，灵敏度高，光谱特征显著，在实际水体的现场检测和水体样本混合组分的快速研究有明显的优势。常见的三维荧光光谱解析方法有平行因子分析法(PARAFAC)，多维偏最小二乘法(N-PLS)等。平行因子分析是分析多环芳烃重叠三维荧光光谱的一种有效方法。但有时由于多种组分的荧光较弱，它对三维荧光光谱的欠定分析并不能得到令人满意的结果。为了从两个样品中提取更多的成分，提出一种基于奇异值分解(SVD)和PARAFAC的方法。首先对每个观测样本进行奇异值分解，根据累积贡献率选取合适的奇异值，构造新的伪样本来突出微弱的荧光信号。然后，将两个观测样品及其对应的伪样品输入PARAFAC，恢复组分光谱。为验证所提方法的有效性，对三组不同荧光强度的多环芳烃重叠三维荧光光谱进行了分析。结果表明，从两个混合样品中提取并识别出6个多环芳烃的纯组分光谱，其分辨发射和激发光谱与标准光谱的相似性均在0.80以上。     

三维荧光光谱结合组合算法在环境污染监测中的应用:油种鉴别与定量分析

针对油类污染物成分复杂,光谱重叠难以识别的问题,提出采用三维荧光光谱结合组合算法对油类污染物进行了定性和定量分析。荧光光谱中存在的瑞利散射对三维荧光光谱检测有较大影响,提出了缺损数据修复-主成分分析（MDR-PCA）方法对矿物油三维荧光光谱的瑞利散射进行处理,原理是单个荧光光谱激发发射矩阵符合双线性,可用主成分分析（PCA）法来解析。MDR-PCA法首先将荧光数据中的散射干扰数据全部扣除,之后利用主成分分析（PCA）迭代过程对扣除数据进行重构修复后补全数据。该方法在消除散射干扰的同时充分利用了荧光物质光谱矩阵中的有效信息。利用不同浓度的矿物油的激发-发射荧光光谱构建了三维数据。样品数据来源于柴油、汽油和煤油三种溶质的四氯化碳溶液。常用于三维荧光光谱数据分析的三线性分解算法有平行因子分析（PARAFAC）、交替三线性分解（ATLD）和自加权交替三线性分解算法（SWATLD）等。PARAFAC基于严格意义上的最小二乘原则,具有抗噪声强、模型稳定、微小预期误差等优点,可以实现三维数据阵列的最佳拟合,但该算法收敛速度较慢,对组分数敏感。ATLD算法通过提取对角主元和切尾奇异值求解广义逆,极大提高了收敛速度并降低了对组分数的敏感度,从而实现三线性分解。然而,取对角元时易使ATLD方法对噪声敏感。SWATLD算法既继承了对组分数不敏感、收敛速度快等优点,又降低了噪声水平的影响。但是在抗共线程度方面,SWATLD算法在抵抗共线性程度方面的能力较ATLD略有降低。基于此,论文根据三线性分解算法迭代过程中损失函数的变化,对迭代过程进行划分,提出了三线性迭代方法的组合算法（algorithm combination methodology, ACM）—将ATLD, SWATLD与PARAFAC组合在一起,充分发挥各算法的优点,实现二阶校正算法的优势互补。采用ACM算法对两组分及三组分矿物油样品的三维荧光光谱数据进行解析,并对三种矿物油的回收率进行了计算。柴油的回收率为97.08%,汽油的回收率为97.34%,煤油的回收率为97.25%。解析光谱和回收率表明,ACM算法能够实现油类污染物的种类识别及浓度测量。     

字典奇异值分解加权压缩感知多径信号参数估计

为提高水声信道多径参数估计的分辨率,提出了一种基于字典奇异值分解的加权压缩感知算法。对于有源声呐,根据发射信号构造字典,对字典进行奇异值分解,利用大特征值对应的特征向量构造信号子空间,然后使用信号子空间对接收信号进行滤波。对滤波结果进行加权压缩感知参数估计,得出最终时延估计结果。仿真实验表明,所提方法能够对水声多径参数进行超分辨估计,适用于任何脉冲信号。湖试处理结果显示,混响背景下该方法也有较好的多径参数估计性能,能够降低接收数据的噪声成分,提高对水声信道的多径时延、个数和幅度的估计精度。      

奇异值分解滤波器在超声造影成像的应用及性能分析*

信噪比和造影-组织残留比是衡量造影性能的主要指标,现有提升方法多从频域入手,存在两个缺陷:噪声、组织残留与造影剂信号存在频带重叠时(如二次谐波),频域滤波性能受限;虽然非线性基波、次谐波等方法可解决频带重叠问题,但面对前端电路非对称性及信号饱和导致的组织残留,仍难在频域进行滤除。奇异值分解滤波器是一种非频域方法,可将接收信号分解成若干空时域子空间,通过对子空间进行保留及重组,可提取微泡且滤除噪声与组织残留。该文研究了该类滤波器在造影成像的应用,并采用性能分析实验论证了其可行性与优越性。     

一种基于奇异谱的语音激活检测方法

为了提高语音激活检测在低信噪比环境中的检测性能,提出了一种基于奇异谱的语音激活检测方法。首先用多窗口方法计算每一帧语音信号的相关矩阵;然后对相关矩阵进行奇异值分解;利用奇异值可以反映有用信号和噪声分布情况的特性,将每一帧语音信号经过加权处理后的最大奇异值与自适应阈值进行比较进行语音激活检测。该方法原理简单,易于硬件实现,通过实验仿真表明,在低信噪比环境下,和基于对数能量方法相比,本文方法也能够很好的区分语音段和非语音段,有良好的检测性能。     

基于经验模态分解滤波的低频振荡Prony分析

传统Prony法在分析低频振荡时对输入信号要求较高,存在着对噪声敏感的弱点.因此提出一种经验模态分解滤波和改进Prony法相结合的低频振荡分析方法.该方法先用经验模态分解对低频振荡信号进行自适应滤波,再用改进Prony法对滤波后的信号进行分析.其中,改进Prony法有效阶数用归一化奇异值法确定.将该方法分别用于分析试验信号和IEEE 4机系统振荡信号,并与基于低通滤波器的Prony分析进行比较.结果表明,在较大噪声环境下,该方法仍然能相对准确的辨识出低频振荡主导模式,验证了其有效性. 关键词： 低频振荡 经验模态分解 改进Prony法 归一化奇异值法