基于FFT奇异值分解的光谱信号去噪算法

微型光谱仪在采集光谱信号过程中,光谱数据经常受到来自仪器光学系统和电子电路中的干扰出现噪声和光源特征峰,严重干扰了真实光谱信号的图谱特征,因此需要使用合理的预处理方法保留光谱信号中有用信号并尽可能过滤噪声信号同时将光源特征峰滤除,从而提高光谱信息定量分析的稳健性和准确性。并且在线检测系统要求尽可能减少人为参数选择对去噪效果的影响,奇异值分解经常应用于由系统电路引起的噪声去噪,奇异值降噪阶次的选取对提高信号信噪比十分关键,但是往往参数选取主要依赖经验调试和实验验证。因此,提出了一种基于奇异值重构信号分量频率的光谱信号去噪算法。该算法首先重构原始光谱信号单个奇异值分量信号,然后对每个奇异值分量信号作快速傅里叶变换,得到每个奇异值分量信号快速傅里叶变换结果中振幅最大所对应的频率值,最后按照奇异值递减方式对相应分量信号频率值进行一阶滞后差分,得到频率差分谱,研究表明,差分谱第一个谱峰值在大于设定阈值处所对应的奇异值即为奇异值分解降噪的有效阶次。结果表明：对包含多种重金属离子的溶液在线测量的紫外可见光谱信号,添加不同强度的随机噪声,并进行去噪处理,使用信噪比和均方根误差两个性能指标进行对比。所提算法相较于SG滤波算法和小波变换去噪算法信噪比分别提高了22.05%,10.88%,均方根误差分别降低了74.28%,41.29%。所提算法完全基于数据驱动,在处理真实紫外可见光谱信号中不仅抑制了噪声影响,而且将微型光谱仪的光源特征峰有效滤除,在紫外可见光谱信号的定量分析中具有较好的应用前景。     

基于EMD的拉曼光谱去噪方法研究

经验模态分解(EMD)方法是一个以信号极值特征尺度为度量的时空滤波过程,它充分保留了信号本身的非线性和非平稳特征,在信号的滤波和去噪中具有较大的优势。文章在介绍EMD分解方法的基础上,结合EMD的多尺度滤波特性,提出了一种新的拉曼光谱去噪方法——EMD阈值去噪法。该方法首先对含噪的拉曼光谱信号做EMD分解,得到各阶本征模态函数(IMF),然后对高频的IMF分量用阈值法进行处理,把经过阈值处理后的高频IMF分量与低频IMF分量叠加得到重构的信号,即去噪信号。通过处理对二甲苯的拉曼光谱信号,分析了在不同噪声水平上不同去噪方法的处理效果。实验结果表明EMD阈值去噪法有效地去除了噪声,较好地保留了光谱的细节信息,与小波阈值去噪方法相比较具有自适应的优势,在拉曼光谱去噪中有很好的应用前景。     

基于广义S变换和奇异值分解的近红外光谱去噪

针对近红外光谱物质含量检测过程中噪声影响模型精度和稳定性的问题,引入广义S变换与奇异值分解(SVD)。利用广义S变换得到光谱数据的时频谱,并将二维时频谱系数矩阵作为SVD的Hankel矩阵求解奇异值,再采用k-均值聚类算法对奇异值序列进行分类计算,确定重构奇异值个数,对去噪后的数据矩阵进行广义S逆变换得到去噪后的光谱数据。给出组合方法的基本理论和具体实现过程,对仿真数据和谷朊粉导数光谱进行去噪,并与传统的9点平滑法和小波软阈值法的去噪结果进行比较。结果表明:所提方法克服了时域或频域单维滤波的局限性,且无需参考噪声数据和选择基函数,在谷朊粉导数光谱去噪中,只需采用两个奇异值就能实现较好的去噪效果,降低了滤波过程的复杂度。采用所提方法处理后,近红外光谱的分析精度和模型的稳健性优于9点平滑处理法和小波软阈值法。相比9点平滑法,所提方法的预测集的决定系数由0.9436增大为0.9985,预测均方根误差由0.0843减小为0.0406,明显提高了谷朊粉中水分含量定量检测的精度。     

一种改进的奇异值降噪阶次选取方法用于紫外光谱信号去噪的研究

光谱去噪是光谱检测的重要环节。针对光谱信号易受光谱仪热噪声、现场机械振动以及随机噪声等因素影响,而在线监测系统要求减少人为参数选择对去噪效果的影响,提出利用奇异值分解(SVD)理论对光谱信号去噪。提出一种改进的降噪阶次选取方法：指定奇异值差分谱最大峰值点θ₁为所选阶次下界;利用奇异值、奇异值差分谱综合信息选取阶次上界θ₂;将区间θ₁～θ₂定义为模糊区域,通过模糊C均值聚类求取隶属度,赋予模糊区域内奇异值相应的权重系数。用所提方法对不同信噪比下SO₂紫外光谱信号去噪,将信噪比、均方根误差、波形相似系数、平滑度指标用于去噪效果的评价。去噪结果表明：所提方法完全基于数据驱动,具有较好的去噪效果,能够真实的恢复原始信号。     

基于Voigt函数的拉曼成像插值方法

拉曼成像是拉曼光谱技术非常重要的一个环节,通过生成光谱数据的伪彩图像,可以得到采集区域中某物质组分的浓度和位置分布信息,当前,拉曼成像技术已经逐渐成为监测生物活性以及物质组分的最优解之一。为了得到清晰的成像效果,采集过程中的数据量不宜过小,否则成像效果差、锯齿感较重,从而导致视觉效果不好。但是,数据量的增加虽然可以得到更好的成像效果,但会增加时间成本、降低仪器寿命。因此,在不增加时间和硬件成本的情况下,对采集点数据进行插值提高成像的空间分辨率、降低时间分辨率是很有意义的。提出了一种基于研究拉曼光谱波形结构物理特性的图像插值算法。区别于传统的图像插值算法仅对图像像素值进行处理,通过结合拉曼信号的物理特性,选取最小二乘法和物理特性上最适合解析拉曼谱峰的数学模型Voigt函数对现有光谱数据进行数学拟合提取特征值,并对提取出的特征值通过线性插值方法计算出未知插值点的Voigt函数的特征值,从而计算出插值点的Voigt函数,可以直接提高现有拉曼图像的空间分辨率,同时通过该方法也可以缩短扫描时间,提高拉曼成像的时间分辨率。同时,为了验证算法的有效性和可行性,对一种药物和一种生物细胞的原始拉曼成像进行图像插值,并采用直方图的欧几里得距离求解相似度和结构相似度算法(SSIM,一种权威的图像相似度评价算法)对插值效果进行评价。实验结果表明,在图像像素点增量分别为50%和75%的情况下,该算法能够很好地保留样本组分的分布和浓度等重要信息。该算法可以在不升级硬件的情况下提高拉曼成像的性能,推荐作为拉曼成像数据处理和软件的有效补充。     

基于小波变换的压缩感知理论对水质检测紫外-可见光谱数据的去噪研究

消除噪声影响对提高直接光谱法水质检测系统的测量稳定性和精度都具有重要意义。直接光谱法在线水质检测系统通常采用长寿命、无需预热的脉冲氙灯和适用于复杂检测环境的工业级光谱探测装置。针对整个光谱探测系统受到光源、光路和光电转换器件的严重影响,测定的光谱数据含有大量噪声这一实际问题,提出了基于小波变换的压缩感知去噪算法,并与传统小波阈值去噪方法进行了比较实验。针对化学需氧量为200 mg·L-1的邻苯二甲酸氢钾标液的紫外-可见光谱数据进行去噪处理,采用压缩感知去噪算法,将信号在小波域内分解,得到含噪高频系数;采用随机高斯矩阵作为压缩感知算法的观测矩阵,压缩比设置为2,对高频系数进行观测;选择正交匹配追踪算法恢复高频小波系数的稀疏性,从而达到去噪目的。同时针对传统的小波阈值去噪,采用daubechies4作为小波基的软阈值滤波方法对光谱数据进行去噪处理。为验证去噪算法的可行性,采集某溪水和城市生活污水的光谱信号分别采用以上两种方法进行去噪处理,实验结果表明：基于小波变换的压缩感知去噪算法适用于紫外-可见光谱法在线水质检测系统,该方法能在保留水样原始光谱信号的吸收特征的前提下有效地去噪,且去噪效果优于小波阈值去噪算法。与小波阈值去噪算法相比,信噪比提高了12.201 5 dB,均方根误差减小了0.009 3,峰值信噪比增加了5.299 dB。不仅避免了小波阈值去噪过程中阈值的选取依靠主观判断问题,而且在重构过程中有效地抑制了噪声,为直接光谱法检测水质参数提供了一种新的解决方案。     

基于提升小波变换的阈值改进去噪算法在紫外可见光谱中的研究

在紫外可见光谱定量分析中,由于分光光度计内部的光学系统、光源、检测器、电子元器件,电路设计以及外部环境干扰等因素产生的随机噪声,严重影响光谱定量分析结果的准确性,为提高紫外可见光谱分析精度,需要对光谱数据进行去噪预处理。由于小波分析具有多分辨率,低熵性、去相关性等特点,基于小波分析的去噪算法优于传统的去噪算法,目前基于小波去噪的方法主要有模极大值去噪算法,系数相关去噪算法,阈值去噪算法,工程实际应用以Donoho的阈值去噪法最为常用。根据Donoho阈值消噪原理,提出一种基于提升小波变换的阈值改进算法,一方面使用提升小波变换,提升小波变换是第二代小波变换,继承了小波的多分辨率特性,并且不需要进行傅里叶变换,从而具有算法简单,速度快,实现简单的优点;另一方面提出了一种新的阈值函数,克服了硬阈值函数在阈值处不连续以及软阈值函数存在恒定偏差的问题,同时对阈值估计进行了调整,有利于信号小波系数的保留和噪声小波系数的剔除。对三组多金属离子混合溶液的实测紫外可见光谱信号,添加随机噪声后使用该方法进行去噪处理,并使用信噪比(SNR)和均方根误差(RMSE)进行去噪性能评价。试验结果表明,提出的算法优于Donoho的软硬阈值去噪算法,能够有效提高光谱信噪比和降低均方根误差,从而更好地消除光谱信号中的噪声和保留光谱信号中一些重要的细节特征,比较适合用于紫外可见光谱数据建模之前的去噪预处理,在紫外可见光谱信号分析中具有较好的应用前景。     

目标极点提取的改进算法

针对强电磁脉冲孔耦合瞬态响应的极点参数提取问题,将传统的矩阵束算法进行改进。通过对含有噪声的瞬态响应数据进行互相关处理,能有效提高低信噪比时极点的提取精度。再将数据经离散化后构造Hankle矩阵,结合奇异值分解,求解其广义特征值,即可提取信号的极点参数信息。最后通过仿真分析以及对波形的重构,验证改进算法具有抗噪能力强、拟合度高的特点。     

基于样本优化和主成分分析的多通道拉曼光谱重建及其快速成像

拉曼成像是一种无损伤、无需标记的光谱成像技术,在生物医学领域得到了广泛的应用。然而,由于大多数生物样本中的自发拉曼信号都很弱,为了获得较好的成像结果,需要较长的时间来获取高信噪比的拉曼光谱,严重影响了拉曼成像的时空分辨率,阻碍了其在快速动态体系中的应用。多通道拉曼成像是解决这一问题的有效途径之一,在多通道拉曼成像技术中,完整拉曼光谱的标定-重建算法是关键。目前,适用于光谱重建的算法有伪逆法、 Wiener估计算法等,这些方法虽然简单且易于实现,但是在应用于多通道拉曼成像时,一方面易受噪声、振动等非线性因素的直接干扰,另一方面在多通道拉曼成像中,数量相对较少的训练样本和坏样本的存在均很容易影响重建效果。为解决这两类因素的影响,本文提出了一种基于训练样本优化和主成分分析(PCA)的拉曼光谱重建算法。首先,利用滤光片理论响应矩阵函数计算训练样本的模拟窄带测量值,借助Wiener估计重建完整拉曼光谱,得到重建光谱的模拟窄带测量值,比较样本与重建光谱的窄带测量值,完成训练样本的优化;然后,基于多项式回归,拓展优化处理后的窄带测量值,降低非线性因素的干扰;最后,利用主成分分析,提取训练样本主要信息,完成转移矩阵的计算,并引入归一化处理,实现拉曼光谱的快速重建。在试验中,选取有机玻璃(PMMA)作为实验样本,利用伪逆法、 Wiener估计算法和本算法,分别完成拉曼光谱重建。采用均方根误差,评价拉曼光谱的重建精度。结果证明,该算法优于传统算法,为拉曼成像技术进一步在快速动态体系中的应用提供了理论支持。     

高空间分辨率高可见度的太赫兹光谱成像研究

太赫兹光谱成像,不但包括在二维图像空间的强度信息,同时可以得到太赫兹波段的光谱信息,构成了一个三维的数据矩阵。由于受到太赫兹成像系统内部硬件的限制和影响,太赫兹频域较高频段处信号存在能量弱、信噪比低的特点,导致所成的太赫兹图像普遍存在分辨率低、对比度低等问题。因此,利用三维数据矩阵,应用适合的算法,实现了提高太赫兹光谱成像空间分辨率、边缘细节可见度的目的。搭建了三维可移动式太赫兹时域光谱成像系统,实现了对标准高分辨率板的二维扫描。对该系统所采集到的信号分别进行时域、频域等多种方式成像对比,结合瑞利判据和分辨率标尺对成像系统的空间分辨率、景深进行标定,研究了提高太赫兹光谱成像的空间分辨率算法。然后,针对太赫兹频域高频区域信噪比低、对比度低、噪声原因复杂的特点,结合深度残差学习的图像去噪理论,提出了太赫兹图像深度去噪网络,在训练集中引入成像系统中真实的“太赫兹残差噪声”。最后,利用所训练出的模型对太赫兹频域高频区域图像进行盲去噪,并用重建图像分别与原始成像结果和传统太赫兹去噪算法结果进行比较,分别从主观和客观两个方面评价了不同算法对太赫兹频域高频图像的去噪效果。实验结果表明,通过该算法实现...     

An innovation based random weighting estimation mechanism for denoising fiber optic gyro drift signal

In Interferometric Fiber Optic Gyroscope (IFOG), the diminution of random noise and drift error is a critical task. These errors degrade the performance of IFOG. In this paper, a modified adaptive Kalman gain correction (AKFG) algorithm is proposed to denoise IFOG signal. The covariance matrix of innovation sequence is estimated using weighted average window method in which the weights are randomly generated in the range [0, 1]. Innovation based random weighted estimation (IRWE)-AKFG is applied to denoise the IFOG drift signal. The Kalman gain is adaptively updated using the covariance matrix of innovation sequence. The proposed algorithm is applied for denoising IFOG signal under static and dynamic environment. Allan variance method is used to analyze and quantify the stochastic errors in IFOG sensor. The performance of the proposed algorithm is compared with Conventional Kalman filter (CKF) and the simulation results reveal that the proposed algorithm is an efficient algorithm for denoising the IFOG signal.     

一种基于中值滤波和统计学的拉曼光谱spike剔除算法

拉曼光谱是一种已广泛应用于化学、生物学和物理学的技术。然而拉曼光谱仪的电荷耦合器件很容易受到宇宙射线的影响,从而产生随机的窄带宽、高强度的spike。在真实样品中出现概率较低,约为千分之一,但一旦出现将严重降低信号对比度。该研究提出一种实用的spike剔除算法。该算法对中值滤波后的数据与原始数据作差,得到偏差数据。用分位数的方法将偏差数据从小到大排序,取中间99%数据作为真实数据作高斯分布拟合。根据spike强度高,稀疏的特性,以光谱中高强度数据的出现概率作为阈值标准剔除spike。最后以中值滤波结果带入原始数据代替spike,从而最大程度还原样本原始信息且不需任何调试参数。以加入不同强度spike的拉曼光谱作为验证对象,实验结果表明本算法对spike检测与去除的灵敏度可以高达99.5%。本算法同时适用于一维拉曼光谱、二维拉曼图像和三维拉曼数据立方体,且算法表现随着维度的增加而提高,一维spike剔除算法能检测超过最大峰强度40%的spike,而在三维拉曼数据立方体中,超过峰值20%的spike即能被检测出。用该算法对40 000条真实拉曼光谱进行处理,可以在不扭曲真实信号的情况下有效地剔除spike,进一步证明了算法的实用性。     

基于集合经验模态分解和奇异值分解的激光雷达信号去噪

为了提高差分光柱像运动激光雷达(DCIM雷达)探测信噪比,提出了一种基于集合经验模态分解(EEMD)和奇异值分解(SVD)的混合降噪法.由EEMD获得含噪信号多层模态分量,根据各模态分量之间互相关系数的差分量确定主要噪声并予以滤除,利用奇异值分解识别模态分量中的残余噪声并提取有用信号.利用混合降噪法EEMD-SVD和EEMD方法分别对模拟仿真信号和实测激光雷达信号进行降噪处理.结果表明,当模拟噪声标准差在0.05~0.2之间时,相比与未降噪直接反演的湍流廓线,EEMD-SVD方法降噪后反演的湍流廓线信噪比提高了2.718 7dB~6.921 5dB,相应的EEMD方法提高了1.446 1dB~3.366 1dB;两个不同时段DCIM雷达降噪前后反演廓线与探空廓线的对比发现,EEMD-SVD和EEMD两种方法降噪后反演廓线较之于未降噪的反演廓线,信噪比最大提高了2.526 5dB和2.155 6dB.EEMD-SVD的降噪效果优于EEMD,能够更有效地识别和滤除噪声,较大地提高了原始信号的信噪比,获得更准确的大气湍流廓线反演结果.     

离散空间上的最小能量框架及其在矩形脉冲信号去噪中的应用研究

最小能量(小波)框架在信号处理领域有着广泛的应用前景,但目前只能应用在连续信号上.为解决这一问题,给出了离散信号空间上的最小能量框架的定义,并证明了它所具备的一些优良性质.在实际应用中,针对通信领域中的受加性高斯白噪声污染的二进制矩形脉冲信号提出一个新的去噪算法,利用离散空间上一个最小能量框架对接收波形的抽样离散数列进行去噪工作,获得了较好的处理效果.仿真结果表明,如果利用该算法对接收波形进行去噪预处理,则接收机可以降低误码率,在信噪比4 dB 处获得了3.4 dB的性能增益. 关键词： 离散信号空间 最小能量(小波)框架 二进制矩形脉冲信号 去噪     

基于复小波和局部梯度的靶标图像混合降噪

提出了一种有效去除光电成像测量系统中靶标图像噪音的混合降噪法.根据图像像素局部梯度模找出图像中受椒盐噪音污染的像素,使用中值滤波降噪.对去除椒盐噪音的图像,利用复对数Gabor小波提取各像素的相位信息和幅度信息,确定最小尺度滤波器对噪音幅度分布的估计值,从而自动地确定各个尺度上的噪音幅度分布的估计值和噪音萎缩阈值,达到有效降噪的目的.实验表明,该方法的降噪效果明显优于实symlet4小波、中值滤波和单一复对数Gabor小波降噪法.     

提升小波变换与中值滤波结合的红外光谱消噪

在光谱数据的定量分析中,噪声的存在常常会影响结果的准确性。为提高红外光谱分析精度,需要对光谱数据进行去噪处理。将一种光滑阈值函数和一种分层阈值选取方法应用到提升小波域光谱信号的去噪处理中,并对提升小波重构信号进行中值滤波。对某小麦品种的实测光谱信号,添加信噪比为21.17 dB的噪声后采用该方法进行去噪处理,并利用信噪比(SNR)、均方根误差(RMSE)、峰值平均相对误差(AREPV)以及峰位平均误差(AEPP)四项指标对去噪效果进行评价。结果表明,与软阈值法与硬阈值法相比,该方法能更有效地去除光谱信号中的噪声,保留光谱中的有用信息,提高光谱信噪比,降低均方根误差、峰值平均相对误差以及峰位平均误差,提高光谱的分析能力。