基于自动线性拟合的快速拉曼基线校正算法

近年来拉曼光谱以其无创、灵敏度高等众多优点在化学表征、生物医药、材料等领域引起广泛关注,而基线漂移的存在为后续的定性定量分析带来严重困扰,因此设计高性能的基线校准算法以提高分析结果的有效性及准确性具有重要意义。针对传统算法在批量拉曼光谱数据基线校正方面的不足,基于自动线性拟合算法提出一种快速基线校正算法以校正具有相似背景的批量拉曼光谱数据并详细阐述了该算法的核心思想以及算法实现流程。该算法首先从批量拉曼光谱数据中自动选择一条拉曼光谱数据作为基准光谱,使用自动线性拟合算法对其进行基线校准得到其基线以及分段标记点,然后利用标记点快速计算出组内其他与基准光谱具有较高相关性的拉曼光谱数据的基线,对于组内与基准光谱相关性不满足阈值要求的拉曼光谱则使用自动线性拟合算法对其进行单独基线校正,这使得算法具有具有较强的鲁棒性,可以适应复杂的拉曼光谱基线校正情形。分别使用快速基线校正算法与单独基线校正算法对多组实际拉曼光谱数据进行基线校正以对比分析算法基线校正效果,结果表明该算法可以实现对批量拉曼光谱数据的快速校正,基线校正效果良好,并且相较于单独进行基线校正算法耗时减少了30%以上,算法无参,简单易行,无需额外人工干预,是一种切实可行的批量拉曼数据自动基线校正算法。     

分段式线性拟合校正拉曼光谱基线漂移

基线漂移是目前光谱仪收集拉曼光谱时难以避免的现象,基线校正是光谱数据处理中一个不可或缺的重要步骤。针对传统的基于多项式拟合的基线校正方法存在的不足,本工作采用线性拟合的方法分段拟合背景基线,与计算机相结合,实现快速、准确、自动的基线校正;经聚苯乙烯小球、红细胞和酿酒酵母等多批次拉曼光谱数据处理的验证,表明该改进方法可以有效地对拉曼光谱进行基线校正,为进一步分析光谱数据提供更准确的信息,是一种可行的基线校正方法。     

改进的紫外拉曼光谱分段线性拟合基线校正方法

紫外拉曼光谱具有拉曼散射强度高、易于荧光光谱分离、受环境干扰影响小以及人眼安全性高等特性,所用的紫外拉曼光谱仪采用波长266 nm激光器,拉曼和荧光光谱会有部分重叠,增加了准确获取拉曼光谱特征信息的难度,进一步影响样品的辨识。因此,需要在分析拉曼光谱之前进行基线校正来消除荧光干扰。根据紫外拉曼+荧光混合光谱中,荧光光谱具有逐渐增加且接近分段线性递增的特点,利用分段线性函数拟合荧光光谱基线是一种较简捷的方法,于是针对传统分段线性拟合基线校正方法基线点定义过度依赖操作人员、自动化水平较低等问题,研究了一种改进的紫外拉曼光谱分段线性拟合基线校正方法:(1)首先求原始信号经不同次平滑迭代后的光谱数据。由于波峰相对于基线是高频信号,在多次平滑过程中,波峰附近的光谱强度逐渐下降且变化较大,基线部分逐渐上升且相对变化很小,经不同次迭代平滑的光谱波峰和基线点处的光谱强度标准差SD差异较大。(2)然后通过对光谱强度偏差的比较确定准有效基线点位置。通过适当设定的阈值SD_0提取出准有效基线点位置;(3)再利用线性迭代拟合法提取并修正过校正基线点。准有效基线点将整个拉曼光谱分割成N个特征峰区间,分别连接特征峰区间两端点得到一条直线,若特征峰全部在直线以上表明不存在过校正,否则区间端点向其峰方向移动并再次直线连接,重复以上过程,直到特征峰全部在直线以上,得到有效基线点;(4)最后逐段直线连接所有相邻有效基线点得到整个光谱的基线。原始光谱减去基线就是基线校正后的拉曼光谱。通过对模拟和实际测量的紫外混合光谱的基线校正处理实验表明:该方法能自动确定基线点位置,且较传统方法能获得更好的基线校正效果,为下一步的光谱分析提供更准确的光谱信息。     

自适应的EEMD残余相关基线校正算法

基线校正是光谱分析的重要环节,现有算法通常需要设定关键参数,不具备自适应性。根据总体平均经验模态分解(ensemble empirical mode decomposition,EEMD)残余量特点,提出用残余量拟合光谱基线。通过残余量与信号相关性、残余量自相关和互相关性(称为残余相关准则)判断残余量是否是基线组成部分,以此为基础提出一种自适应的EEMD残余相关基线校正算法。对叠加曲线背景和线性背景的模拟光谱数据进行实验,结果显示在已知基线数学假设情况下,EEMD残余相关法逊于多项式拟合,同非线性拟合相差不多,优于小波分解。在没有光谱背景知识情况下,对真实拉曼光谱数据进行试验。经过上述方法预处理过的玉米叶片光谱采用3层BP神经网络建立与叶绿素之间预测模型,经过残余相关基线校正的模型具有最大校正相关系数和预测相关系数,最小交叉验证标准差和相对分析误差。各种基线校正方法中,残余相关基线校正对特征峰峰位、峰强和峰宽影响最小。实验表明,该算法可用于拉曼谱图基线校正,无需分析样品成分的先验知识,无需选择合适的拟合函数、拟合数据点、拟合阶次以及基函数和分解层数,也无需基线信号分布的数学假设,自适应性很强。     

基于非均匀B样条的拉曼光谱基线校正算法

基线校正是一种常用的消除光谱荧光干扰的方法,是拉曼光谱数据处理的必要步骤之一。传统的多项式拟合基线校正算法,简单且易于实现,但是拟合阶次难以确定,灵活性较差。使用非均匀B样条代替多项式进行拟合,在保留原有算法优点的基础上,利用原始拉曼谱图的峰位置信息自适应地确定非均匀B样条的节点向量,然后以固定阶次拟合光谱基线。B样条自身具有分段光滑的特性,而计算样条节点的节点向量自适应选取算法中的峰位置信息通过使用两次具有不同母函数的连续小波变换(continuous wavelet transform, CWT)来获取,既加强了原始光谱数据与B样条算法本身的联系,也克服了传统多项式拟合的不足。为了验证本文算法的有效性,选取了甲基对硫磷和某品牌菜籽油两种被测物进行实验,并使用该算法进行了基线校正,并与两种其他的基线校正算法与进行了对比。实验结果表明,该方法利用固定的拟合阶次就能达到较好的校正效果,所需要的参数较少,校正结果不会出现过拟合或欠拟合的现象,是一种有效的拉曼光谱基线校正算法。     

基于改进的自适应迭代重加权惩罚最小二乘的空间外差拉曼光谱基线校正方法

空间外差拉曼光谱技术因其非接触、无损、快速、高稳定性和高光谱分辨率等特点,已经广泛应用于各个物质探测领域。由于复原光谱中存在荧光背景干扰,对样品进行定性和定量分析时需要对光谱进行基线校正。为了解决由拉曼峰引起的拟合基线抬升的问题,提出了一种改进的自适应迭代重加权惩罚最小二乘（airPLS）的基线拟合方法,即基于拉曼峰截断的airPLS基线拟合方法。该方法能够自动识别拉曼峰,并在对光谱进行拉曼峰截断后进行airPLS迭代拟合,以获得更准确的基线。使用仿真光谱和实测光谱进行验证,并与常见的基线拟合方法进行对比,结果显示,改进的airPLS基线拟合准确度显著提升,仿真光谱的基线拟合均方根误差优于0.0052。实测拉曼光谱的校正谱特征峰清晰可见,荧光基线趋势被有效去除,满足拉曼光谱数据处理的需求。     

基于B样条的拉曼光谱基线校正方法

基线漂移是光谱检测仪器普遍存在的现象,会对光谱信号的特征提取带来十分不利的影响,而基线校正是解决该问题的重要手段,也是拉曼光谱信号预处理的重要组成部分。基线校正的原理一般是通过拟合基线的方法来去除光谱信号中的基线漂移。传统的基线校正方法是利用多项式拟合的方法对拉曼光谱信号的基线进行拟合的,但是该方法容易出现过拟合和欠拟合现象,且拟合阶数难以确定。针对传统方法的缺点进行了改进,利用B样条方法对拉曼光谱信号的基线进行拟合,发挥B样条低阶光滑的优点,能够有效地克服多项式方法的缺陷。在实验中,利用该方法对孔雀石绿、罗丹明B的拉曼光谱信号进行了基线校正,观察并比较该方法和传统方法的校正结果。实验结果表明,该方法能够有效地消除拉曼光谱信号的基线漂移,在基线漂移较小和较大的位置,可以采用相同的拟合阶数,不会出现欠拟合和过拟合的现象,获得了良好的基线校正效果,为进一步分析光谱数据提供准确可靠的信息。     

拉曼光谱的局域动态移动平均全自动基线校准算法

基线校准是极其重要的光谱预处理步骤,能够显著提高后续光谱分析算法的准确性。目前基线校准算法大多数都是手动或半自动的,手动基线校准算法完全依赖于用户的经验,个人主观因素会严重影响基线校准的准确性,半自动基线校准需要针对不同的拉曼光谱设置不同的优化参数,使用不便。提出了一种局域动态移动平均(LDMA)全自动基线校准算法,并且详细阐明了该算法的基本思想和具体算法步骤。该算法采用了改进移动平均算法(MMA)实现拉曼光谱峰的逐渐剥离,通过自动识别原始拉曼光谱的基线子区间来将整个拉曼光谱区间自动分割为多个拉曼峰子区间,从而实现了在每个拉曼峰子区间中动态改变MMA窗口半宽度和控制平滑迭代次数,最大程度地避免了基线校准过度和基线欠校准现象。无论对于凸形基线、指数形基线、反曲线形基线模拟拉曼光谱,还是真实物质的拉曼光谱,LDMA全自动基线校准算法都取得了很好的基线校准效果。     

改进的局部最值分段多项式拟合算法精确校正拉曼光谱基线

基线校正作为拉曼光谱预处理极为关键的步骤之一,对进一步拉曼光谱数据分析和实现拉曼成像等有重要意义。目前,最常用的基线校正算法基于多项式拟合,由于其采用手动或半手动的形式,因此依赖人工经验,对用户的专业性要求较高,处理过程繁琐,处理结果差异较大。同时,在使用过程中,多项式阶数及移动分段窗口难以选择确定,因此处理的结果常出现欠拟合或过拟合现象。针对传统多项式拟合算法的此类局限性,改进了局部最值分段多项式拟合(NPPF)算法用于精确校正拉曼光谱基线。首先采用了改进的基于分段的局部最值算法,选取光谱中最宽峰底部轮廓的近似横向宽度作为背景点窗口宽度,依次选取窗口内的最小两个值作为需要拟合的背景基线点,避免直接比较或者人工选取导致的背景点选取困难,实现更准确地选取每个背景轮廓基线点。然后通过每个窗口三次拟合迭代覆盖的方式,得到三个拟合曲线函数,选取窗口内每个点对应三个曲线函数值,分别计算与前一拟合值的差值绝对值,取绝对值最小的曲线函数值作为此点拟合曲线值,从而较好地避免了传统分段多项式拟合(PPF)算法中的欠拟合和过拟合现象,同时也确定了拟合过程中的阶数和分段窗口。模拟了两种不同背景类型的拉曼光谱...     

基于自适应加窗spline曲线拟合的拉曼光谱去基线方法

拉曼光谱是一种无损快速检测技术,可以提供材料的定性和定量信息,因而在医药、化工等诸多领域得到了广泛的应用。但是,由于样品荧光背景噪声的影响,造成拉曼光谱信号出现基线漂移现象,这给拉曼光谱的特征峰识别和拉曼成像带来十分严重的影响。目前,改进实验方法和数值处理是解决该问题的两种重要手段。改进实验方法上,有偏振调制法和高频调制法等,但存在实验设备复杂,检测技术难度大等缺点;数值处理上,有多项式拟合和小波变换等,但容易出现欠拟合和过拟合等现象。本文在不改换高精密设备的前提下,针对传统基线校正的方法进行了改进,提出一种基于自适应加窗spline曲线拟合的拉曼光谱去基线方法。首先,基于谱峰识别算法和初始搜索步长求得谷值的最优搜索间距,并利用谱谷识别算法完成谷值曲线的拟合;其次,利用最优搜索间距和谱峰识别算法,求得谷值曲线峰值位置,并在该位置处对称添加自适应矩形窗函数去除峰值,重新划分整个区间,拟合谷值曲线;再次,逐点比较拟合曲线与原拉曼光谱信号,取较小值,拟合曲线;最后,重复加窗去除峰值操作,直至自适应窗函数宽度低于阈值,完成拉曼光谱信号的基线拟合。在实验中,选用乙酸丁酯、聚甲基丙烯酸甲酯(polymethyl methacrylate, PMMA)作为实验样品,利用该方法对其拉曼光谱信号进行了基线校正,观察并比较该方法和传统方法的校正结果。实验结果表明,该方法能够有效地消除拉曼光谱信号的基线漂移,较好的保留一些较弱的拉曼特征峰,且不易出现欠拟合和过拟合的现象,获得了良好的基线校正效果,为进一步分析光谱数据和实现拉曼成像提供准确可靠的信息。     

菠菜品质安全参数的拉曼点扫描快速检测方法

针对蔬菜品质安全无损伤检测的实际市场需求,结合叶菜表面农药残留等品质安全参数的不均一性,以实验室自行搭建的拉曼光谱硬件系统为基础,开发了叶菜气吸平整装置,编写了基于LabVIEW开发平台的GUI应用程序。该系统通过设定扫描步长等参数,实现了整个菠菜样品的拉曼光谱自动点扫描检测,包括对所有扫描点的拉曼信号进行自动采集、显示和存储。检测过程中,系统软件实时监控相机、二维平移台的运行状态。同时,针对菠菜原始光谱特性编写了基于有效峰线性拟合基线校准方法的拉曼光谱荧光剔除程序,实现了对样品所有扫描点数据的自动基线校准及叠加平均处理。菠菜样品的点扫描实验结果显示,一次扫描不仅可以获得菠菜样品每一扫描点的叶绿素含量及毒死蜱农药残留等品质安全参数的分布情况,而且还可以获得整个样品各参数的平均信息。该点扫描拉曼系统有效提高了不均匀样品的品质安全参数的检测精度。     

基于基线漂移模型的气体光谱自动基线校正

傅里叶红外光谱是监测污染源废气排放的一种重要手段。发展针对气体光谱的自动基线校正方法对于污染气体快速检测及长时间在线监测具有重要意义。目前自动基线校正中的一个难点是如何准确校正存在宽峰的光谱：宽峰在频域中具有一定低频成分,基于频域滤波提取光谱中低频基线信息的方法因难以选择合适的分离条件容易产生基线扭曲。采取自动识别基线点,基于预先设定的基线模型拟合光谱基线的方法可以规避频域方法中分离条件选取的环节,但其校正效果对所采用的基线模型非常敏感。当基线模型中的自由度过小时,拟合基线无法准确逼近光谱基线漂移,基线校正的误差较大;而当基线模型中的自由度过大时,尤其是含有实际基线漂移中不存在的虚假自由度时,容易产生基线扭曲。目前常用的基线模型有线性、多项式、样条插值、指数模型等,在基线模型的选择上缺乏较为统一的标准。本研究着眼于避免基线模型缺乏必要自由度或含有虚假自由度,提出基于实际基线漂移的自由度建立基线模型。研究发现,气体光谱中主要的基线漂移在光谱中可被近似表示为波数的特定阶次(0次、1次、2次和4次项)的形式。以此作为基线模型提出了一种自动基线校正新方法。新方法以传统迭代多项式拟合自动基线校正方法作为基础,将其中仅设定多项式最高阶次的基线模型改进为上述由具有物理意义支撑的特定阶次构成的基线模型;此外,增加了对吸收峰尾部的判定,用于避免在采用阈值分辨吸收峰与基线时,吸收峰尾部因吸光度较低被误识别为基线的问题。以实测获得的含有水汽宽峰的空气光谱作为样本,对所提方法的基线校正效果进行了验证,并与迭代多项式拟合方法中两种较有代表性的Lieber和Mahadeven-Jansen(LMJ)方法以及Liu和Koenig(LK)方法的基线校正效果进行了对比。实验结果表明,所提方法与采用不同最高多项式阶次的LMJ及LK方法相比,可更好的避免基线扭曲,同时其校正后的光谱基线与吸光度0线间具有最低的方差平均值。研究表明,采用实际基线漂移的自由度建立光谱基线模型可获得良好的基线校正效果。     

一种针对激光诱导击穿光谱技术的基线校正方法

针对激光诱导击穿光谱(laser-induced breakdown spectroscopy,LIBS)数据中存在的周期性拱形突起问题,提出了一种改进的基线校正算法。该算法基于惩罚最小二乘方法,通过改变局部惩罚系数,使其在拟合周期性拱形突起的同时降低谱线强度对拟合基线的影响。与其他基线校正方法相比,该算法在拟合仿真基线时的均方根误差更小,并且基于该算法得到光谱数据绘制的定标曲线的相关系数达到了0.997 2。结果表明:该算法相较于现有的去基线方法,在拟合中阶梯光栅光谱仪采集激光诱导击穿光谱的基线时,能更好地保留光谱数据的有效信息。     

面向浑浊水体叶绿素a浓度遥感反演的光谱基线校正

根据浑浊水体中悬浮物的光学性质,提出使用线性基线校正方法来削弱水体光谱中的悬浮泥沙贡献。线性基线定义为450和750 nm的反射率值连线,基线校正为光谱反射率减去基线。2010年3月和2011年4月太湖梅梁湾水体的实测数据验证结果表明,光谱线性基线校正可以较好的提高叶绿素a浓度的反演精度,改进反演模型的诊断性。3月数据建立的波段比值反演模型中,校正前模型RMSE为4.11 mg·m-3,基线校正后模型RMSE为3.58 mg·m-3,同时,基线校正后模型残差的方差齐性和正态分布均有明显的改善。4月模型有类似结果,数据校正后的模型具有更小的误差。在没有水华发生的浑浊水体中,线性基线校正可以作为提高水体叶绿素a浓度反演精度的光谱数据处理方法。     

养殖水体中孔雀石绿的SERS光谱识别

表面增强拉曼光谱(SERS)是一种重要的高灵敏度分析技术。 基于SERS的技术特点,建立了真实体系下孔雀石绿定性检测方法。 提出了一种光谱自动识别算法,有机整合了稳健的傅里叶变换基线校正,基于主成分分析的特征提取与人工神经网络分类器。 该方法结合基线的低频特征,通过迭代傅里叶变换实现基线校正;通过样本空间中类间与类内的欧氏距离判别自动获取拉曼光谱信号主成分的最优组合,实现光谱数据的降维与特征提取;最后构建三层反向传播神经网络分类器进行样本分类。 实验结果表明,基线去除可排除基线变化对检测结果的影响;光谱主成分的优化组合可减小基线校正残余及复杂体系中被测物以外的物质拉曼峰对检测结果的干扰,同时实现了分类器最小化。 该方法用于养殖用海水中孔雀石绿的现场检测,最低检出浓度0.1 μg·L-1。 该方法具有可拓展性,可以直接应用于其他溶胶/凝胶体系中SERS光谱的定性分析。     

空间外差光谱自适应基线校正研究

空间外差光谱具有较高的信噪比与光谱分辨率,在大气微量气体遥感领域得到重要应用,实现基线的自适应校正是光谱预处理的重要环节。基于光谱的特点,分别采用阈值拟合法和改进的经验模态法对实测近红外水汽空间外差光谱进行基线校正。结果表明,两种方法均能实现光谱基线的自动扣除;以光谱扭曲程度及光谱相似度对两种方法的校正效果进行定量评价,阈值拟合法校正后的光谱扭曲程度及光谱相似度为0.761和0.955,改进经验模态法的结果分别为0.717和0.954,说明改进经验模态法略优。在校正方法的耗时上,改进经验模态法以其特有的算法优势仅需较少的迭代次数就能获得最终的基线光谱,完成校正,耗时不足阈值拟合法的十分之一,效率更高。     

拉曼光谱定量分析乙醇含量的非线性回归方法研究

传统拉曼特征峰峰比法一般采用线性回归法建立乙醇浓度与峰峰比的线性关系从而反演乙醇浓度实现乙醇定量分析,但仅在较低浓度范围适用。针对这一问题,采用自主研制的激光拉曼乙醇含量检测系统实验研究了不同浓度乙醇溶液拉曼光谱特征峰(非对称CH₂伸缩振动2 924.0 cm-1)与本底水峰(3 350 cm-1)相对强度关系,提出适用于大范围乙醇浓度测量的非线性回归分析方法。利用邻域平均算法去除拉曼光谱突变噪声,结合多点插值处理实现光谱基线校准。基线校准及归一化处理后,可有效消除突变噪声及强荧光背景的影响。分别采用二次多项式和e指数数学模型对拉曼峰值强度比随乙醇浓度变化关系进行非线性回归并与线性回归分析进行对比。结果表明,线性拟合相关系数约为0.991,线性回归模型乙醇浓度准确测量的适用范围为15%～60%;非线性拟合相关系数高于0.997,非线性回归模型乙醇浓度精确测量的适用范围为3%～97%。非线性数学模型可为乙醇溶液浓度定量分析提供理论基础,将该数学模型应用于乙醇含量检测系统,可实时反演较为精确的乙醇浓度,从而实现大浓度范围内具有荧光背景干扰的乙醇溶液快速、实时、准确的定量分析。     

SF_6绝缘气体光谱信号的最佳小波基基线校正算法

SF6气体作为优异的绝缘介质和灭弧介质,被广泛地应用于各种电力设备中。为了对SF6绝缘气体成分进行监测以保障电力安全,针对光谱检测法,提出一种基于最佳小波基的基线校正算法。该算法按照能量集中准则构造代价函数,从光谱信号小波包中选取最优小波基对信号进行时频域表示;然后通过阈值法去除光谱信号中的强谱信息,以排除其对连续谱拟合的影响。对剩余信号进行最小二乘拟合得到连续谱,并从原谱中去除连续谱,即得所需的线谱。基线校正处理后的线谱强度能够真实反映光谱谱线强度,提高了定量分析的精度。对存在漂移现象的SF6气体吸收光谱进行实验分析,结果表明,该算法能准确有效地估计并校正基线,拟合精度高于迭代小波基线校正算法。     

拉曼光谱乙醇含量测量基线校正算法研究

采用拉曼特征峰峰比法进行乙醇含量的定量分析时,两峰值强度对定量分析精度有决定作用。为获得准确的乙醇含量信息,本文采用自主研制的激光拉曼乙醇含量检测系统实验获得不同浓度乙醇溶液拉曼光谱特征峰与本底水峰相对强度关系,研究了适用于大范围乙醇浓度定量分析的快速实时基线扣除算法。分别采用小波分析和基于极值自适应缩放的方法去除荧光背景,实现光谱基线校准。基线校准处理后,两种方法均能消除突变噪声及强荧光背景的影响而读取出拉曼峰强度。采用e指数数学模型对拉曼峰值强度比随乙醇浓度变化关系进行非线性回归分析。结果表明,小波分析方法非线性拟合相关系数高于0.980,基于极小极大值自适应缩放的方法非线性拟合相关系数高于0.982。     

基于自适应差分滤波的干涉图基线校正方法

基线校正是傅里叶变换成像光谱仪光谱反演的重要环节,因为干涉曲线切趾、相位校正等光谱反演预处理步骤均需要在基线校正完成后进行。提出了一种用于基线校正的自适应差分滤波方法。该方法使用迭代算法动态调整加权均值滤波窗口。仿真结果表明,该滤波方法对直流趋势项的滤除更为彻底。利用实验室仪器获取的紫外潜指纹残留物光谱数据进行分析,结果说明,在仪器工作光谱范围内,使用该方法进行基线校正后得到的光谱曲线与有效光谱曲线基本一致。该方法无需提前选择滤波窗口,具有自适应性。并且基于均值滤波算法的自适应差分滤波方法计算流程简单,迭代效率较高。