基于自动线性拟合的快速拉曼基线校正算法

近年来拉曼光谱以其无创、灵敏度高等众多优点在化学表征、生物医药、材料等领域引起广泛关注,而基线漂移的存在为后续的定性定量分析带来严重困扰,因此设计高性能的基线校准算法以提高分析结果的有效性及准确性具有重要意义。针对传统算法在批量拉曼光谱数据基线校正方面的不足,基于自动线性拟合算法提出一种快速基线校正算法以校正具有相似背景的批量拉曼光谱数据并详细阐述了该算法的核心思想以及算法实现流程。该算法首先从批量拉曼光谱数据中自动选择一条拉曼光谱数据作为基准光谱,使用自动线性拟合算法对其进行基线校准得到其基线以及分段标记点,然后利用标记点快速计算出组内其他与基准光谱具有较高相关性的拉曼光谱数据的基线,对于组内与基准光谱相关性不满足阈值要求的拉曼光谱则使用自动线性拟合算法对其进行单独基线校正,这使得算法具有具有较强的鲁棒性,可以适应复杂的拉曼光谱基线校正情形。分别使用快速基线校正算法与单独基线校正算法对多组实际拉曼光谱数据进行基线校正以对比分析算法基线校正效果,结果表明该算法可以实现对批量拉曼光谱数据的快速校正,基线校正效果良好,并且相较于单独进行基线校正算法耗时减少了30%以上,算法无参,简单易行,无需额外人工干预,是一种切实可行的批量拉曼数据自动基线校正算法。     

基于匹配追踪的拉曼光谱信号重构算法

拉曼光谱技术是一种高灵敏度、无损伤、振动分子光谱技术,在医药、生物、分析化学等诸多领域有着重要的作用。然而,由于拉曼散射强度低,实际测得的拉曼信号容易被噪声所污染。特别是在较短的曝光时间,收集到的拉曼光谱的信噪比很低。因此,提出了一种基于匹配追踪算法的信号重构方法,用于提取低信噪比的拉曼信号。该方法首先通过阈值循环迭代的方法在平均谱上找出特征峰的位置、估计峰的区间。根据峰的位置区间等信息,用高斯密度函数生成字典。在噪声谱上,根据特征峰位置和区间,将其区分为有信号区间和无信号区间,在有信号区间上利用匹配追踪算法重构被噪声所掩盖的拉曼信号。该算法不仅能够很好的逼近掩盖在噪声中的拉曼信号,且在重构信号的过程中也会对基线进行扣除,无须作基线校正处理。在仿真和实验中对该算法与常规算法进行了比较,结果证明,该算法在低信噪比条件下能够较好的恢复拉曼信号。该算法不同于传统光谱去噪算法,能同时对拉曼光谱进行了基线扣除以及噪声的处理,且能取得较为理想的结果,不需要使用不同的算法对基线和噪声分别处理。其次,在算法上我们创造性地将匹配追踪算法用于拉曼光谱信号的稀疏逼近求解。     

菠菜品质安全参数的拉曼点扫描快速检测方法

针对蔬菜品质安全无损伤检测的实际市场需求,结合叶菜表面农药残留等品质安全参数的不均一性,以实验室自行搭建的拉曼光谱硬件系统为基础,开发了叶菜气吸平整装置,编写了基于LabVIEW开发平台的GUI应用程序。该系统通过设定扫描步长等参数,实现了整个菠菜样品的拉曼光谱自动点扫描检测,包括对所有扫描点的拉曼信号进行自动采集、显示和存储。检测过程中,系统软件实时监控相机、二维平移台的运行状态。同时,针对菠菜原始光谱特性编写了基于有效峰线性拟合基线校准方法的拉曼光谱荧光剔除程序,实现了对样品所有扫描点数据的自动基线校准及叠加平均处理。菠菜样品的点扫描实验结果显示,一次扫描不仅可以获得菠菜样品每一扫描点的叶绿素含量及毒死蜱农药残留等品质安全参数的分布情况,而且还可以获得整个样品各参数的平均信息。该点扫描拉曼系统有效提高了不均匀样品的品质安全参数的检测精度。     

基于自动线性拟合的快速拉曼基线校正算法（英文）

近年来拉曼光谱以其无创、灵敏度高等众多优点在化学表征、生物医药、材料等领域引起广泛关注,而基线漂移的存在为后续的定性定量分析带来严重困扰,因此设计高性能的基线校准算法以提高分析结果的有效性及准确性具有重要意义。针对传统算法在批量拉曼光谱数据基线校正方面的不足,基于自动线性拟合算法提出一种快速基线校正算法以校正具有相似背景的批量拉曼光谱数据并详细阐述了该算法的核心思想以及算法实现流程。该算法首先从批量拉曼光谱数据中自动选择一条拉曼光谱数据作为基准光谱,使用自动线性拟合算法对其进行基线校准得到其基线以及分段标记点,然后利用标记点快速计算出组内其他与基准光谱具有较高相关性的拉曼光谱数据的基线,对于组内与基准光谱相关性不满足阈值要求的拉曼光谱则使用自动线性拟合算法对其进行单独基线校正,这使得算法具有具有较强的鲁棒性,可以适应复杂的拉曼光谱基线校正情形。分别使用快速基线校正算法与单独基线校正算法对多组实际拉曼光谱数据进行基线校正以对比分析算法基线校正效果,结果表明该算法可以实现对批量拉曼光谱数据的快速校正,基线校正效果良好,并且相较于单独进行基线校正算法耗时减少了30%以上,算法无参,简单易行,无需额外人工干预,是一种切实可行的批量拉曼数据自动基线校正算法。     

自适应多尺度窗口平均光谱平滑

去噪算法是极其重要的光谱预处理步骤,能够显著提高后续光谱分析算法的准确性。然而,大多数去噪算法都需要通过反复试验的方式来人为设置初始参数,不能自动完成光谱去噪。为了能够对光谱进行自动且可靠的平滑去噪,提出了一种自适应多尺度窗口平均平滑(AMWA)去噪算法。该算法针对光谱中不同位置采用不同宽度的平滑窗口,这些窗口的宽度将直接影响到平滑效果。当窗口宽度选择不合适时,可能出现去噪过度,使得峰畸变或者丢失;也有可能导致去噪不足,使得光谱的较平坦区域仍包含大量的噪声。因此判断每个窗口宽度是否合适,是光谱平滑的关键。该算法通过迭代的方法不断优化各个窗口的宽度,并以统计学中的Z检验来判断窗口宽度是否为最佳。另外,为了提高假设检验的可靠性,用不同信噪比的模拟数据对假设检验中使用的阈值进行比较,发现当阈值设为1.1时可使去噪效果最佳。用模拟光谱和实际光谱对该算法进行了测试,该算法能够自动适应不同的光谱形状和噪声强度。还将AMWA去噪算法与SG算法及移动窗口平均平滑算法进行了全面的比较,AMWA算法都明显优于其他两种算法。结果表明AMWA算法不仅去噪效果更好,而且准确性及保真性也更高,对模拟光谱和实际光谱都具有极好的平滑效果。     

养殖水体中孔雀石绿的SERS光谱识别

表面增强拉曼光谱(SERS)是一种重要的高灵敏度分析技术。 基于SERS的技术特点,建立了真实体系下孔雀石绿定性检测方法。 提出了一种光谱自动识别算法,有机整合了稳健的傅里叶变换基线校正,基于主成分分析的特征提取与人工神经网络分类器。 该方法结合基线的低频特征,通过迭代傅里叶变换实现基线校正;通过样本空间中类间与类内的欧氏距离判别自动获取拉曼光谱信号主成分的最优组合,实现光谱数据的降维与特征提取;最后构建三层反向传播神经网络分类器进行样本分类。 实验结果表明,基线去除可排除基线变化对检测结果的影响;光谱主成分的优化组合可减小基线校正残余及复杂体系中被测物以外的物质拉曼峰对检测结果的干扰,同时实现了分类器最小化。 该方法用于养殖用海水中孔雀石绿的现场检测,最低检出浓度0.1 μg·L-1。 该方法具有可拓展性,可以直接应用于其他溶胶/凝胶体系中SERS光谱的定性分析。     

拉曼光谱定量分析乙醇含量的非线性回归方法研究

传统拉曼特征峰峰比法一般采用线性回归法建立乙醇浓度与峰峰比的线性关系从而反演乙醇浓度实现乙醇定量分析,但仅在较低浓度范围适用。针对这一问题,采用自主研制的激光拉曼乙醇含量检测系统实验研究了不同浓度乙醇溶液拉曼光谱特征峰(非对称CH₂伸缩振动2 924.0 cm-1)与本底水峰(3 350 cm-1)相对强度关系,提出适用于大范围乙醇浓度测量的非线性回归分析方法。利用邻域平均算法去除拉曼光谱突变噪声,结合多点插值处理实现光谱基线校准。基线校准及归一化处理后,可有效消除突变噪声及强荧光背景的影响。分别采用二次多项式和e指数数学模型对拉曼峰值强度比随乙醇浓度变化关系进行非线性回归并与线性回归分析进行对比。结果表明,线性拟合相关系数约为0.991,线性回归模型乙醇浓度准确测量的适用范围为15%～60%;非线性拟合相关系数高于0.997,非线性回归模型乙醇浓度精确测量的适用范围为3%～97%。非线性数学模型可为乙醇溶液浓度定量分析提供理论基础,将该数学模型应用于乙醇含量检测系统,可实时反演较为精确的乙醇浓度,从而实现大浓度范围内具有荧光背景干扰的乙醇溶液快速、实时、准确的定量分析。     

改进的紫外拉曼光谱分段线性拟合基线校正方法

紫外拉曼光谱具有拉曼散射强度高、易于荧光光谱分离、受环境干扰影响小以及人眼安全性高等特性,所用的紫外拉曼光谱仪采用波长266 nm激光器,拉曼和荧光光谱会有部分重叠,增加了准确获取拉曼光谱特征信息的难度,进一步影响样品的辨识。因此,需要在分析拉曼光谱之前进行基线校正来消除荧光干扰。根据紫外拉曼+荧光混合光谱中,荧光光谱具有逐渐增加且接近分段线性递增的特点,利用分段线性函数拟合荧光光谱基线是一种较简捷的方法,于是针对传统分段线性拟合基线校正方法基线点定义过度依赖操作人员、自动化水平较低等问题,研究了一种改进的紫外拉曼光谱分段线性拟合基线校正方法:(1)首先求原始信号经不同次平滑迭代后的光谱数据。由于波峰相对于基线是高频信号,在多次平滑过程中,波峰附近的光谱强度逐渐下降且变化较大,基线部分逐渐上升且相对变化很小,经不同次迭代平滑的光谱波峰和基线点处的光谱强度标准差SD差异较大。(2)然后通过对光谱强度偏差的比较确定准有效基线点位置。通过适当设定的阈值SD_0提取出准有效基线点位置;(3)再利用线性迭代拟合法提取并修正过校正基线点。准有效基线点将整个拉曼光谱分割成N个特征峰区间,分别连接特征峰区间两端点得到一条直线,若特征峰全部在直线以上表明不存在过校正,否则区间端点向其峰方向移动并再次直线连接,重复以上过程,直到特征峰全部在直线以上,得到有效基线点;(4)最后逐段直线连接所有相邻有效基线点得到整个光谱的基线。原始光谱减去基线就是基线校正后的拉曼光谱。通过对模拟和实际测量的紫外混合光谱的基线校正处理实验表明:该方法能自动确定基线点位置,且较传统方法能获得更好的基线校正效果,为下一步的光谱分析提供更准确的光谱信息。     

基于自适应加窗spline曲线拟合的拉曼光谱去基线方法

拉曼光谱是一种无损快速检测技术,可以提供材料的定性和定量信息,因而在医药、化工等诸多领域得到了广泛的应用。但是,由于样品荧光背景噪声的影响,造成拉曼光谱信号出现基线漂移现象,这给拉曼光谱的特征峰识别和拉曼成像带来十分严重的影响。目前,改进实验方法和数值处理是解决该问题的两种重要手段。改进实验方法上,有偏振调制法和高频调制法等,但存在实验设备复杂,检测技术难度大等缺点;数值处理上,有多项式拟合和小波变换等,但容易出现欠拟合和过拟合等现象。本文在不改换高精密设备的前提下,针对传统基线校正的方法进行了改进,提出一种基于自适应加窗spline曲线拟合的拉曼光谱去基线方法。首先,基于谱峰识别算法和初始搜索步长求得谷值的最优搜索间距,并利用谱谷识别算法完成谷值曲线的拟合;其次,利用最优搜索间距和谱峰识别算法,求得谷值曲线峰值位置,并在该位置处对称添加自适应矩形窗函数去除峰值,重新划分整个区间,拟合谷值曲线;再次,逐点比较拟合曲线与原拉曼光谱信号,取较小值,拟合曲线;最后,重复加窗去除峰值操作,直至自适应窗函数宽度低于阈值,完成拉曼光谱信号的基线拟合。在实验中,选用乙酸丁酯、聚甲基丙烯酸甲酯(polymethyl methacrylate, PMMA)作为实验样品,利用该方法对其拉曼光谱信号进行了基线校正,观察并比较该方法和传统方法的校正结果。实验结果表明,该方法能够有效地消除拉曼光谱信号的基线漂移,较好的保留一些较弱的拉曼特征峰,且不易出现欠拟合和过拟合的现象,获得了良好的基线校正效果,为进一步分析光谱数据和实现拉曼成像提供准确可靠的信息。     

一种提高生物体拉曼光谱痕量测量精度的方法

微量物质拉曼光谱测量精度的提高是拉曼分析技术的难点之一,特别是高荧光背景下生物体中微量物质的测量。根据拉曼谱峰突发、离散特点,分别给出荧光背景和噪声拟合函数,通过监测总体拟合偏差A类不确定度函数实现拉曼谱峰定位和干扰信号滤波;进一步根据谱峰位置划分光谱区间,在单调区间内弱化非谱峰信号,实现谱峰信号增强。与其他光谱处理方法比较,可以准确拆分重叠特征峰,不会降低特征峰高度,提供更加灵敏的半谱峰面积指标。实验表明,该方法在处理皮肤拉曼光谱时,可以准确得到螺旋构象的酰胺I带、神经酰胺和CO的归属拉曼谱峰;另外经过该方法处理后数据建立水溶性糖(水稻叶片)含量测量模型,其精度优于小波分解、多项式拟合和非线性最小二乘法。     

自适应的EEMD残余相关基线校正算法

基线校正是光谱分析的重要环节,现有算法通常需要设定关键参数,不具备自适应性。根据总体平均经验模态分解(ensemble empirical mode decomposition,EEMD)残余量特点,提出用残余量拟合光谱基线。通过残余量与信号相关性、残余量自相关和互相关性(称为残余相关准则)判断残余量是否是基线组成部分,以此为基础提出一种自适应的EEMD残余相关基线校正算法。对叠加曲线背景和线性背景的模拟光谱数据进行实验,结果显示在已知基线数学假设情况下,EEMD残余相关法逊于多项式拟合,同非线性拟合相差不多,优于小波分解。在没有光谱背景知识情况下,对真实拉曼光谱数据进行试验。经过上述方法预处理过的玉米叶片光谱采用3层BP神经网络建立与叶绿素之间预测模型,经过残余相关基线校正的模型具有最大校正相关系数和预测相关系数,最小交叉验证标准差和相对分析误差。各种基线校正方法中,残余相关基线校正对特征峰峰位、峰强和峰宽影响最小。实验表明,该算法可用于拉曼谱图基线校正,无需分析样品成分的先验知识,无需选择合适的拟合函数、拟合数据点、拟合阶次以及基函数和分解层数,也无需基线信号分布的数学假设,自适应性很强。     

基于非均匀B样条的拉曼光谱基线校正算法

基线校正是一种常用的消除光谱荧光干扰的方法,是拉曼光谱数据处理的必要步骤之一。传统的多项式拟合基线校正算法,简单且易于实现,但是拟合阶次难以确定,灵活性较差。使用非均匀B样条代替多项式进行拟合,在保留原有算法优点的基础上,利用原始拉曼谱图的峰位置信息自适应地确定非均匀B样条的节点向量,然后以固定阶次拟合光谱基线。B样条自身具有分段光滑的特性,而计算样条节点的节点向量自适应选取算法中的峰位置信息通过使用两次具有不同母函数的连续小波变换(continuous wavelet transform, CWT)来获取,既加强了原始光谱数据与B样条算法本身的联系,也克服了传统多项式拟合的不足。为了验证本文算法的有效性,选取了甲基对硫磷和某品牌菜籽油两种被测物进行实验,并使用该算法进行了基线校正,并与两种其他的基线校正算法与进行了对比。实验结果表明,该方法利用固定的拟合阶次就能达到较好的校正效果,所需要的参数较少,校正结果不会出现过拟合或欠拟合的现象,是一种有效的拉曼光谱基线校正算法。     

An intelligent background‐correction algorithm for highly fluorescent samples in Raman spectroscopy

Fluorescent background is a major problem in recoding the Raman spectra of many samples, which swamps or obscures the Raman signals. The background should be suppressed in order to perform further qualitative or quantitative analysis of the spectra. For this purpose, an intelligent background‐correction algorithm is developed, which simulates manual background‐correction procedure intelligently. It basically consists of three aspects: (1) accurate peak position detection in the Raman spectrum by continuous wavelet transform (CWT) with the Mexican Hat wavelet as the mother wavelet; (2) peak‐width estimation by signal‐to‐noise ratio (SNR) enhancing derivative calculation based on CWT but with the Haar wavelet as the mother wavelet; and (3) background fitting using penalized least squares with binary masks. This algorithm does not require any preprocessing step for transforming the spectrum into the wavelet space and can suppress the fluorescent background of Raman spectra intelligently and validly. The algorithm is implemented in R language and available as open source software ( http://code.google.com/p/baselinewavelet ). Copyright © 2009 John Wiley & Sons, Ltd.     

基于IABC-SVR算法的拉曼光谱定量分析山羊血清蛋白含量

提出了一种基于拉曼光谱和改进人工蜂群算法优化支持向量机回归（IABC-SVR）算法快速定量检测山羊血清蛋白含量的方法。传统人工蜂群算法在数据区域规模较大时,收敛速度逐渐减慢, 出现效率低、精准度下降、局部最优解概率高等问题。所提出的算法解决了这些问题,使算法在进化前期避免陷入局部最优解,在进化中后期能够保持解的全局搜索能力。常规测定血清蛋白总量的方法通常采用凯氏定氮法、双缩脲法等,但存在时效慢、污染样本等缺点。采用拉曼光谱法进行检测,具有快速、无损的优点。以山羊血清为分析对象,按一定体积比配置35组待测样本,用拉曼光谱仪采集拉曼光谱,光谱采集范围为300~1 300 cm-1,采用基线矫正去除荧光背景,使用Savitzky-Golay光谱平滑法对原始光谱进行平滑处理,归一化处理光谱数据,并对拉曼光谱特征峰进行归属。实验结果表明,拉曼光谱能够表征血清中主要化学集团的信息,且由于官能团浓度差异,光谱特征峰强度随浓度变化明显,因此基于特征峰信息可以测定血清蛋白总量。实验中,以购买的山羊血清蛋白含量为基准,通过配置样本的体积比得到各组待测血清样本的蛋白含量,配置的单个液体样本体积为3 mL,随机选取8组实验样本作为模型测试集,剩余27组作为模型训练集。以经过处理的光谱特征峰强度和对应的血清蛋白含量分别作为模型的输入值及输出值,建立IABC-SVR,ABC-SVR和BP三种算法的定量模型,对测试集血清蛋白总量进行预测。最后通过均方差(MSE),相关系数（r）与建模时间分别进行对比,结果表明通过IABC-SVR建立的山羊血清蛋白定量矫正模型效果最佳,模型的相关系数为0.990 27,均方误差为0.244 3,建模时间为1.9 s,预测值方差均小于0.001 g·mL-1,预测准确率为99.8%。实验结果表明,应用激光拉曼光谱技术结合IABC-SVR算法,对快速定量检测山羊血清蛋白含量,具有较高的准确率和稳定性。     

聚谷氨酸发酵过程中ATR-FTIR光谱信号的分数阶基线校正

采用衰减全反射傅里叶变换红外光谱法（ATR-FTIR）,结合多元校正模型对γ-聚谷氨酸（γ-PGA）发酵过程中两种主要底物葡萄糖和谷氨酸钠的浓度进行间接测量,为优化发酵系统控制提供重要的反馈信息。光谱测量中经常出现的基线漂移会严重影响后续多元校正模型的性能,需要采用基线校正算法对光谱进行预处理。现有流行的基线校正算法多数是基于Whittaker Smoother（WS）平滑算法,这些算法均采用整数阶微分对拟合基线进行约束,表达能力有限。针对现有基线校正算法中的整数阶微分自适应性差的问题,利用更加灵活的分数阶微分对基线进行约束,提出了一种基于分数阶的基线校正算法,实现对整数阶基线校正的扩展。总共进行了5个批次的γ-PGA发酵实验,并对不同批次和全部批次的ATR-FTIR光谱数据分别进行了分数阶基线校正,模型的预测精度均得到不同程度的提升。实验结果表明,只有在批次2时,基于整数阶的基线校正效果最好;其他批次的基线校正效果最好时的阶次均为分数阶。这也表明了分数阶微分（包含整数阶微分）对基线的约束更加合理。同时发现全部批次的整体基线校正效果远远差于单一批次的效果,原因可能是各批次发酵光谱的基线是不同的,对不同的批次需要选用不同的阶次以获得最佳的基线校正。此外,γ-PGA发酵样品的ATR-FTIR光谱测量是以蒸馏水为背景,会在3 100~3 600 cm-1波数范围内出现负水峰,形成有害的干扰信号;分数阶基线校正后的光谱表明,分数阶基线校正算法将负的水峰当作基线,在一定程度上进行了消除。综上分析,分数阶基线校正算法不仅扩展了传统整数阶基线校正算法的应用范围,也为消除ATR光谱中负的水峰提供了新的解决思路。     

A Bayesian Whittaker–Henderson smoother for general‐purpose and sample‐based spectral baseline estimation and peak extraction

Raman spectroscopy is a well‐established technique that allows both chemical and structural analysis of materials. Raman spectra are often complex and extracting meaningful information is easily hindered by spectral interferences; one of the most significant sources being variations in background. Raman spectra have diverse sources of background making it hard to eliminate them or theoretically to predict the form of the baseline, which frequently varies between samples. Although many different methods for baseline removal have been proposed, most require some form of user input. User input is also subjective and consequently less reproducible than automated methods and variations in baseline subtraction can distort peak heights leading to erroneous results. We present a Bayesian Whittaker–Henderson smoother for spectral baseline estimation and peak extraction. It is a generalisation of the Whittaker–Henderson smoother, a regularised regression algorithm. We introduce hierarchical priors for model parameters of the smoother and propose a global aligner for consistent peak extraction across multiple spectra. We show that this novel smoother significantly outperforms several existing smoothers. Copyright © 2012 John Wiley & Sons, Ltd.     

An improved high-resolution solar reference spectrum for earth's atmosphere measurements in the ultraviolet, visible, and near infrared

We have developed an improved solar reference spectrum for use in the analysis of atmospheric spectra from vacuum wavelengths of 200.07 through 1000.99 nm. The spectrum is developed by combining high spectral resolution ground-based and balloon-based solar measurements with lower spectral resolution but higher accuracy irradiance information. The new reference spectrum replaces our previous reference spectrum, and its derivatives, for use in a number of physical applications for analysis of atmospheric spectra, including: wavelength calibration; determination of instrument transfer (slit) functions; Ring effect (Raman scattering) correction; and correction for spectral undersampling of atmospheric spectra, particularly those that are dilute in absorbers. The applicability includes measurements from the GOME, SCIAMACHY, OMI, and OMPS satellite instruments as well as aircraft-, balloon-, and ground-based measurements.