基于改进的自适应迭代重加权惩罚最小二乘的空间外差拉曼光谱基线校正方法

空间外差拉曼光谱技术因其非接触、无损、快速、高稳定性和高光谱分辨率等特点,已经广泛应用于各个物质探测领域。由于复原光谱中存在荧光背景干扰,对样品进行定性和定量分析时需要对光谱进行基线校正。为了解决由拉曼峰引起的拟合基线抬升的问题,提出了一种改进的自适应迭代重加权惩罚最小二乘（airPLS）的基线拟合方法,即基于拉曼峰截断的airPLS基线拟合方法。该方法能够自动识别拉曼峰,并在对光谱进行拉曼峰截断后进行airPLS迭代拟合,以获得更准确的基线。使用仿真光谱和实测光谱进行验证,并与常见的基线拟合方法进行对比,结果显示,改进的airPLS基线拟合准确度显著提升,仿真光谱的基线拟合均方根误差优于0.0052。实测拉曼光谱的校正谱特征峰清晰可见,荧光基线趋势被有效去除,满足拉曼光谱数据处理的需求。     

空间外差光谱仪光谱降噪方法研究

空间外差光谱仪是一种新式的超高分辨率光谱仪，可用于大气监测、卫星遥感等领域。为了减少空间外差光谱信号中的噪声，提出基于提升小波变换结合中值滤波方法来实现信号的降噪。改进的提升小波变换融合了一种双因子的阈值函数、分层阈值选取。与小波变换的软、硬阈值对比发现，它能提取空间外差光谱，减小峰宽和保留重要的细节特征，降噪效果优于小波变换的软、硬阈值法。最后用信噪比和均方误差两项定量指标来衡量算法的效果。实验结果表明:该算法比软阈值法在处理氙灯和积分球时信噪比提高了24.6%和31%，均方误差减少了43.2%和51.5%；与硬阈值法相比信噪比提高了21.5%和30.6%，均方误差减少了40.2%和51.2%。因此，算法在空间外差光谱降噪方面具有可行性。     

基于基线漂移模型的气体光谱自动基线校正

傅里叶红外光谱是监测污染源废气排放的一种重要手段。发展针对气体光谱的自动基线校正方法对于污染气体快速检测及长时间在线监测具有重要意义。目前自动基线校正中的一个难点是如何准确校正存在宽峰的光谱：宽峰在频域中具有一定低频成分,基于频域滤波提取光谱中低频基线信息的方法因难以选择合适的分离条件容易产生基线扭曲。采取自动识别基线点,基于预先设定的基线模型拟合光谱基线的方法可以规避频域方法中分离条件选取的环节,但其校正效果对所采用的基线模型非常敏感。当基线模型中的自由度过小时,拟合基线无法准确逼近光谱基线漂移,基线校正的误差较大;而当基线模型中的自由度过大时,尤其是含有实际基线漂移中不存在的虚假自由度时,容易产生基线扭曲。目前常用的基线模型有线性、多项式、样条插值、指数模型等,在基线模型的选择上缺乏较为统一的标准。本研究着眼于避免基线模型缺乏必要自由度或含有虚假自由度,提出基于实际基线漂移的自由度建立基线模型。研究发现,气体光谱中主要的基线漂移在光谱中可被近似表示为波数的特定阶次(0次、1次、2次和4次项)的形式。以此作为基线模型提出了一种自动基线校正新方法。新方法以传统迭代多项式拟合自动基线校正方法作为基础,将其中仅设定多项式最高阶次的基线模型改进为上述由具有物理意义支撑的特定阶次构成的基线模型;此外,增加了对吸收峰尾部的判定,用于避免在采用阈值分辨吸收峰与基线时,吸收峰尾部因吸光度较低被误识别为基线的问题。以实测获得的含有水汽宽峰的空气光谱作为样本,对所提方法的基线校正效果进行了验证,并与迭代多项式拟合方法中两种较有代表性的Lieber和Mahadeven-Jansen(LMJ)方法以及Liu和Koenig(LK)方法的基线校正效果进行了对比。实验结果表明,所提方法与采用不同最高多项式阶次的LMJ及LK方法相比,可更好的避免基线扭曲,同时其校正后的光谱基线与吸光度0线间具有最低的方差平均值。研究表明,采用实际基线漂移的自由度建立光谱基线模型可获得良好的基线校正效果。     

空间外差光谱仪干涉图数据处理

空间外差光谱技术是一种新型的超分辨光谱技术。介绍了空间外差光谱仪的基本原理,并针对其特点提出了干涉图数据处理的方法。首先通过一阶差分对干涉图进行去基线处理,然后使用三角函数作为切趾函数对干涉图进行切趾,并对傅里叶变换光谱进行相位校正,最后采用已知双线光源对空间外差光谱仪原理试验装置进行波长定标。文章以Na双线与Hg谱线进行波长定标,得到了波长定标曲线。通过以上的方法对空间外差光谱仪干涉图数据进行处理,能有效地提高干涉图反演光谱的精度。     

空间外差光谱仪相位校正方法的研究

空间外差光谱仪在应用的过程中由于各种测量原因使采集的干涉图存在相位误差。对此提出了一种改进的相位校正方法,该方法在提取单边变换光谱进行傅里叶逆变换求取干涉图相位曲线的基础上,通过拟合相位斜率求出相位误差,然后计算相位校正函数,将变换光谱与相位校正函数进行卷积来实现光谱相位校正。把该方法应用于实测单色谱与仿真水汽光谱的相位校正,实验结果显示该方法能有效的去除单色光谱边缘的低频假信号,提高干涉图的周期性和对称性;对于叠加了相位误差的连续光谱,使其校正前后的光谱与原光谱的标准偏差由0.47降为0.20,提高了光谱的准确性。     

基于自动线性拟合的快速拉曼基线校正算法

近年来拉曼光谱以其无创、灵敏度高等众多优点在化学表征、生物医药、材料等领域引起广泛关注,而基线漂移的存在为后续的定性定量分析带来严重困扰,因此设计高性能的基线校准算法以提高分析结果的有效性及准确性具有重要意义。针对传统算法在批量拉曼光谱数据基线校正方面的不足,基于自动线性拟合算法提出一种快速基线校正算法以校正具有相似背景的批量拉曼光谱数据并详细阐述了该算法的核心思想以及算法实现流程。该算法首先从批量拉曼光谱数据中自动选择一条拉曼光谱数据作为基准光谱,使用自动线性拟合算法对其进行基线校准得到其基线以及分段标记点,然后利用标记点快速计算出组内其他与基准光谱具有较高相关性的拉曼光谱数据的基线,对于组内与基准光谱相关性不满足阈值要求的拉曼光谱则使用自动线性拟合算法对其进行单独基线校正,这使得算法具有具有较强的鲁棒性,可以适应复杂的拉曼光谱基线校正情形。分别使用快速基线校正算法与单独基线校正算法对多组实际拉曼光谱数据进行基线校正以对比分析算法基线校正效果,结果表明该算法可以实现对批量拉曼光谱数据的快速校正,基线校正效果良好,并且相较于单独进行基线校正算法耗时减少了30%以上,算法无参,简单易行,无需额外人工干预,是一种切实可行的批量拉曼数据自动基线校正算法。     

基于自动线性拟合的快速拉曼基线校正算法（英文）

近年来拉曼光谱以其无创、灵敏度高等众多优点在化学表征、生物医药、材料等领域引起广泛关注,而基线漂移的存在为后续的定性定量分析带来严重困扰,因此设计高性能的基线校准算法以提高分析结果的有效性及准确性具有重要意义。针对传统算法在批量拉曼光谱数据基线校正方面的不足,基于自动线性拟合算法提出一种快速基线校正算法以校正具有相似背景的批量拉曼光谱数据并详细阐述了该算法的核心思想以及算法实现流程。该算法首先从批量拉曼光谱数据中自动选择一条拉曼光谱数据作为基准光谱,使用自动线性拟合算法对其进行基线校准得到其基线以及分段标记点,然后利用标记点快速计算出组内其他与基准光谱具有较高相关性的拉曼光谱数据的基线,对于组内与基准光谱相关性不满足阈值要求的拉曼光谱则使用自动线性拟合算法对其进行单独基线校正,这使得算法具有具有较强的鲁棒性,可以适应复杂的拉曼光谱基线校正情形。分别使用快速基线校正算法与单独基线校正算法对多组实际拉曼光谱数据进行基线校正以对比分析算法基线校正效果,结果表明该算法可以实现对批量拉曼光谱数据的快速校正,基线校正效果良好,并且相较于单独进行基线校正算法耗时减少了30%以上,算法无参,简单易行,无需额外人工干预,是一种切实可行的批量拉曼数据自动基线校正算法。     

空间外差光谱仪干涉图非均匀性校正研究

空间外差光谱仪在研制加工过程中,由于加工误差及胶合误差会使CCD接收到的干涉图存在光强分布不均匀现象,降低了变换光谱的准确性。基于对空间外差光谱仪干涉图光强非均匀性的产生机制与特点分析基础上,提出了一种干涉图非均匀性校正方法,该方法通过对实际干涉图进行单调分解、分段归一化及重新组合过程求解出光强分布函数,然后将变换光谱与光强分布函数倒数的傅里叶变换结果进行卷积来获得非均匀性校正后的光谱,最后将校正光谱进行逆傅里叶变换从而实现干涉图的非均匀性校正。将此方法应用于空间外差试验仪的近红外实测单色光干涉图的非均匀性校正,结果显示,该方法可以有效改善干涉图光强分布的非均匀性,抑制变换光谱的边频信号,通过与仿真的理想光谱对比,1 571和1 572 nm光谱校正前后噪声的减小率分别达到40.7%和24%,提高了光谱信噪比和准确性。     

改进的紫外拉曼光谱分段线性拟合基线校正方法

紫外拉曼光谱具有拉曼散射强度高、易于荧光光谱分离、受环境干扰影响小以及人眼安全性高等特性,所用的紫外拉曼光谱仪采用波长266 nm激光器,拉曼和荧光光谱会有部分重叠,增加了准确获取拉曼光谱特征信息的难度,进一步影响样品的辨识。因此,需要在分析拉曼光谱之前进行基线校正来消除荧光干扰。根据紫外拉曼+荧光混合光谱中,荧光光谱具有逐渐增加且接近分段线性递增的特点,利用分段线性函数拟合荧光光谱基线是一种较简捷的方法,于是针对传统分段线性拟合基线校正方法基线点定义过度依赖操作人员、自动化水平较低等问题,研究了一种改进的紫外拉曼光谱分段线性拟合基线校正方法:(1)首先求原始信号经不同次平滑迭代后的光谱数据。由于波峰相对于基线是高频信号,在多次平滑过程中,波峰附近的光谱强度逐渐下降且变化较大,基线部分逐渐上升且相对变化很小,经不同次迭代平滑的光谱波峰和基线点处的光谱强度标准差SD差异较大。(2)然后通过对光谱强度偏差的比较确定准有效基线点位置。通过适当设定的阈值SD_0提取出准有效基线点位置;(3)再利用线性迭代拟合法提取并修正过校正基线点。准有效基线点将整个拉曼光谱分割成N个特征峰区间,分别连接特征峰区间两端点得到一条直线,若特征峰全部在直线以上表明不存在过校正,否则区间端点向其峰方向移动并再次直线连接,重复以上过程,直到特征峰全部在直线以上,得到有效基线点;(4)最后逐段直线连接所有相邻有效基线点得到整个光谱的基线。原始光谱减去基线就是基线校正后的拉曼光谱。通过对模拟和实际测量的紫外混合光谱的基线校正处理实验表明:该方法能自动确定基线点位置,且较传统方法能获得更好的基线校正效果,为下一步的光谱分析提供更准确的光谱信息。     

基于空间外差的拉曼信号处理方法研究

空间外差拉曼光谱技术是近年兴起的一种超光谱探测技术,它既具有拉曼光谱测量的非接触、快速、简单、可重复、无需样品准备等特点,更具有空间外差的超光谱分辨率、高通量、无运动部件优点,能在被测物质特征波长中心范围探测,实现微弱拉曼光信号的直接测量。由于被测信号微弱、光学元件加工精度、器件封装及仪器安装误差等原因,会导致空间外差拉曼光谱仪(SHRS)接收到的干涉图存在光强分布不均匀、干涉条纹倾斜或扭曲等现象,从而使普通光谱恢复方法得到光谱信号准确度下降或无法识别。根据SHRS探测到的干涉图所存在的误差特点,将二维傅里叶变换应用于SHRS干涉图的光谱复原,提出基于二维频域谱重采样的最强直线方向光谱提取方法,以实现SHRS光谱的获取。提取过程为：将采集的目标干涉图进行二维傅里叶变换,获得二维频谱图,通过使用相同实验系统采集的单波长或多波长光源的二维频谱信号特征峰的位置信息,拟合获取光信息强度最大方向直线方程。然后根据该直线与目标二维频谱图各列交点坐标位置,确定重采样贡献像元及权重。对拟合直线方程经过的所有列像元进行重采样,得到最终的光谱信号。将该方法应用于自行搭建实验系统采集的三叶草干涉图数据,同时与其他方法光谱复原结果进行对比。结果表明：与一维行平均光谱法比较,该方法获取的光谱在探测波段中心区域信号强度更加明显,同时消除了探测器热噪声的影响;与二维频谱中心行直接提取法比较,该方法是该方法的改进版本,两者结果比较接近。但是由于考虑到干涉条纹y分量的影响,沿二维频谱信号最强方向重采样得到的最终光谱,其主峰半峰宽更窄、边频噪声强度更小,且随着y分量的增加,光谱复原效果及优势将越发明显。该方法是空间外差拉曼光谱技术数据处理的一种有益补充与尝试。     

自适应的EEMD残余相关基线校正算法

基线校正是光谱分析的重要环节,现有算法通常需要设定关键参数,不具备自适应性。根据总体平均经验模态分解(ensemble empirical mode decomposition,EEMD)残余量特点,提出用残余量拟合光谱基线。通过残余量与信号相关性、残余量自相关和互相关性(称为残余相关准则)判断残余量是否是基线组成部分,以此为基础提出一种自适应的EEMD残余相关基线校正算法。对叠加曲线背景和线性背景的模拟光谱数据进行实验,结果显示在已知基线数学假设情况下,EEMD残余相关法逊于多项式拟合,同非线性拟合相差不多,优于小波分解。在没有光谱背景知识情况下,对真实拉曼光谱数据进行试验。经过上述方法预处理过的玉米叶片光谱采用3层BP神经网络建立与叶绿素之间预测模型,经过残余相关基线校正的模型具有最大校正相关系数和预测相关系数,最小交叉验证标准差和相对分析误差。各种基线校正方法中,残余相关基线校正对特征峰峰位、峰强和峰宽影响最小。实验表明,该算法可用于拉曼谱图基线校正,无需分析样品成分的先验知识,无需选择合适的拟合函数、拟合数据点、拟合阶次以及基函数和分解层数,也无需基线信号分布的数学假设,自适应性很强。     

Identification and treatment approach for spectral baseline distortion in processing of gas analysis online by Fourier transform infrared spectroscopy

Addressing the problem of baseline drift or distortion in Fourier transform infrared spectra when analyzing gas continuously at scene, a novel and simple method is proposed to identify and treat spectral baseline drift. Firstly, the spectral baseline was corrected with the common approach followed by standard gas analysis. Then, absorbance of analytes was reconstructed and reduced from the corrected spectrum. Finally, a Fourier transform was performed with the difference spectrum, and the first four-line strengths were used as feature variables to determine if baseline distortion occurred. In the end of this paper, this approach has been applied in the field of wellhead gas logging with Fourier transform infrared. The application results showed that all the spikes had been removed from the raw logging curves, confirming that this approach could be used to identify spectral baseline distortion accurately.     

基于共焦显微拉曼的柑橘黄龙病无损检测研究

黄龙病危害柑橘果树日益严重,对柑橘黄龙病进行快速检测研究具有重大意义。采用拉曼光谱技术,结合偏最小二乘判别分析(PLS-DA)方法探讨快速诊断柑橘黄龙病及病情类别的可行性。获取柑橘叶片拉曼光谱并进行普通PCR鉴别分为轻度、中度、重度、缺素和正常5类。在715～1 639.5 cm-1范围内采用一阶导,基线校正(Baseline)和多项式拟合三种方法扣除光谱背景,突显叶片拉曼光谱特征峰。多项式拟合方法分别进行了2次,3次和4次拟合,与一阶导和基线校正两种扣除背景方法进行比较,结合最小二乘支持向量机(LS-SVM)和偏最小二乘判别分析(PLS-DA)建立判别模型。经比较发现,多项式拟合方法扣除光谱背景效果均好于另外两种方法,其中用2次多项式拟合的PLS-DA模型的效果最好,预测相关系数(R_P)为0.98,预测均方根误差(RMSEP)为0.67,总误判率最小为0。基线校正扣除光谱背景的LS-SVM模型效果最差,总误判率最大为40%。研究结果表明,利用拉曼光谱技术对柑橘黄龙病进行快速识别研究具有一定的可行性,为柑橘黄龙病无损检测研究提供一种新途径。     

三维荧光光谱结合EEMD与SWATLD测定水中多环芳烃

多环芳烃（PAHs）类物质具有致畸、致癌、致突变的性质,严重污染生态环境,进而对人类的健康及动植物生长造成威胁。PAHs通过排污、大气沉降、地表径流等各种循环途径进入水环境中,由于种类众多且化学性质相似,常规的检测方法如化学滴定法、电化学法等很难实现快速准确的测定。为实现复杂体系中PAHs的定性与定量,工作中基于三维荧光光谱分析法,结合集合经验模态分解（EEMD）去噪与自加权交替三线性分解（SWATLD）二阶校正,对超纯水以及池塘水环境中的苊（ANA）和萘（NAP）进行分析测定。首先选择合理的浓度配制样本,用FS920荧光光谱仪测得样品的三维荧光光谱,利用空白扣除法将光谱数据中的散射消除,得到真实的光谱数据。然后对去除散射的数据进行EEMD降噪处理,该方法具有自适应性强、参数设置简便的优点,能够去除嘈杂信息,提高数据信噪比,并将去噪参数与快速傅里叶变换、小波滤波和经验模态分解进行比较。最后用SWATLD算法以“数学分离”代替“化学分离”,对超纯水和池塘水环境中光谱重叠的ANA和NAP进行定性识别和定量预测,该算法对组分数的选择不敏感,能够在未知干扰物共存情况下实现多组分目标分析物的同时检测,即具有“二阶优势”,并将预测结果与平行因子分析进行比较。结果表明空白扣除法能够成功将拉曼散射消除。EEMD降噪方法使ANA和NAP的光谱更加规整平滑,有效信息更加突出,该方法去噪后数据信噪比为16.845 2,均方根误差为11.136 6,波形相似系数为0.990 9,三项指标均优于快速傅里叶变换和经验模态分解等其他去噪方法,能达到小波滤波的去噪效果并且不用设置先验参数。利用SWATLD二阶校正方法得到验证样本中ANA与NAP的分解光谱与实际光谱基本吻合,平均预测回收率分别为96.4%和104.2%,预测均方根误差分别为0.105和0.092 μg·L-1;在存在未知干扰物的池塘水样本中,分解出的光谱依然能与实际光谱吻合,ANA与NAP两者的平均预测回收率分别为94.8%和105.5%,预测均方根误差分别为0.067和0.169 μg·L-1;与平行因子分析相比,两项指标均具有优势。     

乙醇含量拉曼光谱检测中噪声与背景同时消除方法研究

乙醇含量拉曼光谱检测中,拉曼光谱信号中的各种噪声及光谱荧光造成的基线漂移和样品池背景等,影响了校正模型的预测精度。利用总体平均经验模态分解,将光谱信号分解成若干无模态混叠的内在模式分量,根据排列熵的信号随机性检测判据判断出代表背景信息和噪声信息的内在模式分量,将其置零即可同时消除拉曼光谱中的噪声与背景。将总体平均经验模态分解与排列熵相结合的预处理方法应用于乙醇含量的拉曼光谱检测中,并与小波变换和平均平滑滤波做了对比。实验结果表明：应用总体平均经验模态分解与排列熵相结合的方法能够有效的同时消除乙醇含量拉曼光谱检测中的噪声和背景信息,提高校正模型的预测精度,且使用简便,无需参数设置,对乙醇含量拉曼光谱检测具有实用价值。     

Spectrum evolutions of spontaneous and pump-depleted stimulated Brillouin scatterings in liquid media

A theoretical model for calculating spontaneous and stimulated Brillouin scattering(SBS) spectra is described. An empirical formula for the Stokes output spectral linewidth, a function of spontaneous Brillouin linewidth and the exponential gain coefficient, is obtained by the calculated data fitting. The formula holds true for two cases involving pump undepletion and depletion. The lineshape change from spontaneous to highly pump-depleted SBS spectra is also investigated. The result shows that for the pump power below the SBS threshold, the Stokes output spectral lineshape evolves from Lorentzian to approximately Gaussian as the pump power increases. For the pump power near or beyond the threshold, the SBS spectrum is in the form of a steady Gaussian profile, and the spectral linewidth comes to a certain value about 7 times narrower than the spontaneous one. The theoretical results are experimentally demonstrated by using several common liquid media.     

基于K-均值聚类与夹角余弦法的多光谱分类算法

近年来对高光谱与多光谱进行分类去混的研究方法很多,K-均值聚类算法与光谱相似度计算算法都属于成熟的分类算法.作者在对其研究基础上,将K-均值算法进行改进,并融入光谱相似度匹配算法,形成一种新的光谱分类算法,找出两条距离最远的光谱作为参考光谱,用欧氏距离法或夹角余弦法对数据立方体进行分类,并且从数据立方体中删除属于这两条谱线的其余谱线,同时找出与两条参考光谱距离最远或者夹角最大者作为第三条参考光谱,对剩余数据立方体进行新的分类,并在此算法上用多光谱数据立方体进行了试验验证.通过ENVI用K-均值(K-means)进行分类,与改进的K-means算法和夹角余弦法Matlab仿真结果进行比较,后两种对于两种气泡的分类效果都很好,对背景的分类改进的K-means算法效果较好,尤其是欧氏距离法能将背景完整地分离出来.     

基于梯度下降法直接拟合光谱吸收信号的气体浓度测量方法研究

可调谐二极管激光吸收光谱技术由于选择性强、灵敏度高、精确度高、非侵入式测量等优点,被广泛应用于大气环境监测、燃烧流场诊断、工业过程控制、人体呼吸探测等领域。直接吸收技术和波长调制技术是可调谐二极管激光吸收光谱技术两种不同的测量手段,其中直接吸收技术测量系统结构简单、信号处理相对容易、成本较低、避免提前标定,在测量气体为常量组分时广泛使用。直接吸收技术测量气体浓度时,首先需要从光谱吸收信号中得到一条表示未吸收的基线信号,这一过程被称为基线拟合。基线拟合不准确会给测量结果带来较大误差,这也是直接吸收技术难以达到低探测限的原因之一。针对上述问题,基于梯度下降法,将基线、气体浓度、吸收线型等作为未知量,通过建立激光吸收光谱信号的数学模型,对透射信号直接拟合,最终得到气体的浓度信息。这种方法同步拟合了线型和基线,相比传统的积分面积法,增强了拟合的整体一致性。在近红外激光吸收光谱气体浓度检测系统上,利用中心波长在1 580 nm处的分布反馈式激光器,通过该方法对实际浓度为10%,12%,14%,16%,18%和20%的CO₂进行了测量,并将测量结果与积分面积法测量结果进行对比。研究结果显示,六种浓度下直接拟合法的曲线拟合方差均小于1×10-4,测量浓度的最小相对误差仅为0.90%,最大相对误差为4.40%,此时迭代时间在4 s以内,计算检测限为0.39%;直接拟合法和积分面积法得到的浓度平均相对误差分别为2.63%和5.74%,直接拟合法优于积分面积法。实验研究验证了基于梯度下降法直接拟合光谱吸收信号的气体浓度测量方法的可行性与准确性,为直接吸收技术提供了一个新的思路。