一种面向土壤重金属含量检测的X射线荧光光谱预处理方法研究

土壤重金属的污染影响着农作物的产量和质量。传统的土壤重金属检测方法步骤繁琐、检测费用高且速度慢。利用X射线荧光光谱(XRF)分析技术检测土壤中重金属含量,具有处理简单、现场、快速、无损等优点。由于土壤背景复杂,包含大量噪声和无关信息,建立XRF校正模型前,对光谱的预处理能有效的去除不相干信息,保留有用信息,对XRF预测模型的精度有重要影响。主要研究光谱预处理方法对重金属含量预测模型精度的影响。首先,采用向前间隔偏最小二乘(FiPLS)作为校正模型,对比了无预处理、去趋势处理(DT)、标准正态变量变换(SNV)、多元散射校正(MSC)、小波去噪(WT)、SNV+DT、卷积平滑(SG)+一阶导数、卷积平滑(SG)+二阶导数等7种不同预处理条件下的土壤重金属模型的检测精度。初步结果表明,多元散射校正预处理方法效果较好,与原始光谱相比,相关系数r从原始的0.988提高到0.990,预测均方根误差RMSEP、相对误差平均从原来的20.809和0.166分别降低到19.051和0.121。其次,在多元散射校正预处理方法的基础上,针对多元散射校正方法以线性表达式描述非线性关系的局限性,提出了局部加权线性回归多元散射校正(LWLRMSC)和偏最小二乘多元散射校正(PLSMSC),并比较了它们的建模效果。LWLRMSC是基于加权思想,在预测一个点的值时,选择适当的核函数和权重分配策略进行预测点的线性回归,来解决简单线性回归的欠拟合状况;PLSMSC是基于PLS建模思想,考虑了自变量和因变量的最大相关性,来减少拟合误差及失真问题。结果表明,PLSMSC具有最佳的预处理效果,五种重金属Cu,Zn,As,Pb,Cr预测值和实际值的R分别为0.989,0.973,0.991,0.989和0.986,RMSEP分别为8.805,58.360,7.671,12.549和20.851,相比于传统的MSC方法不仅在精度方面有大幅度的提升,且具有更好的泛化性能,能消除光谱噪声,提升有效信息贡献度,为土壤重金属含量预测模型选取合适的预处理方法提供了理论支撑。     

梨果糖浓度近红外漫反射光谱检测的预处理方法研究

糖浓度是梨果内部品质的重要指标。实验测得了梨果的近红外漫反射吸光度谱,并且对其进行了光谱预处理,包括多元散射校正(MSC)、基线校正(baseline correction)、标准正态变量变换(SNV)和平滑去噪(moving average)。结果表明,经过预处理后的吸光度谱在光谱归一化、噪声消减等方面有着较为明显的优势。使用偏最小二乘法(PLS)对原始吸光度谱和预处理后的吸光度谱分别进行处理,得到结论：应用平滑去噪预处理后的吸光度谱进行预测的准确度优于原始吸光度谱,得相关系数为0.990 8,预测标准偏差为0.019 0。     

Ensemble-SISPLS近红外光谱变量选择方法

近红外光谱具有高维小样本的特点,变量选择是提高定量分析模型稳健性和可解释性的一种有效方法。确定独立筛选（SIS）是一种基于边际相关性的超高维数据变量选择方法,广泛用于基因微阵列数据的变量选择。SIS具有将数据维度降低至样本大小规模的能力,其降维能力与LASSO相当,在相当宽泛的近似条件下,由于具有安全筛选性质,所有重要变量被保留的概率趋于1。基于确定独立筛选偏最小二乘（SIS-SPLS）的变量选择是一种迭代式的SIS变量选择方法,首先利用SIS方法完成光谱重要变量的初选;然后根据重要变量的边际相关性大小进行逐步前向选择：建立偏最小二乘回归模型,依据贝叶斯信息准则（BIC）确定最终的变量选择结果。SIS-SPLS以逐步前向选择的方式实现对重要变量的增量式筛选,随着潜变量个数的增加及因变量残差的逐步减小,SIS-SPLS方法选择的变量个数将趋于稳定。然而仅以边际相关性对变量重要性进行评价,当光谱变量个数远大于样本数时,该方法也存在选择的变量过多、变量选择结果不够稳健等问题。为进一步提高小样本情况下变量选择的稳健性,将集成学习引入SIS-SPLS方法之中,提出了一种集成SIS-SPLS变量选择方法（Ensemble-SISPLS）。该方法首先对校正集样本进行自助重采样,对采样得到的每一个校正子集分别使用SIS-SPLS方法进行变量筛选,通过投票机制并设置频次阈值对所有校正子集的变量选择结果进行集成,选择出现频次大于给定阈值的变量并建立偏最小二乘回归模型,计算5折交叉验证均方根误差。对频次阈值和潜变量个数两个关键参数使用网格搜索法进行优选,根据子模型的交叉验证均方根误差和变量个数对子模型性能进行综合评价,以最优子模型包含的变量作为最终的变量选择结果。分别在Corn数据集和当归数据集上进行变量选择实验,比较Ensemble-SISPLS,SIS-SPLS和UVE-PLS三种变量选择方法的性能。其中当归数据集共77个样本,样本采自甘肃岷县和渭源县,使用Nicolet-6700型近红外光谱仪扫描得到所有样本的近红外光谱并对当归中的阿魏酸含量进行预测。Ensemble-SISPLS方法在Corn数据集上选择的变量个数、RMSEP和决定系数分别为22,0.000 8和0.999 8;SIS-SPLS方法在Corn数据集上选择的变量个数、RMSEP和决定系数分别为97,0.007 3和0.998 8。Ensemble-SISPLS方法在当归数据集上选择的变量个数、RMSEP和决定系数分别为24,0.018 1和0.996 3;SIS-SPLS方法在当归数据集上选择的变量个数、RMSEP和决定系数分别为38,0.022 6和0.994 3。结果表明,该方法进一步提高了变量选择结果的稳健性和预测能力。Ensemble-SISPLS变量选择方法有效结合了SIS-SPLS较强的变量选择能力和集成学习良好的泛化能力,提高了变量选择的稳健性。此外,由于在子模型的预测能力和变量个数之间进行了折中,一定程度上减少了选择变量的个数,提高了模型的可解释性。     

一种改进小波算法及其在拉曼光谱预处理的应用

针对现有用于光谱预处理的小波变换算法对光谱噪声和背景荧光等处理效果不佳的局限性,本文提出了一种改进的小波变换算法——小波变换频率分量相关选择法,首先对拉曼光谱进行小波棱镜分解,然后计算各个频率分量与待测质量指标的相关系数,设定相关系数的相对阈值,提取高于阈值的小波频率分量波长点光谱数据作为校正模型的有效输入数据。将其应用于汽油低分辨率拉曼光谱的预处理,并采用预处理后光谱建立的偏最小二乘模型预测值的最大正负误差和交叉检验的均方误差作为指标。实验结果证明,与其他常见预处理方法比较,该方法并能够很好地减弱荧光背景干扰和高频噪声,显著提高了基于偏最小二乘方法建立的汽油辛烷值的模型预测精度,其均方误差减少为0.23;此外,采用该预处理方法的偏最小二乘模型的均方误差随主元数变化不大,稳健性也比采用其他预处理方法的效果好。     

多元散射校正预处理波段对近红外光谱定标模型的影响

利用近红外光谱对非均匀样品进行分析时,所得样品光谱中包含由光散射导致的干扰信息,通常需要借助多元散射校正算法(multiple scattering correction, MSC)对光谱进行预处理。由于不同波段光谱中所包含的散射信息、噪声水平、基线漂移程度等存在差异,利用MSC方法对光谱进行预处理时,基于不同波段的光谱数据会得到不同的校正结果,进而影响所得定标模型的可靠性。以60个全麦粉样品为研究对象,确定定标区间后,对包含定标区间的不同波段的原始光谱分别进行MSC处理,并利用固定区间内的光谱数据结合偏最小二乘回归(partial least square regression, PLSR)方法建立分析样品中蛋白质含量的定标模型,研究了MSC光谱预处理波段对定标模型的影响,并对MSC光谱预处理波段进行了优化,使定标模型的相关系数由0.96提高到0.98,交互验证均方根误差(root mean squares error of cross validation, RMSECV)由0.37%降低到0.32%。结果表明：利用MSC方法对样品光谱预处理时,光谱预处理波段会影响多元散射校正对光谱中非化学吸收信息的校正能力,确定合适的预处理波段是获得可靠分析结果的一个前提条件。     

基于迭代初始化遗传算法的光谱波段选择及其在感冒液多组分测定中的应用

光谱数据用于多元校正时,组分间的交互作用会使部分波段与组分浓度呈非线性关系,在用偏最小二乘法(PLSR)建模前,宜作波长筛选。基于迭代初始化的遗传算法(IRGA)将运行多轮GA,递归地以上轮结果作为先验知识支持下轮的初始化,并对入选波长点的统计频率进行平滑处理,由此可高效地从全谱中选出校正性能良好的波段,筛选结果稳定。入选波段对全谱既作了适当简化,又充分保留了有效信息。再采用PLSR建模,模型更具稳健性。将该法用于感冒液的五组分测定,与全谱建模法相比,其预测性能和稳健性有显著提高。     

RMSECV曲线筛选光谱波段算法

提出了一种利用偏最小二乘回归系数矩阵筛选光谱波段的算法。该算法利用偏最小二乘回归系数作为筛选光谱波长的依据,参考(root-mean-squares error of cross-validation,RMSECV)曲线,使初选波长数大大降低。在此基础上通过循环选择将无效信息光谱波长剔除,同时增强了所建模型的预测精确性。通过生产过程的Raman光谱数据验证,该算法比传统的利用回归系数筛选波长的算法更好地提高了模型的精确性,同时降低了模型的复杂程度,是一种高效实用的算法。     

基于改进哈里斯鹰优化算法的光谱特征波段选择模型研究

特征波段选择是近红外光谱分析的关键步骤之一,有效的特征波段选择能提高建模效率与模型性能。传统的特征波段选择算法存在运行时间长、选择特征冗余的缺陷,在实际工程应用中难以达到期望的效果。哈里斯鹰优化(HHO)算法具有原理简单、参数少的优点,但同时也存在收敛精度低且易陷入局部最优的不足。在HHO算法的基础上提出了一种基于改进哈里斯鹰优化(IHHO)算法的近红外光谱特征波段选择模型。针对HHO算法只能用于求解连续空间的优化问题,采用离散化策略对HHO算法进行修正,使其能求解离散形式的特征波段选择问题;考虑到HHO算法初始种群的质量差,使用混沌映射、反向学习提高初始种群的质量,以增强算法的全局探索能力;由于HHO算法在局部搜索时的收敛精度低,提出了新的猎物能量衰减模型与跳跃策略,以进一步增强算法在局部搜索时的寻优能力;为避免算法在寻优过程中落入局部最优,借鉴了遗传算法的变异方式对HHO算法进行扰动。使用竞争性自适应重加权采样法(CARS)、连续投影算法(SPA)、粒子群优化(PSO)算法、遗传算法(GA)、 HHO算法与IHHO算法进行比较,并以4个定性分析近红外光谱数据集与2个定量分析近红外光...     

一种油田原油含水率的近红外光谱检测与分析方法

石油作为重要战略资源,对其组分进行实时分析检测在石油化工领域有着重要意义.随着石油资源的不断开发,在已长时间开采油井的生产过程中以及新油井开采前,需要对井下原油组分进行分析检测,以判定开采的必要性.原油组分实时检测,在原油开采、生产、储运以及销售过程中都起着关键的作用,针对传统检测方法存在精度低、效率低等问题,近年来在...     

近红外光谱预测猕猴桃硬度模型的简化研究

为简化猕猴桃硬度的预测模型,利用标准正态变量变换对猕猴桃1 000～2 500 nm近红外光谱进行预处理,在优选建模波段和采用净分析物预处理（NAP）降低建模主因子数两个方面简化猕猴桃硬度偏最小二乘（PLS）模型。结果表明,优选5 189～5 370 cm^-1,4 549～4 620 cm^-1,6 049～6 230 cm^-1,6 999～7 730 cm^-1,6 249～6 614 cm^-1等5个波段进行建模,NAP/PLS模型性能最佳,主因子数为5,校正集相关系数R2和均方根误差RMSECV分别为0.819 41和0.701 77,预测集相关系数R2和均方根误差RMSEP为0.780 67和0.882 71。与简化前的PLS模型相比,模型不仅更加简洁,而且预测能力和精度均有所提高。     

子宫内膜癌组织近红外光谱预处理与波段选择研究

应用近红外光谱技术对子宫内膜组织病理切片进行快速无损检测。收集了154样品光谱,其中正常样本的个数36个,增生的60个,癌变的58个。由于原始光谱中包含大量干扰信息,所以光谱预处理方法和波段选取的方法在近红外光谱分析中占有非常重要的地。利用多种预处理方法,包括一阶导数、多元散射校正、多项式最小二乘拟合求导、标准归一化、平滑、移动窗口中值滤波,对样品光谱进行了预处理。利用标准偏差谱来选取最优波段,选取的最优波段范围为4 000~6 000 cm-1。然后用处理后的光谱数据进行主成分分析,分类准确率达到100%。研究结果表明近红外光谱技术结合化学计量学方法可以作为一种癌症快速诊断的新技术,对于癌症的早期诊断和癌症组织的恶化过程研究具有重要的意义。     

基于蚁群-遗传算法的光谱选择方法与应用

脂肪作为牛奶中的重要营养成分,是评价牛奶质量的一项重要指标。高光谱图像技术能够提供几十到数千波长的数据,能够反映牛奶中不同组成成分细微的光谱差异;另一方面,相邻波段之间往往具有很强的相关性,不仅增加了计算量,而且容易造成维数灾难等问题,因此对高光谱数据进行波段选择非常重要。工作中提出了PLS-ACO特征波段选择方法,并与遗传算法结合,组合成了PLS-ACO-GA的特征波段选择新方法。提出的两种方法以蚁群算法为基础,PLS回归模型回归系数的绝对值作为评价波长重要性的主要依据,以此作为蚁群算法的启发式信息,利用蚁群算法进行智能搜索,结合遗传算法,产生更多优秀的特征波段组合,避免PLS-ACO算法得到的只是局部最优解,得到的最优波段组合能够更好的反映牛奶中脂肪成分的信息;通过计算波长贡献率,筛选出最优波段组合,并与遗传算法,CARS算法和基本蚁群算法光谱特征选择方法比较,最后比较不同特征选择方法下的PLS回归模型预测效果。PLS-ACO, PLS-ACO-GA, CARS, GA和ACO分别筛选了牛奶样品光谱中的18,16,40,43和42个特征波段。其中PLS-ACO-GA筛选波段后的PLS预测模型效果最好,预测集R2_p和RMSEP分别为0.997 6和0.062 2,PLS-ACO次之,预测集R2_p和RMSEP分别为0.997 0和0.077 8。PLS-ACO和PLS-ACO-GA不仅减少了特征波段数量,而且提高了模型的精度。对PLS-ACO-GA进行特征波段选择后的数据,建立MLR,RFR和PLS回归预测模型。MLR预测模型的R2_p和RMSEP分别为0.997 6和0.062 3。RFR回归模型R2_p和RMSEP分别为0.999 9和0.003 0,PLS回归模型的R2_p和RMSEP分别为0.997 6和0.062 2。RFR模型在三种回归预测模型中表现最好。研究结果表明PLS-ACO和PLS-ACO-GA这两种方法可以实现光谱数据特征波段选择,高光谱技术可以实现牛奶中脂肪含量的检测,为牛奶脂肪含量检测提供了一种新的、快速无损的方法。     

浓度分布对光谱法检测成分含量精度的影响

为研究组分浓度分布范围对光谱法建模定量分析精度的影响,根据朗伯-比尔定律构造三种组分理想吸收谱并叠加高斯噪声,使用偏最小二乘回归对样本吸收谱及浓度进行建模和预测,观测不同浓度分布范围下分析精度的变化。研究表明,在纯线性吸收的情况下,组分浓度的分布范围对模型精度造成一定的影响。无论是被测组分还是非测量组分,校正集样本中覆盖足够大且较均匀的浓度分布范围是模型强普适性和良好预测精度的必要保证。研究为合理选择具有良好浓度分布校正集样本,从而提高模型质量、减小预测误差提供了理论指导。     

四种多变量校准方法在FTIR多组分分析中的性能比较

本文对四种多变量校准方法－－经典最小二乘法（CLS），偏最小二乘法（PLS），卡尔曼滤波法（KFM）以及人工神经网络法（ANN）－－在多组分浓度分析方面的性能进行了比较。选择五种红外谱图严重混叠的大气有机毒物－－1，3－丁二烯，苯，邻二甲苯，氯苯和丙烯醛－－作为分析对象。分别计算各种方法对该5组分体系的平均预测误差MPE和平均相对误差MRE进行比较。结果表明，偏最小二乘法在处理这类问题中是最稳健的方法。     

在滞尘影响下的植被叶片光谱变化特征研究

为建立以高光谱数据为基础的叶片滞尘质量反演模型,沿北京市区采集了30个大叶黄杨叶片样本。利用电子分析天平和光谱仪(analytical spectral devices ASD FieldSpec Pro)测定“除尘前”与“除尘后”叶片质量及光谱反射率曲线,以获取叶片尘埃量、光谱信息等数据。随后以传统意义和偏最小二乘(PLS)回归模型为基础,以探究空气尘埃量与光谱曲线之间可能存在的关系,阐述了叶片尺度上尘埃量对植物光谱特征的影响。结果为：除尘前后叶片光谱曲线在350～700, 780～1 300, 1 900～2 500 nm波段区间内有较大差异,同时尘埃量与叶片单波段光谱反射率比值呈负相关,相关度最大值点为737波段,属于近红外波段,相关系数可达-0.8左右。在尘埃量与叶片光谱多波段组合关系研究中得到,948和945波段构成的NDVI指数与尘埃量的相关度最大,相关系数可达0.76。在叶片滞尘量反演研究中,对比传统意义滞尘量回归模型,引进的偏最小二乘算法(PLS)可使叶片滞尘量反演精度略有提高,最后由回归模型精度评定可得偏最小二乘法反演效果较传统回归好。     

一种结合直接正交信号校正与蒙特卡罗的波长选择方法

在近红外光谱数据分析中,全光谱数据具有波长点多、冗余量大、共线性关系严重的特点,导致了部分波长点对建立校正模型没有积极作用,甚至还会降低模型的预测能力.波长选择被证明是有效避免上述问题的重要方法.针对近红外光谱的特性,提出了一种基于直接正交信号校正(DOSC)与蒙特卡罗方法(Monte Carlo,MC)结合的波长选择...     

空间目标光谱实测技术与表面材料分析研究

随着航天活动的日益增加,空间碎片的数量急剧增多,对未知空间碎片进行编目和识别显得尤为重要.由于火箭箭体、人造卫星及其裂解碎片等在空间中处于外表裸露状态,其表面材料的物理与化学特性会产生较大变化.目前,针对空间目标表面材料的研究主要集中在地面实验室,无法对其在深空中的状态变化进行准确判断.利用空间目标光电望远镜及光谱测试...