X射线荧光光谱结合CARS变量筛选选择方法用于土壤中铅砷含量的测定

X射线荧光光谱分析作为一种以化学计量学为基础的定量分析技术,所建立模型优劣对结果的预测准确性显得十分重要.竞争性自适应重加权算法(CARS)采用自适应重加权采样技术,利用交互验证选出互验证均方根误差(RMSECV)值最低原则,寻出最优变量组合.为了进一步提高PLS模型的解释和预测能力,将竞争性自适应重加权算法(CARS...     

近红外光谱的选择比率竞争群体分析的变量选择算法

光谱分析是化学计量学的一个重要应用方向,并已被广泛应用到各个领域,其中光谱变量选择又是光谱分析的重要环节。研究不同的变量选择方法客观地识别有用的信息变量和消除无关或干扰变量十分关键。提出了一种新的变量选择方法,命名选择比率的竞争性群体分析法(SRCMPA)。该算法采用选择比率,自适应加权采样和模型群体分析的思想,并结合了变量排列和指数递减函数方法。关键波长定义为多元线性回归模型中得分值较大的波长,将线性模型PLS下的选择比率的得分值作为评价各波长重要性的指标,然后,根据每个波长的重要性, SRCMPA依次从蒙特卡罗采样中选择N个波长子集,以迭代和竞争的方式运行。在每一次采样运行中,以固定比率的样品以建立校准的PLS模型并计算每个变量的选择比率值,基于排序选择比率的得分值和作为权重的归一化的SR(选择比率)得分值,采用指数递减函数的强制选择和自适应加权采样竞争选择的两步过程来选择关键变量。最后,应用交叉验证(CV)方法来选择具有最低交叉验证均方根(RMSECV)的子集作为最优子集。该算法已在小麦蛋白数据集和啤酒数据集上进行了测试,并使用三种高效算法作对比。通过对实验结果来评估算法优越性,该算法能够找到数据集的关键波长变量的最佳组合,并能用于解释感兴趣的化学特性,通过建模后的评价结果也是最佳的。该算法在啤酒光谱数据集的运行结果,相较于啤酒数据集的全光谱PLS模型,变量个数由567个减少到42个左右。并且模型的RMSECV由0.622下降到0.115, RMSEP由0.823减少到了0.263左右,预测精度分别提高了81.5%和68.1%。Q2_CV和Q2_test也分别由0.940, 0.852提高到了0.994和0.995。在小麦蛋白数据集的运行结果,相较于于小麦蛋白光谱数据集的全光谱PLS模型,变量个数由175个减少到18个左右。并且模型的RMSECV由0.607下降到0.292, RMSEP由0.519减少到了0.234左右,预测精度分别提高了51.9%和54.9%。Q2_CV和Q2_test也分别由0.748, 0.774提高到了0.931和0.839。     

一种基于变量稳定性和可信度的紫外-可见特征波长选择方法

针对多组分金属离子混合溶液的紫外-可见吸收光谱(UV-Vis)重叠严重、难以分离的问题，提出了一种基于稳定性和可信度偏最小二乘法(SCPLS)的特征波长选择方法。在SCPLS中，引入指数衰减函数(EDF)以迭代的方式对波长变量进行选择。在每次迭代中对蒙特卡罗采样所得到的数据集建模，计算各波长变量的稳定性和可信度指标，并通过EDF选择具有较高稳定性和可信度的变量，选择的变量作为新的变量集进入下一次变量选择迭代。迭代全部完成后，计算每一次迭代所选的变量集建模的交叉验证均方根误差（RMSECV），选择RMSECV最小的变量集作为波长变量选择的结果。利用Zn(Ⅱ)， Cu(Ⅱ) 和Co(Ⅱ)混合溶液的紫外-可见光谱数据集和Zn(Ⅱ)和Co(Ⅱ)混合溶液的紫外-可见光谱数据集对所提方法性能进行了验证，并与全波段偏最小二乘、移动窗口偏最小二乘法(MWPLS)、蒙特卡罗无信息变量消除方法 (MC-UVE)、竞争性自适应加权算法 (CARS)和稳定性竞争自适应加权算法(SCARS)进行了比较分析。结果表明：该方法不仅能降低波长选择的复杂度，还能在保证波长选择过程稳定的情况下，选出对模型重要的波长变量，较之其他方法所提出的方法选取的变量建立的模型RMSECV最小，对于Zn(Ⅱ)，Cu(Ⅱ) 和Co(Ⅱ)数据集，使用SCPLS方法得到的Zn(Ⅱ)，Cu(Ⅱ)和Co(Ⅱ)的RMSECV值分别比全光谱PLS下降60.5%，40.2%和31.8%，与SCARS相比分别下降29.8%，26.1%和0.8%，Zn(Ⅱ)，Cu(Ⅱ)和Co(Ⅱ)平均相对误差分别为2.14%，1.25%和0.74%，其中Zn(Ⅱ)的最大相对误差为4.67%，Cu(Ⅱ)的最大相对误差为3.99%，Co(Ⅱ)的最大相对误差为3.12%；对于Zn(Ⅱ)和Co(Ⅱ)数据集，使用SCPLS方法得到的Zn(Ⅱ)和Co(Ⅱ)的RMSECV值分别比全光谱PLS下降39.4%和24.9%，与SCARS相比分别下降35.3%和13.3%，Zn(Ⅱ)和Co(Ⅱ)平均相对误差分别为1.23%，1.10%，其中Zn(Ⅱ)的最大相对误差为4.45%，Co(Ⅱ)的最大相对误差为4.57%，有效提高光谱建模精度。     

特征变量优选在苹果可溶性固形物近红外便携式检测中的应用

为实现苹果可溶性固形物(SSC)的便携式快速检测,利用环形光纤探头和微型光谱仪搭建便携式苹果可溶性固形物光谱采集系统,结合无信息变量消除(UVE)、遗传算法(GA)、竞争性自适应加权(CARS)算法筛选基于偏最小二乘(PLS)的苹果可溶性固形物的近红外光谱特征波长。另外,采用反向区间最小二乘支持向量机(BiLS-SVM)和GA算法优选基于LS-SVM的特征波长变量,分别建立所选特征波长和全波段的PLS模型和LS-SVM模型。试验结果表明,经过GA-CARS算法从全波段1 512个波长中筛选出的50个特征波长建立的PLS模型效果最好,其预测相关系数和预测均方根误差分别为0.962和0.403°Brix。利用该检测装置结合GA-CARS筛选的特征波长,可有效简化苹果可溶性固形物近红外便携式检测模型并提高模型的预测精度,为进一步构建便携式苹果可溶性固形物检测设备奠定了基础。     

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、 维数高且原始光谱噪声明显、 散射严重等特征导致光谱建模时关键波长变量提取困难。 基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。 鸭梨作为研究对象。 采用决定系数r2、 预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。 基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2_pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。 进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。 结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。 从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。     

基于稳定竞争自适应重加权采样的光谱分析无标模型传递方法

提出了一种基于稳定竞争自适应重加权采样(stability competitive adaptive reweighted sampling,SCARS)的无标模型传递方法。利用有用信息标准即稳定度指数(定义为回归系数除以其标准偏差的绝对值)和传递后的预测均方根误差(root mean squared error of prediction,RMSEP),选择重要的、受测样参数影响不敏感的波长变量,能够消除或减少不同仪器或测量条件对样本信息反应差异,提高模型传递效果。此外,在该方法中,光谱变量被压缩、降维,从而使模型传递更稳定。采用该方法对谷物的近红外光谱分析模型在不同仪器之间进行传递研究。结果表明,该方法能消除仪器间的大部分差异,较好地实现模型传递效果。与正交信号校正法(orthogonal signal correction,OSC)、蒙特卡罗结合无用信息变量消除法(Monte Carlo uninformative variable elimination,MCUVE)、竞争自适应重加权采样法(competitive adaptive reweighted sampling,CARS)的比较表明,SCARS不仅在传递精度上能取得比OSC、MCUVE及CARS更好的效果,而且能有效地对光谱数据进行压缩,简化并优化传递过程。     

基于卡尔曼滤波的近红外光谱特征波长变量优选方法

将经典的卡尔曼滤波器与近红外光谱分析技术相结合,提出了一种新的特征波长变量选择方法——卡尔曼滤波法。分析了卡尔曼滤波器用于波长优选的原理,设计了波长选择算法并将其应用到大豆油脂酸价的近红外光谱检测中。首先利用偏最小二乘法(PLS)对油脂不同吸收波段建模,初步筛选出4 472～5 000 cm-1油脂酸价特征波段共132个波长点,然后进一步利用卡尔曼滤波器进行特征波长选择,从中优选出22个特征波长变量建立PLS校正模型,预测集决定系数R2、预测误差均方根RMSEP分别为0.970 8和0.125 4,与利用132个波长点建立的校正模型预测结果相当,而波长变量数减少到原来的16.67%。该波长变量选择算法是一种确定性的迭代过程,无复杂的参数设置和变量选择的随机性,物理意义明确。优选出少数对模型影响较大的特征波长变量以代替全谱建模,在简化模型的同时提高了模型的稳健性,为开发专用油脂近红外光谱分析仪器提供了重要参考依据。     

应用最小角回归索套算法优选苹果糖度预测模型的建模样本和波长

糖度是评价苹果内部品质的重要指标之一。建立苹果糖度预测模型时,建模样本和波长的质量影响模型的准确性和后期的更新维护。以90个苹果样本为研究对象,采集350～1 150nm波段共1 044个波长的苹果近红外漫透射光谱,研究基于最小角回归索套算法(LASSOLars)优选建模样本和波长的有效性和可行性。结合使用Norris平滑、一阶微分和归一化变量排序对光谱预处理。根据浓度排序划分样本集的75%为原始训练集(68个)和25%为预测集(22个),使用LASSOLars建立优选训练集,对比LASSOLars和蒙特卡罗无信息变量消除、竞争性自适应重加权法,从样本、波长的数目和分布以及模型的结果进行对比分析。结果表明,优选训练集压缩了原始训练集16%的样本,在不改变原始训练集平均水平的前提下,更接近预测集分布,没有削弱模型质量。优选和原始的训练集交叉验证均方根误差RMSECV分别为0.460和0.491,交叉验证决定系数R²_CV分别为0.913和0.916,预测集均方根误差RMSEP分别为0.462和0.471,预测集决定系数R_P<...     

近红外光谱技术结合化学计量学快速测定杜仲中松脂素二葡萄糖苷和京尼平苷酸的含量

应用近红外光谱技术并结合化学计量学建立杜仲中松脂素二葡萄糖苷(PDG)和京尼平苷酸(GPA)含量测定模型。以积分球漫反射方式采集近红外光谱数据,应用一阶微分、多元散射校正(MSC)等优选光谱数据预处理方法和竞争自适应加权采样(CARS)筛选最优波长变量,采用偏最小二乘法(PLS)和交叉验证法建立PDG和GPA的定标模型。PDG和GPA的定标模型显示出良好的预测效果,其校正集的相关系数分别为0.961 5和0.958 3,交互验证均方差分别为0.001 5和0.006 4。表明此快速预测模型准确可靠,适合快速测定杜仲中的PDG和GPA,为杜仲质量控制在线化提供了新思路。     

变量影响值与集群分析相结合的中红外波长选择方法

烷烃类气体的傅里叶变换红外光谱在中红外区域吸收峰重叠严重,为此,提出了一种基于变量影响值与集群分析相结合（IVPA）的波长选择方法对甲烷、乙烷、丙烷、异丁烷、正丁烷五种烷烃类气体红外光谱进行变量选择。该方法以迭代的方式逐步实现对变量的筛选,在每次迭代过程中,将变量划分为样本空间与变量空间。在样本空间中计算变量的影响值,根据变量影响值采用加权自举采样技术将变量划分为精英变量与普通变量;同时在变量空间中,统计每个变量在最优模型中出现的频率;最后利用指数衰减函数剔除普通变量中频率较低的变量,记录每次迭代过程中获取的均方根误差（RMSE）值。选择最小RMSE所对应的子集作为最终选择的变量。利用实测烷烃类光谱数据集来检验该方法的性能,并将该方法与近年来提出的稳定性竞争自适应重加权采样法（SCARS）、变量子集迭代优化（IVSO）变量选择方法所测结果进行了对比。以异丁烷分析结果为例,SCARS,IVSO与IVPA对其它四种气体的最小交叉灵敏度分别为0.67%,0.56%和0.11%;最大交叉灵敏度分别为1.69%,1.49%和1.02%;对异丁烷预测的相对误差分别为1.94%,1.65%和0.51%;上述3种方法选择的特征变量个数分别为52,17和13。结果表明,提出的IVPA方法选择的变量最少,仅为原始光谱数据的0.36%,对其他四种气体的交叉灵敏度最低,对异丁烷的预测最准确。该方法可以应用在吸收重叠的光谱中,能够提高分析模型的预测精度与运行效率。     

可见/近红外漫透射光谱结合CARS变量优选预测脐橙可溶性固形物

可溶性固形物(SSC)是脐橙重要内部品质之一。采用QualitySpec型光谱仪在350～1000 nm波段范围采集脐橙的可见/近红外漫透射光谱,采用CARS(competitive adaptive reweighted sampling)变量选择方法筛选出与脐橙SSC相关的重要变量,并与无信息变量消除(UVE)及连续投影算法(SPA)比较。最后,对选择的38个重要波长变量应用偏最小二乘(PLS)回归建立脐橙SSC预测模型,并对未参与建模的75个样品进行预测。研究结果表明,CARS方法优于UVE及SPA变量选择方法,能有效地筛选出重要波长变量。CARS-PLS建立的SSC预测模型优于全光谱的PLS模型,其校正集及预测集的相关系数分别为0.948和0.917,均方根误差分别为0.347%和0.394%。因此,可见/近红外漫透射光谱结合CARS方法可以预测脐橙可溶性固形物,CARS变量选择方法能有效简化预测模型和提高模型的预测精度。     

窗口竞争性自适应重加权采样策略的近红外特征变量选择方法

通过消除光谱中的冗余信息变量,挑选出代表样品性质的特征变量代替全谱建立定量模型,可以提高近红外分析结果的准确性。基于进化论中适者生存原理的竞争性自适应重加权采样（CARS）算法因具有计算速度快、筛选得到的特征波长少等优点,在近红外特征变量筛选方面得到了广泛的应用。然而该方法在计算过程中容易出现校正集和验证集结果不一致情况。这是因为算法过于强调校正集交叉验证结果,且并未考虑相邻变量之间的协同作用。为了建立更加稳健的变量筛选方法,通过结合“窗口”以及CARS算法的优势,提出了一种基于窗口竞争性自适应重加权采样（WCARS）策略的近红外特征变量筛选方法,并将其应用于复杂植物样品近红外光谱与其化学成分含量之间的建模分析。采用WCARS方法可以实现准确定量分析,且通过与竞争性自适应重加权采样（CARS）方法结果相比较,WCARS方法得到的校正集和预测集结果一致,在一定程度上减少了过拟合问题的出现。该策略能有效增强特征变量选择的稳健性,提高了定量模型的可信度,具有一定的应用价值。     

西瓜检测部位差异对近红外光谱可溶性固形物预测模型的影响

西瓜可溶性固形物含量的无损检测对提升其内部品质十分重要。为实现近红外光谱对小型西瓜表面各部位可溶性固形物含量的准确预测,减小检测部位差异对预测模型的影响,以“京秀”西瓜为研究对象,分别采集赤道、瓜脐和瓜梗三部位的漫透射光谱信息,利用偏最小二乘算法(PLS)建立并比较单一检测部位和混合所有检测部位的西瓜可溶性固形物近红外光谱预测模型,并分别采用连续投影算法(SPA)和竞争性自适应重加权算法(CARS)对西瓜可溶性固形物近红外光谱变量进行特征波长筛选。结果显示,相比于单一检测部位的模型,混合所有检测部位的校正集样本建立的模型取得了较优的预测结果。同时,利用CARS算法筛选的42个特征波长变量建模,对三种检测部位预测集样本的预测结果分别为赤道R_P=0.892和RMSEP= 0.684 °Brix,瓜脐R_P=0.905和RMSEP= 0.629 °Brix,瓜梗R_P=0.899和RMSEP= 0.721 °Brix。模型得到了很大的简化,且预测精度较高。比较发现,利用SPA算法筛选的19个特征波长变量所建模型的预测精度较低。利用三种检测部位的西瓜样本建立的PLS混合预测模型,结合CARS算法进行有效特征波长变量筛选,可提高西瓜可溶性固形物预测模型的精度,实现西瓜表面各部位可溶性固形物含量的准确预测,减小检测部位差异对近红外光谱预测模型的影响。结果为今后开发便携式设备检测西瓜表面各部位可溶性固形含量提供参考依据。     

一种结合直接正交信号校正与蒙特卡罗的波长选择方法

在近红外光谱数据分析中,全光谱数据具有波长点多、冗余量大、共线性关系严重的特点,导致了部分波长点对建立校正模型没有积极作用,甚至还会降低模型的预测能力.波长选择被证明是有效避免上述问题的重要方法.针对近红外光谱的特性,提出了一种基于直接正交信号校正(DOSC)与蒙特卡罗方法(Monte Carlo,MC)结合的波长选择...     

siPLS-LASSO的近红外特征波长选择及其应用

近红外技术广泛应用于食品、药品等生产过程和产品质量检测,具有样品无需预处理、成本低、无破坏性、测定速度快等优点。但是,全光谱数据维数高、冗余信息多,直接应用于建模会导致模型复杂性高、稳定性差等问题。siPLS是最常见的光谱数据降维方法,但是难以处理光谱数据的共线性问题。LASSO是一种相对新的数据降维方法,但在小样本应用中具有不稳定性。针对siPLS和LASSO在近红外光谱数据应用中存在的问题,提出了基于siPLS-LASSO的近红外特征波长选择方法,并将其应用于秸秆饲料蛋白固态发酵过程pH值监测。该方法首先采用siPLS算法,实现对光谱波长最佳联合子区间的优选;然后,对优选联合子区间使用LASSO算法进行特征波长选择,在此基础上建立PLS校正模型。同时,将siPLS-LASSO方法与其他传统特征波长选择方法进行了对比。结果表明：建立在siPLS-LASSO方法优选33个特征波长基础上的PLS模型预测结果更好,其预测方差(RMSEP)和相关系数(R_p)分别为0.071 1和0.980 8;所提siPLS-LASSO方法有效选取了特征波长,提高了模型预测性能。