基于LASSO算法的光谱变量选择方法研究

光谱分析技术由于具有简单、快速、无损等优势,在复杂体系的定性和定量分析中得到了广泛应用。然而光谱中往往包含成百上千的波长点,有些波长点与研究的目标性质并不相关,加大了计算量并降低了模型的预测准确度。因此,在建立模型前需要进行变量选择。最小绝对收缩与选择算子（LASSO）可将回归系数收缩为0,进而达到变量选择的目的。该研究将LASSO用于三元调和油样品近红外光谱和生物样品拉曼光谱的变量选择,基于偏最小二乘（PLS）和多元线性回归（MLR）模型,分别对香油和肌氨酸的含量进行定量分析,并与无信息变量消除－PLS（UVE－PLS）、蒙特卡罗结合UVE－PLS（MCUVE－PLS）和随机检验－PLS（RT－PLS）3种变量选择方法进行比较。结果表明,基于LASSO的变量选择方法保留的变量数最少,运算速度最快。对三元调和油样品,LASSO－PLS预测的准确度最高;对生物样品,LASSO－MLR预测的准确度最高。因此,基于LASSO的变量选择算法有望在光谱分析领域中得到良好应用。     

近红外光谱技术结合教与学算法优化极限学习机实现烤烟等级判定

该研究基于近红外光谱（NIRs）技术,以2016～2018年来自13个省份的937个烟叶样本为研究对象,比较了竞争性自适应重加权采样方法（CARS）、蒙特卡洛无信息变量消除法（MC－UVE）以及随机青蛙算法（RF）3种变量筛选方法的极限学习机（ELM）模型效果,与常规判别方法偏最小二乘判别分析（PLS－DA）比较,验证了ELM模型的优势。并通过教与学优化（TLBO）算法对ELM模型进行优化,建立烤烟样本的等级判定模型。结果表明,验证集的分类正确率达到90.16%,测试集的外部验证表现良好,TLBO－ELM模型收敛速度快,泛化能力强,可应用于烤烟等级判定。近红外光谱技术结合教与学算法优化极限学习机为智能化实现烟叶等级判定提供了一种新方法。     

基于X射线荧光光谱与多特征串联策略的土壤重金属含量预测

针对土壤重金属快速检测需求,基于模型集群分析方法进行特征波长变量选择,提出了利用X射线荧光光谱技术检测农田土壤中重金属含量的方法。采集91个配制土壤样品的X射线荧光光谱值,用于构建土壤重金属检测模型。通过多特征串联方法提取特征波长变量,首先采用区间组合优化算法(ICO)粗选波长,然后采用竞争适应性重加权采样法(CARS)剔除区间波长中的无关变量,最后采用连续投影算法(SPA)进行波长精简。通过多特征串联ICO-CARS-SPA算法对X射线荧光光谱进行特征变量选择,得到5组(26、25、29、39、33)特征波长点,据此建立Cu、Zn、As、Pb、Cr 5种土壤重金属含量偏最小二乘(PLS)检测模型,并与其他传统特征波长选择方法进行了对比。结果表明,ICO-CARS-SPA算法所选变量结合偏最小二乘(PLS)的建模效果最优,Cu、Zn、As、Pb、Cr的验证集决定系数分别为0.993 3、0.992 6、0.995 6、0.993 2和0.988 6,均方根误差分别为6.938 5、23.698 4、3.632 6、8.510 6和14.764 5,验证集平均相对偏差分别为0.255 1、0.065 0、0.102 5、0.241 4、0.104 7。基于X射线荧光光谱结合多特征串联策略的ICO-CARS-SPA算法可剔除更多无效波长,提升有效信息贡献度,简化了检测模型复杂度,为土壤重金属含量预测模型选取合适的特征波段提取方法提供了理论支撑。     

激光诱导击穿光谱结合CARS变量选择方法定量检测倍硫磷含量

利用双脉冲激光诱导击穿光谱(LIBS)技术对溶液中的倍硫磷含量进行定量检测。采用二通道高精度光谱仪采集不同浓度倍硫磷样品在206.28~481.77 nm波段的LIBS光谱,并对光谱进行多元散射校正(MSC)、标准正态变量变换(SNV)及3点平滑预处理,根据偏最小二乘(PLS)建模确定最优的预处理方法。在此基础上,利用竞争性自适应重加权算法(CARS)筛选与倍硫磷相关的重要变量,然后应用PLS回归建立溶液中倍硫磷含量的定量分析模型,并与单变量定量分析模型及未变量选择的PLS定量分析模型进行比较。结果表明,相比单变量定量分析模型及原始光谱PLS定量分析模型,CARS-PLS定量分析模型的性能更优,其模型的校正集和预测集的决定系数及平均相对误差分别为0.969 4、15.537%和0.995 9、5.016%。此外,与原始光谱PLS模型相比,CARS-PLS模型仅使用其中1.9%的波长变量,但预测集平均误差却由9.829%下降为5.016%。由此可见,LIBS技术检测溶液中的倍硫磷含量具有一定的可行性,且CARS方法能简化定量分析模型,提高模型的预测精度。     

基于高光谱的黑色签字笔墨水种类鉴别方法研究

该文提出了高光谱成像技术结合机器学习快速无损鉴别黑色签字笔墨水种类的新方法。采集36支不同品牌型号的黑色签字笔笔迹的高光谱图像,对每支签字笔笔迹的高光谱图像选取18个感兴趣区域,共提取648个平均光谱作为样本集。对450～950 nm的原始光谱进行Savitzky－Golay平滑、Z－Score标准化和两种组合方法光谱预处理,使用线性判别分析（LDA）和随机子空间－线性判别分析（RSM－LDA）分别构建黑色签字笔墨水种类鉴别模型。实验结果表明：不同预处理方法对RSM－LDA模型的鉴别准确率影响较小,而对于LDA模型,组合预处理具有更优的鉴别准确率;相比LDA模型,RSM－LDA模型分类效果更佳,训练集的平均分类准确率达100%,交叉验证平均分类准确率达99.09%,测试集的平均分类准确率达90.70%,每类样本的准确率、精准率、召回率均高于LDA模型分类结果,模型的接受者操作特征曲线下方面积（AUC值）达0.998 3,模型性能良好。因此,采用高光谱成像技术结合RSM－LDA可实现不同品牌型号黑色签字笔墨水的快速无损鉴别。     

分类先验特征选择算法在代谢组学数据变量筛选中的应用

该文提出了基于无监督判别投影特征选择的支持向量机方法（UDPFS－SVM）用于标志物筛选。UDPFS－SVM首先通过无监督判别投影算法（UDPFS）引入分类先验信息、添加正则化与惩罚函数等约束自适应地获得具有稀疏性的判别投影矩阵,然后根据获得的矩阵求得相应低维代谢矩阵,最后建立支持向量机（SVM）分类模型寻找生物标志物。所提出的方法能够同时进行模糊学习与稀疏学习,并可合理利用变量之间的依赖关系。通过UDPFS－SVM与偏最小二乘判别分析（PLS－DA）方法对高脂血症大鼠血浆代谢组学数据进行变量筛选,并采用方差分析、ROC曲线、线性判别分析（LDA）对筛选得到的生物标志物进行评价。结果表明,两种方法均发现8个生物标志物。方差分析显示UDPFS－SVM方法获得的生物标志物均具有显著性差异,且显著性差异值均大于PLS－DA;ROC结果显示UDPFS－SVM结果为1.00,比PLS－DA结果高0.05;LDA显示UDPFS－SVM获得的生物标志物在高脂血症样本中可以更好地消除组内代谢差异,区分组间代谢差异,说明UDPFS－SVM方法在高脂血症生物标志物发现上优于PLS－DA,为生物标志物的发现提供了一种新思路。     

遗传算法用于偏最小二乘方法建模中的变量筛选

利用全局搜索方法－遗传算法（genetic algorithms,GA)对近红外光谱分析中的波长变量进行筛选,再用偏最小二乘方法（patrial least squares,PLS）建立分析校正模型。对两类样品的近红外光谱分析应用实例表明,这种选取变量进行校正的方法,不仅简化、优化了模型,而且增强了所建模型的预测能力,尤其适用于单纯PLS较以校正关联的体系。     

激光诱导击穿光谱结合CARS变量选择方法定量检测奶粉中的镁

为监测奶粉中的镁(Mg)元素含量,本研究利用激光诱导击穿光谱(LIBS)技术对奶粉中Mg元素进行定量检测。对于每个样品,采用压片机在20 MPa压力下进行压片处理,然后利用高精度光谱仪在200~750 nm波段范围内获取压片样品的LIBS光谱。根据LIBS光谱特征,将光谱划分为4个波段,并进行初步的波段优选和光谱预处理分析。在此基础上,采用竞争性自适应重加权算法(CARS)对波长变量进行优选,再应用偏最小二乘法(PLS)建立奶粉中Mg元素含量的预测模型,并对预测集样本进行预测。研究结果表明,LIBS技术结合CARS变量选择方法可以用于奶粉中Mg元素含量的定量检测,最优CARS-PLS预测模型的校正集和预测集的决定系数及平均相对误差分别为0.9999,0.20%和0.9742,3.29%,优于原始光谱所建立的PLS模型,且所用波长变量仅为PLS模型的7.7%。由此表明,CARS方法能有效选择有用的波长变量,可简化预测模型及提高预测模型的稳定性。本研究为奶粉中镁元素含量的快速定量分析提供参考。     

基于灰狼算法的近红外光谱变量选择方法研究

基于群体智能的灰狼优化(GWO)算法具有参数少、结构简单、易于实现的优点,但在光谱领域的应用较少。该研究将GWO算法引入近红外光谱的变量筛选中,以玉米数据为例,考察了GWO算法中狼群性能、迭代次数、狼群数量及运算效率,并建立了偏最小二乘(PLS)模型对玉米样品中蛋白质、脂肪、水分以及淀粉含量的测定。结果显示,GWO算法运算效率很高,经过参数调优后建立PLS模型,其蛋白质、脂肪、水分及淀粉的保留变量数分别为19、19、14、34,预测均方根误差(RMSEP)从全波长PLS建模的0.245 8、0.122 4、0.339 8、1.105 8分别下降到0.147 7、0.080 1、0.176 2、0.739 8,分别下降了40%、35%、48%、33%,相关系数也相应地提高。因此,GWO算法不仅优化速度快,选择变量数少,还可以显著提高PLS模型的预测精度,是一种近红外光谱变量选择的有效方法。     

离子液体吸附剂对木犀草素的富集及CARS变量筛选的近红外光谱分析方法

该文以咪唑型离子液体作为原料制备吸附剂富集稀溶液中的木犀草素,利用竞争性自适应权重(CARS)变量筛选的方法建立了一种快速测定木犀草素的近红外光谱分析方法。考察了吸附剂用量、pH值、振荡时间对吸附效果的影响,并探究了吸附剂的吸附能力;富集木犀草素的吸附剂经近红外漫反射光谱检测,采用CARS变量筛选的方法结合偏最小二乘回归(PLS)建立了木犀草素的定量校正模型。结果表明,吸附剂用量为0.15 g、pH值为7、振荡时间为20 min的最佳条件下,吸附率达90.9%,且该吸附符合Langmuir等温吸附模型,最大吸附量为7.1 mg/g。近红外光谱建模中,与未经CARS变量筛选处理作为对照,对比发现经CARS变量筛选的方法结果更优,并采用连续小波变换(CWT)的光谱预处理进行验证,结果表明经CWT处理后,预测残差(RPD)值增大,说明了模型的可靠性。该方法可有效富集稀溶液中的木犀草素,采用CARS变量筛选结合CWT光谱预处理的近红外光谱方法可实现对稀溶液中木犀草素的灵敏、快捷检测。     

近红外光谱技术结合竞争自适应重加权采样变量选择算法快速测定土壤水解性氮含量

为了能够快速准确地掌握整个昆明地区土壤水解性氮含量的情况,收集963个不同类型的土壤样品,采用竞争自适应重加权采样(Competitive adaptive reweighted sampling,CARS)变量选择方法筛选波长变量,并建立水解性氮的偏最小二乘法(Partial least squares,PLS)分析模型。结果表明,采用CARS方法优选波长变量后,模型参数有所改善,交互验证标准偏差(Root mean square error of cross validation,RMSECV)由31.63降至25.55,交互验证相关系数(Correlation coefficientof cross validation,R_(cv))由0.78提升至0.84,且模型外部验证结果与内部交叉验证结果基本一致。研究结果表明近红外光谱技术结合CARS分法,在大量代表性样品建模下,能够有效建立昆明地区不同土壤类型的水解性氮含量的近红外数学模型,方法可推广应用于土壤其他组分的近红外检测,具有重要的指导意义。     

Bagging偏最小二乘和Boosting偏最小二乘算法的金银花醇沉过程近红外光谱定量模型预测能力研究

建立金银花醇沉过程中稳健的近红外光谱( Near infrared spectroscopy,NIR)定量模型,为金银花醇沉过程的快速评价提供方法。研究基于金银花醇沉过程绿原酸的 NIR 数据,通过建立 Bagging 偏最小二乘(Bagging-PLS)模型、Boosting偏最小二乘(Boosting-PLS)模型与偏最小二乘(Partial Least Squares,PLS)模型,实现对模型性能比较;在此基础上,采用组合间隔偏最小二乘法( Synergy interval partial least squares,siPLS)和竞争自适应抽样( Competitive adaptive reweighted sampling,CARS )法分别对光谱进行变量筛选,建立模型,实现了对模型预测性能的考察。实验结果表明, Bagging-PLS和Boosting-PLS(潜变量因子数设为10)的预测性能均优于 PLS 模型。在此基础上,两批样品采用 siPLS 筛选变量,第一个批次金银花筛选波段820~1029.5 nm和1030~1239.5 nm,第二个批次金银花醇沉筛选波段为820~959.5 nm和960~1099.5 nm;采用CARS方法变量筛选,两批样品分别选择5折交叉验证和10折交叉验证,取交叉验证均方根误差( RMSECV)值最小的子集作为最终变量筛选的结果。经过变量筛选的两批金银花醇沉过程中的绿原酸含量Bagging-PLS和Boosting-PLS模型的预测均方根误差(RMSEP)值降低了0.02~0.04 g/L,预测相关系数提高了4%~5%。综上,Baggning-PLS和Boosting-PLS算法可作为金银花醇沉过程NIR定量模型的快速预测方法。     

近红外光谱结合化学计量学评价胚胎发育潜能

使用近红外光谱分析方法测量培养后的胚胎培养液,结合偏最小二乘判别分析对胚胎发育潜能进行评价,鉴别具有妊娠能力与不具妊娠能力的胚胎。为了提高模型的判别能力,消除无信息变量对模型稳定性影响,分别采用基于蒙特卡罗的无信息变量消除法(MC-UVE)、竞争性自适应加权抽样法(CARS)与基于变量稳定性的竞争性自适应加权抽样法(SCARS),对光谱进行波长选择。结果表明,与采用全谱74%的正判率相比较,采用这3种波长选择方法,模型独立检验集的正判率分别提高至74.24%,77.12%与80.10%,建模使用变量数降至50以内。比较发现,SCARS的模型优化能力和稳定性均好于MC-UVE和CARS方法。采用近红外光谱结合化学计量学方法预测胚胎的发育潜能是可行的。     

CARSiPLS用于烟煤中水分与挥发分的近红外光谱测定北大核心CSCD

将竞争自适应重加权采样(CARS)与区间偏最小二乘回归(iPLS)相结合的变量筛选建模方法 CARSiPLS,用于烟煤中水分与挥发分的近红外光谱测定。以CARS逐步筛选出每个区间与待测量相关的变量,建立烟煤中水分与挥发分近红外光谱测定的偏最小二乘回归模型。结果表明:与PLS、iPLS相比,CARSiPLS可以显著减少变量数,同时提高模型预测性能;挥发分建模变量从1557个减少至15个,水分建模变量从1557个减少至317个;挥发分、水分的预测平均绝对百分误差分别从0.031 5降至0.018 4、从0.188 4降至0.094 6;挥发分、水分的预测均方差分别从0.010 8降至0.006 7、从0.005 0降至0.002 8。     

CARSiPLS用于烟煤中水分与挥发分的近红外光谱测定

将竞争自适应重加权采样(CARS)与区间偏最小二乘回归(iPLS)相结合的变量筛选建模方法 CARSiPLS,用于烟煤中水分与挥发分的近红外光谱测定。以CARS逐步筛选出每个区间与待测量相关的变量,建立烟煤中水分与挥发分近红外光谱测定的偏最小二乘回归模型。结果表明:与PLS、iPLS相比,CARSiPLS可以显著减少变量数,同时提高模型预测性能;挥发分建模变量从1557个减少至15个,水分建模变量从1557个减少至317个;挥发分、水分的预测平均绝对百分误差分别从0.031 5降至0.018 4、从0.188 4降至0.094 6;挥发分、水分的预测均方差分别从0.010 8降至0.006 7、从0.005 0降至0.002 8。     

近红外光谱结合CARS变量筛选方法用于液态奶中蛋白质与脂肪含量的测定

采用CARS(Competitive adaptive reweighted sampling)变量筛选方法建模,显著提高了液态奶中蛋白质与脂肪近红外模型的预测精度。用蒙特卡罗采样(Monte-Carlo sampling)方法先剔除奇异样本,再对光谱进行中心化与Karl Norris滤波降噪处理,通过CARS方法筛选出与样本性质密切相关的变量,建立预测蛋白质与脂肪含量的偏最小二乘法(PLS)校正模型,并与未选变量的PLS模型进行比较。以定标集相关系数(r2)及交互验证均方残差(RMSECV)和预测误差均方根(RMSEP)作为判定依据,确定了蛋白质与脂肪的最佳建模条件。蛋白质与脂肪校正模型的相关系数分别为0.975 0、0.995 1,RMSECV分别为0.194 8、0.136 3,RMSEP分别为0.113 3、0.140 1,预测结果优于未选变量的PLS模型及其他选变量方法,有效简化了模型,适于液态奶中脂肪和蛋白质的快速、无损检测。     

基于显微拉曼检测蛋白核小球藻鉴别丁草胺及草甘膦

以蛋白核小球藻(Chlorella pyrenoidosa)作为鉴别载体,利用共聚焦显微拉曼光谱仪分别获取生长在除草剂草甘膦、丁草胺污染水体以及正常水体的蛋白核小球藻β-胡萝卜素的拉曼光谱信息,对2种除草剂进行了鉴别.利用预处理后的光谱信号,建立偏最小二乘回归(PLS)预测模型及线性判别分析(LDA)分类模型.当阈值为±0.3时,全波段建立的PLS模型对草甘膦和丁草胺的预测正确率高达83.33%,特征峰建立的LDA分类模型对2种除草剂的分类正确率均达到了100%.结果表明,利用蛋白核小球藻为载体对丁草胺和草甘膦2种除草剂进行鉴别是可行的,且LDA分类模型更适合除草剂的分类研究.     

ZIF-8吸附材料对雪菊中木犀草苷的富集及在微型近红外光谱分析中的应用EI北大核心CSCD

制备了SiO;@ZIF-8吸附剂并用于吸附雪菊中微量的木犀草苷,建立了基于特征变量筛选的微型近红外光谱分析方法。以木犀草苷为对象,研究了吸附剂的质量、pH、振荡时间对吸附效果的影响;在最佳条件下对富集了木犀草苷的吸附剂直接进行检测,探讨分别采用竞争自适应加权采样算法(CARS)、蒙特卡罗-无信息变量消除法(MC-UVE)和随机青蛙算法(RT)进行变量筛选,并用偏最小二乘法建立定量校正模型。研究发现,当吸附剂质量为0.20 g, pH 7时振荡20 min,木犀草苷吸附率可达到92%;经3种变量筛选后最优模型为CARS,CWT方法光谱预处理后,木犀草苷校正模型参考浓度和预测浓度两者之间的相关系数达到最佳的0.9700,预测回收率在85%~120%。SiO_(2)@ZIF-8吸附剂可以有效的富集雪菊中的木犀草苷,在CARS变量筛选下,通过微型近红外光谱可以实现雪菊中微量木犀草苷的测定。     

基于MC-UVE-VIP两步波长筛选实现近红外光谱模型的无标样传递

该文将蒙特卡洛-无变量信息消除(MC-UVE)算法和变量重要性投影(VIP)算法结合,挑选出重要、有信息的波长变量,建立了MC-UVE-VIP两步波长筛选方法。该法首先采用MC-UVE筛选出稳定性参数大于某一阈值(M_threshold)的有信息波长集合U_UVE,然后采用VIP算法从U_UVE中筛选出VIP参数大于U_UVE中所有波长VIP均值的波长,作为重要、有信息的波长集合U_UVE-VIP。基于U_UVE-VIP建立玉米中蛋白质含量的偏最小二乘回归(PLSR)近红外光谱预测模型,模型的潜变量个数根据累计贡献率大于99.9%确定。该模型变量少、稳健、可解释性强、运算速度快,其预测两台从机样品蛋白质的平均相对误差(MARE)分别为1.64%与1.88%,均小于MC-UVE模型的从机MARE(5.40%与5.19%)和VIP模型的从机MARE(6.23%与7.16%)。因此,基于MC-UVE-VIP两步波长筛选法所建立的玉米蛋白质含量近红外光谱模型可直接传递到从机,...     

基于高光谱技术的培养基上细菌菌落分类方法研究

利用高光谱技术对培养基上细菌(大肠杆菌、李斯特菌和金黄色葡萄球菌)菌落进行快速识别和分类。采集琼脂培养基上细菌菌落的高光谱反射图像(390~1040 nm),在对波段差图像进行大津阈值分割的基础上自动提取细菌菌落光谱,并建立细菌分类检测的全波长和简化偏最小二乘判别( PLS-DA)模型。全波长模型对预测集样本的分类准确率和置信预测分类准确率分别为100%和95.9%。此外,利用竞争性自适应重加权算法( CARS)、遗传算法( GA)和最小角回归算法( LARS-Lasso)进行波长优选并建立对应简化模型。其中,CARS简化模型在精度、稳定性及分类准确率方面均优于GA和LARS-Lasso简化模型,其对预测集样本的分类准确率和置信预测分类准确率分别达到了100%和98.0%。研究表明,高光谱是一种细菌菌落高精度、快速、无损识别检测的有效方法。简化模型中优选的波长可以为开发低成本检测仪器提供理论依据。