基于变量频次加权自助采样法的近红外光谱变量选择方法研究

近红外光谱分析技术已被广泛应用于食品检测及定量分析等领域。变量选择作为近红外光谱建模分析中的关键步骤,对于提高模型的稳定性和预测性能具有重要作用。本研究提出了一种近红外光谱变量选择方法,即变量频次加权自助采样法(Variable frequency weighted bootstrap sampling, FWBS),通过二进制矩阵采样(BMS)法随机组合生成不同变量子集,利用偏最小二乘法(PLS)建立不同变量子集的子模型,统计每个变量在子模型中出现的频率,并进行归一化处理,得到变量的初始权重,最后结合加权自助采样法(WBS)选取最佳特征变量。以玉米和牛奶近红外光谱公共数据为例,构建了玉米中淀粉含量预测模型和牛奶中蛋白质含量预测模型。结果表明,FWBS-PLS预测模型与无信息变量消除结合PLS (UVE-PLS)、竞争性自适应重加权采样结合PLS(CARS-PLS)和自助软收缩结合PLS(BOSS-PLS)预测模型相比,在玉米数据集上的预测均方根误差(RMSEP)分别由0.2523、 0.1162和0.0831下降到0.0740,预测精度分别提升了70.7%、 36.3%和11.0%,...     

红外光谱定量分析中的一种变量聚类偏最小二乘算法

偏最小二乘算法( Partial least squares, PLS)可以很好地解决分析数据中的变量共线性问题,在光谱分析,尤其是近/中红外及拉曼光谱的定量分析中应用广泛。针对PLS存在的有效信息提取和噪声抑制问题,提出一种变量聚类重加权的PLS算法。通过对光谱的各波数变量进行聚类并分别建模,然后集成为全谱模型。通过对计算并赋予各子类不同的权重,根据对模型的贡献对变量进行重加权,从而提高算法的预测精度。汽油中的辛烷值预测和烟草中的烟碱含量预测两组近红外数据验证表明,所提出算法优于经典的PLS算法,其RMSEP在两组数据中分别降低32%和22%,在光谱数据的定量分析中具有潜在的应用优势。     

基于灰狼算法的近红外光谱变量选择方法研究

基于群体智能的灰狼优化(GWO)算法具有参数少、结构简单、易于实现的优点,但在光谱领域的应用较少。该研究将GWO算法引入近红外光谱的变量筛选中,以玉米数据为例,考察了GWO算法中狼群性能、迭代次数、狼群数量及运算效率,并建立了偏最小二乘(PLS)模型对玉米样品中蛋白质、脂肪、水分以及淀粉含量的测定。结果显示,GWO算法运算效率很高,经过参数调优后建立PLS模型,其蛋白质、脂肪、水分及淀粉的保留变量数分别为19、19、14、34,预测均方根误差(RMSEP)从全波长PLS建模的0.245 8、0.122 4、0.339 8、1.105 8分别下降到0.147 7、0.080 1、0.176 2、0.739 8,分别下降了40%、35%、48%、33%,相关系数也相应地提高。因此,GWO算法不仅优化速度快,选择变量数少,还可以显著提高PLS模型的预测精度,是一种近红外光谱变量选择的有效方法。     

近红外光谱结合CARS变量筛选方法用于液态奶中蛋白质与脂肪含量的测定

采用CARS(Competitive adaptive reweighted sampling)变量筛选方法建模,显著提高了液态奶中蛋白质与脂肪近红外模型的预测精度。用蒙特卡罗采样(Monte-Carlo sampling)方法先剔除奇异样本,再对光谱进行中心化与Karl Norris滤波降噪处理,通过CARS方法筛选出与样本性质密切相关的变量,建立预测蛋白质与脂肪含量的偏最小二乘法(PLS)校正模型,并与未选变量的PLS模型进行比较。以定标集相关系数(r2)及交互验证均方残差(RMSECV)和预测误差均方根(RMSEP)作为判定依据,确定了蛋白质与脂肪的最佳建模条件。蛋白质与脂肪校正模型的相关系数分别为0.975 0、0.995 1,RMSECV分别为0.194 8、0.136 3,RMSEP分别为0.113 3、0.140 1,预测结果优于未选变量的PLS模型及其他选变量方法,有效简化了模型,适于液态奶中脂肪和蛋白质的快速、无损检测。     

基于近红外光谱的食用植物油中反式脂肪酸含量快速定量检测及模型优化研究

利用近红外光谱技术对食用植物油中反式脂肪酸(Trans fatty acids,TFA)含量进行快速定量检测,并通过波段选择、预处理方法、变量筛选及建模方法对TFA含量预测模型进行优化.采用AntarisⅡ傅里叶变换近红外光谱仪在4000~10000 cm-1光谱范围采集98个食用植物油样本的近红外透射光谱,然后采用气相色谱法测定TFA的真实含量.首先,对样本原始光谱进行波段、预处理方法优选;在此基础上,采用竞争自适应重加权法(Competitive adaptive reweighted sampling,CARS)筛选TFA相关的重要变量,最后应用主成分回归、偏最小二乘和最小二乘支持向量机方法分别建立食用植物油中TFA含量的预测模型.研究结果表明,近红外光谱技术检测食用植物油中的TFA含量是可行的,优化后的最佳预测模型的校正集和预测集R2分别为0.992和0.989,RMSEC和RMSEP分别为0.071%和0.075%.最佳预测模型所用的变量仅26个,占全波段变量的0.854%.此外,与全波段偏最小二乘预测模型相比,其预测集R2由0.904上升为0.989,RMSEP由0.230%下降为0.075%.由此表明,模型优化非常必要,CARS能有效筛选TFA相关的重要变量,极大减少建模变量数,从而简化预测模型,并较大提高预测模型的精度和稳定性.     

激光诱导击穿光谱结合CARS变量选择方法定量检测倍硫磷含量

利用双脉冲激光诱导击穿光谱(LIBS)技术对溶液中的倍硫磷含量进行定量检测。采用二通道高精度光谱仪采集不同浓度倍硫磷样品在206.28~481.77 nm波段的LIBS光谱,并对光谱进行多元散射校正(MSC)、标准正态变量变换(SNV)及3点平滑预处理,根据偏最小二乘(PLS)建模确定最优的预处理方法。在此基础上,利用竞争性自适应重加权算法(CARS)筛选与倍硫磷相关的重要变量,然后应用PLS回归建立溶液中倍硫磷含量的定量分析模型,并与单变量定量分析模型及未变量选择的PLS定量分析模型进行比较。结果表明,相比单变量定量分析模型及原始光谱PLS定量分析模型,CARS-PLS定量分析模型的性能更优,其模型的校正集和预测集的决定系数及平均相对误差分别为0.969 4、15.537%和0.995 9、5.016%。此外,与原始光谱PLS模型相比,CARS-PLS模型仅使用其中1.9%的波长变量,但预测集平均误差却由9.829%下降为5.016%。由此可见,LIBS技术检测溶液中的倍硫磷含量具有一定的可行性,且CARS方法能简化定量分析模型,提高模型的预测精度。     

激光诱导击穿光谱结合CARS变量选择方法定量检测奶粉中的镁

为监测奶粉中的镁(Mg)元素含量,本研究利用激光诱导击穿光谱(LIBS)技术对奶粉中Mg元素进行定量检测。对于每个样品,采用压片机在20 MPa压力下进行压片处理,然后利用高精度光谱仪在200~750 nm波段范围内获取压片样品的LIBS光谱。根据LIBS光谱特征,将光谱划分为4个波段,并进行初步的波段优选和光谱预处理分析。在此基础上,采用竞争性自适应重加权算法(CARS)对波长变量进行优选,再应用偏最小二乘法(PLS)建立奶粉中Mg元素含量的预测模型,并对预测集样本进行预测。研究结果表明,LIBS技术结合CARS变量选择方法可以用于奶粉中Mg元素含量的定量检测,最优CARS-PLS预测模型的校正集和预测集的决定系数及平均相对误差分别为0.9999,0.20%和0.9742,3.29%,优于原始光谱所建立的PLS模型,且所用波长变量仅为PLS模型的7.7%。由此表明,CARS方法能有效选择有用的波长变量,可简化预测模型及提高预测模型的稳定性。本研究为奶粉中镁元素含量的快速定量分析提供参考。     

应用光谱技术无损检测油菜叶片中乙酰乳酸合成酶

应用可见/近红外光谱技术实现了油菜叶片中乙酰乳酸合成酶(ALS)的快速无损检测.对99个油菜样本进行光谱扫描,经过平滑、变量标准化、一阶求导等预处理后,应用偏最小二乘法(PLS)建立了ALS的预测模型.同时提取有效特征变量,作为反向传输人工神经网络(BPNN)和最小二乘-支持向量机(LS-SVM)的输入值,并建立相应的模型.用66个样本建模,33个样本验证.结果表明,LS-SVM模型能够获得最优的预测结果,预测集样本的相关系数(r)、预测标准差(RMSEP)和偏差(Bias)分别为0.998、 0.715和0.079,获得了满意的预测精度.结果表明,应用可见/近红外光谱技术结合LS-SVM检测油菜中乙酰乳酸合成酶是可行的,并能获得满意的预测精度,为进一步应用光谱技术进行油菜生长状况的大田监测奠定了基础.     

基于OSC–WT–PLS近红外光谱法测定烟草中芸香苷

采用正交信号校正(OSC)结合小波变换(WT)对烟草光谱进行光谱预处理,将预处理后的烟草光谱结合偏最小二乘法(PLS)建立了烟草光谱对芸香苷的预测模型。利用OSC滤除光谱中与芸香苷含量无关的光谱信息,确定OSC提取的最佳主成分数为7,再选择WT中的最佳小波基函数bior1.1对OSC预处理后的光谱进行压缩及进一步滤噪,然后进行PLS建模,OSC–WT–PLS所建模型决定系数r~2=0.874,校正标准偏差RMSEC=0.85,预测均方根误差RMSEP=0.743,交互验证系数Q_(ext)~2=0.887。结果表明,用OSC–WT–PLS可滤除光谱信息中与待测样品含量无关的信息、减少光谱数据量,降低建立模型的复杂度、提高建模速度及模型的预测能力、准确度。     

近红外光谱结合特征变量筛选方法用于农药乳油中毒死蜱含量的测定

为提高毒死蜱农药乳油中有效成分近红外光谱定量分析模型的精度和稳定性。采用联合区间偏最小二乘法(siPLS)结合遗传算法(GA)筛选特征变量,由交互验证法确定最佳主成分因子数及筛选的变量数。结果表明,从全光谱区优选出81个变量,主成分因子数为11时,能建立性能最优的模型,模型预测集的决定系数R_p~2为0.972,预测均方根误差(RMSEP)为0.353%。研究表明,利用siPLS结合GA方法优选特征变量,能大幅度地消除农药乳油光谱变量间的冗余信息和无关信息,降低模型的复杂度,提高农药有效成分预测模型的精度及稳定性。     

二维相关光谱在大米中甲基毒死蜱特征变量优选的应用

为提高大米中农药残留的表面增强拉曼光谱(SERS)快速检测精度,提出采用二维相关光谱(2DCOS)对大米拉曼光谱进行农药特征变量优选。首先,采用标准正态变量变换(SNV)对原始光谱预处理,再以甲基毒死蜱浓度为外扰,进行二维相关同步光谱和自相关谱解析,筛选出与甲基毒死蜱浓度变化最相关的特征谱峰,建立了大米中甲基毒死蜱残留浓度的支持向量机(SVM)分析模型,并与偏最小二乘(PLS)模型进行性能比较。结果表明,2DCOS方法能很好地筛选出与甲基毒死蜱浓度相关的特征谱峰;利用2DCOS优选出的4个甲基毒死蜱特征谱峰所建立的SVM模型性能优于PLS的实验结果,模型对预测集样本相关系数(R_P)为0.96,均方根误差(RMSEP)为5.21,相对分析误差(RPD)为3.66,可用于大米中甲基毒死蜱农药残留的实际估测。研究表明,采用2DCOS优选大米中甲基毒死蜱浓度相关的特征变量是可行的,且能简化模型,提高模型预测精度,从而为拉曼光谱用于食品农产品质量安全的快速检测提供了一种新思路。     

基于改进免疫遗传算法的近红外光谱变量选择方法

该文在免疫遗传算法（IGA）的基础上,提出一种改进免疫遗传算法（iIGA）用于近红外光谱波长变量的选择。该算法舍去了原算法中固定抗体相似度阈值的思想,取而代之的是抗体相似度阈值自适应,同时引入精英保留策略和贪心算法思想,使得算法朝着正确的方向进行局部性探优。将该算法在玉米的淀粉和蛋白质含量数据集上进行实验测试,建立偏最小二乘（PLS）分析模型,并与IGA、遗传算法（GA）以及全谱方法进行了对比。结果表明,在玉米淀粉含量的预测上,iIGA相较于原IGA算法,预测集均方根误差（RMSEP）从0.312 0降至0.298 0,预测集预测精度提升4.5%;在玉米蛋白质含量的预测上,RMSEP从0.124 4降至0.110 3,预测集预测精度提升11.3%。分别对预测淀粉和蛋白质模型的RMSEP值进行显著性检验,F值分别为165.22和182.05,P值分别为9.5 × 10－23和4.5 × 10－24,P值均小于0.05,因此,iIGA能显著提升模型预测精度。     

基于LASSO算法的光谱变量选择方法研究

光谱分析技术由于具有简单、快速、无损等优势,在复杂体系的定性和定量分析中得到了广泛应用。然而光谱中往往包含成百上千的波长点,有些波长点与研究的目标性质并不相关,加大了计算量并降低了模型的预测准确度。因此,在建立模型前需要进行变量选择。最小绝对收缩与选择算子（LASSO）可将回归系数收缩为0,进而达到变量选择的目的。该研究将LASSO用于三元调和油样品近红外光谱和生物样品拉曼光谱的变量选择,基于偏最小二乘（PLS）和多元线性回归（MLR）模型,分别对香油和肌氨酸的含量进行定量分析,并与无信息变量消除－PLS（UVE－PLS）、蒙特卡罗结合UVE－PLS（MCUVE－PLS）和随机检验－PLS（RT－PLS）3种变量选择方法进行比较。结果表明,基于LASSO的变量选择方法保留的变量数最少,运算速度最快。对三元调和油样品,LASSO－PLS预测的准确度最高;对生物样品,LASSO－MLR预测的准确度最高。因此,基于LASSO的变量选择算法有望在光谱分析领域中得到良好应用。     

最小角回归算法(LAR)结合采样误差分布分析(SEPA)建立稳健的近红外光谱分析模型

结合采样误差分布分析(SEPA)框架和最小角回归(LAR)算法,提出了一种SEPA-LAR变量逐步筛选方法用于波长选择,并建立了稳健的近红外光谱分析模型。利用蒙特卡洛采样(MCS)获得多个数据集划分建立多个模型,对光谱各变量(波长)在所有模型的LAR系数进行统计分析,按其回归系数绝对值总和由大到小排序,选择排序靠前的波长建立偏最小二乘(PLS)模型,以未参与SEPA-LAR和建模的独立验证集对该模型进行评价。将玉米湿度、柴油密度以及奶酪脂肪的近红外光谱数据用于SEPA-LAR的性能检验,独立验证集的预测均方根误差(RMSEP)分别为0.001 44%(湿度指标)、0.001 58 g/mL(密度指标)以及1.13 g/100 g(脂肪含量指标)。结果表明,相较于竞争自适应重加权采样法(CARS),该方法具有更优异的稳定性;相较于移动窗口偏最小二乘(MWPLS)以及蒙特卡洛无信息变量消除(MCUVE)方法,该方法选择的变量更少,预测误差更低,预测性、可解释性和稳定性更优异。     

基于多光谱特征融合技术的面粉掺杂定量分析方法

提出了一种基于拉曼光谱技术(Raman)和激光诱导击穿光谱技术(LIBS)的多光谱特征融合技术(MFFT),利用拉曼光谱中分子组分信息和激光诱导击穿光谱中原子组分信息之间的互补特性,采用自适应小波变换(AWT)-竞争性自适应加权(CARS)-偏最小二乘回归(PLS)建模技术,获取了面粉体系更为全面的特征信息。在多光谱特征融合技术中,首先采用AWT-CARS方法分别提取拉曼光谱和激光诱导击穿光谱中的特征变量,然后将两者的特征变量融合为一个向量,采用PLS方法构建MFFT模型,实现了面粉掺杂物的定量分析。通过对二氧化钛、硫酸铝钾等面粉掺杂体系建模分析,考察MFFT模型的有效性。结果表明,与单一拉曼光谱技术或激光诱导击穿光谱技术建立的预测模型相比,MFFT模型显著提升了模型的预测性能,二氧化钛和硫酸铝钾预测模型的线性相关系数分别从相对较差的Raman模型的0.884、0.877提升到0.981、0.980,其预测均方根误差分别从相对较差的Raman模型的0.151、0.154降低到0.069、0.068。表明多光谱特征融合技术可以准确提取Raman光谱中的分子信息和LIBS光谱中的元素信息,使其互为补充、互为校正,进而有效克服面粉基质对掺杂组分定量分析的干扰,显著提高模型的预测精度。     

基于交互式自模型混合物分析的近红外光谱波长变量优选方法

为了提高近红外光谱定量分析的预测精度和建模效率,提出了一种基于交互式自模型的混合物分析的波长优选方法,根据光谱各波长变量的纯度值和标准差值,选择含有用信息的波长变量,并引入相关权函数解决变量间共线性问题.通过依次迭代选择的变量建立定量校正模型,由交互验证均方根预测误差(RMSECV)确定最佳波长变量个数.应用该波长变量优选方法对具有不同葡萄糖含量的两组(四成分葡萄糖水溶液实验和人体血浆实验)近红外光谱数据进行分析,两组数据中分别只选择了全部变量的0.3%建立定量校正模型,其验证集葡萄糖浓度的均方根预测误差(RMSEP)分别减少为669和15 mg/L.与全谱范围及优选波段建立的定量校正模型比较,本方法能够通过波长变量优选最小化冗余信息、提高预测精度及建模效率.     

应用遗传算法和PLS的近红外光谱预测玉米中淀粉含量的研究

以普通玉米籽粒为试验材料,在应用遗传算法结合偏最小二乘回归法对近红外光谱数据进行特征波长选择的基础上,应用偏最小二乘回归法建立了特征波长测定玉米籽粒中淀粉含量的校正模型．试验结果表明,基于11个特征波长所建立的校正模型,其校正误差（RMSEC）、交叉检验误差（RMSECV）和预测误差（RMSEP）分别为0.30％、0.35％和0.27％,校正数据集和独立的检验数据集的预测值与实际测定值之间的相关系数分别达到0.9279和0.9390,与全光谱数据所建立的预测模型相比,在预测精度上均有所改善,表明应用遗传算法和PLS进行光谱特征选择,能获得更简单和更好的模型,为玉米籽粒中淀粉含量的近红外测定和红外光谱数据的处理提供了新的方法与途径．     

基于LVs-LS-SVM近红外光谱检测柴油运动粘度的方法研究

为了研究不同光谱输入方法对柴油运动粘度预测模型的影响,本文对预处理后的柴油光谱进行主成分分析(PCA)得到的前6个主成分(PCs)、建立偏最小二乘(PLS)回归曲线选取有效波长(EWs)和运用偏最小二乘回归(PLSR)建模得到的14个潜变量(LVs),将三者分别输入至最小二乘支持向量机(LS-SVM),对结果进行比较分析表明:LVs-LS-SVM建模得到的结果为柴油运动粘度(R_(Pre)~2=0.839,RMSEP=0.317,RPD=1.54),优于EWs-LS-SVM和PCs-LS-SVM模型,为柴油参数测定便携式仪器的开发奠定基础。     

CARSiPLS用于烟煤中水分与挥发分的近红外光谱测定北大核心CSCD

将竞争自适应重加权采样(CARS)与区间偏最小二乘回归(iPLS)相结合的变量筛选建模方法 CARSiPLS,用于烟煤中水分与挥发分的近红外光谱测定。以CARS逐步筛选出每个区间与待测量相关的变量,建立烟煤中水分与挥发分近红外光谱测定的偏最小二乘回归模型。结果表明:与PLS、iPLS相比,CARSiPLS可以显著减少变量数,同时提高模型预测性能;挥发分建模变量从1557个减少至15个,水分建模变量从1557个减少至317个;挥发分、水分的预测平均绝对百分误差分别从0.031 5降至0.018 4、从0.188 4降至0.094 6;挥发分、水分的预测均方差分别从0.010 8降至0.006 7、从0.005 0降至0.002 8。     

CARSiPLS用于烟煤中水分与挥发分的近红外光谱测定

将竞争自适应重加权采样(CARS)与区间偏最小二乘回归(iPLS)相结合的变量筛选建模方法 CARSiPLS,用于烟煤中水分与挥发分的近红外光谱测定。以CARS逐步筛选出每个区间与待测量相关的变量,建立烟煤中水分与挥发分近红外光谱测定的偏最小二乘回归模型。结果表明:与PLS、iPLS相比,CARSiPLS可以显著减少变量数,同时提高模型预测性能;挥发分建模变量从1557个减少至15个,水分建模变量从1557个减少至317个;挥发分、水分的预测平均绝对百分误差分别从0.031 5降至0.018 4、从0.188 4降至0.094 6;挥发分、水分的预测均方差分别从0.010 8降至0.006 7、从0.005 0降至0.002 8。