基于无信息变量消除法与岭极限学习机的新型变量选择方法:以CO气体浓度反演为例（英文）

变量选择是光谱分析领域一个重要的组成部分。为了克服传统区间选择法的缺点与不足,基于无信息变量消除法和岭极限学习机提出一种新型的变量选择与评价方法。首先,利用无信息变量消除法剔除整个光谱区间中无信息的波长点;其次,为了解决传统建模方法(偏最小二乘法、BP神经网络等)存在的共线性问题,采用岭极限学习机方法建立回归模型;最后,最佳的特征光谱波长点组合利用特征选择路径图和稀疏度-误差折中曲线进行确定。CO气体的浓度反演实验结果表明:(1)利用无信息变量消除法可以有效筛选出最能表征CO气体透过光谱的特征波长点;(2)岭极限学习机方法具有快速建模、避免共线性和高精度等优点(CO气体浓度反演模型的决定系数可达0.995);(3)特征选择路径图和稀疏度-误差折中曲线可以直观地帮助用户寻找出最佳的特征波长点组合。     

基于最小角回归与GA-PLS的NIR光谱变量选择方法

近红外(NIR)光谱一般具有较多的波长变量数,对其直接或间接地进行变量选择是提高模型稳定性能及预测性能的关键。最小角回归(LAR)是一种相对较新和有效的机器学习算法,常用于进行回归分析和变量选择。面向光谱建模应用,提出一种LAR结合遗传偏最小二乘法(GA-PLS)的变量选择方法,可有效筛选出少数特征波长点。首先在全光谱区利用LAR消除变量间的共线性得到初筛波长点,然后用GA-PLS对LAR筛选出的波长点进一步优选从而得到最终建模用的特征波长点。为验证本文方法的有效性,以药片和汽油的近红外光谱回归分析作为应用案例,对原光谱进行预处理后,采用该方法进行变量筛选,然后分别建模其中的活性成分含量和C10含量。结果显示,在这两个应用中,最终优化得到的特征波长点数均只需七个,而两者的预测决定系数R2_p分别达到0.933 9和0.951 9,与全光谱、无信息变量消除法(UVE)和连续投影算法(SPA)等方法相比,特征波长点更少,同时R2_p和预测均方根误差RMSEP值更优。因此,LAR结合GA-PLS,能有效地从近红外光谱中选择出信息变量从而减少建模波数,提高预测精度,拥有较好的模型解释性。该方法可为特定领域的专用光谱仪设计提供有效的波长筛选工具。     

区间极限学习机结合遗传算法用于红外光谱气体浓度反演的研究

提出一种新的有效的FTIR光谱气体浓度反演的方法。 该方法将区间划分的思想用于红外光谱波长优化筛选,即将红外光谱在给定波长范围内划分为若干个子区间,在每个子区间中利用遗传算法(genetic algorithm, GA)优化后的极限学习机(extreme learning machine,ELM)建立浓度预测模型,根据每个子区间测试集均方根误差RMSE和相关系数R2的大小评价模型的泛化性能,筛选出最优子区间组合建立预测模型。 通过含干扰组分(CO₂,N₂O)的CO气体的 FTIR光谱对提出的算法进行了验证,在波段为2 140～2 220 cm-1范围内利用区间法筛选出的最优组合作为变量,应用GA-ELM建立的浓度反演模型,其决定系数R2为0.987 4,均方根误差RMSE为154.996 3,建模时间仅为0.8 s,表明该算法(Interval-GA-ELM, iGELM)的应用不仅缩短了建模时间,而且在干扰组分存在的情况下,依然可以准确筛选出特征波长,从而提高了模型稳定性和预测精度,为大气污染气体遥测分析提供了行之有效的方法。     

BiPLS结合GA优选可见/近红外光谱MLR变量

利用反向区间偏最小二乘法(BiPLS)定位光谱糖度若干信息区间,运用遗传算法(GA)从中选择波长点,建立了多元线性回归(MLR)模型。光谱进行卷积平滑和二阶导数处理后,将光谱(225个数据点)分割成25个子区间时,BiPLS优化结果最优。在所定位的信息区间进行GA二次选择特征变量,运行100次依次选择入选频率较高的12个波长点。为简化MLR模型,对于入选的相邻波长选择频率较高者,最后选择 638,734,752,868,910,916和938 nm作为回归变量,建立的MLR预测模型相关系数(R2)、校正均方根误差(RMSEC)和预测均方根误差(RMSEP)分别为0.984,0.364和0.471,优于常用的逐步多元线性回归的建模结果。表明BiPLS结合GA可以有效地对李子糖度可见/近红外光谱MLR回归变量进行筛选,提高了模型的精度。     

基于GA和SCMWPLS算法的NIR光谱信息变量提取研究

光谱数据压缩、信息变量提取是近红外应用研究的热点,是简化模型、提高预测精度的重要手段。本文以杏可见/近红外光谱为例,采用二阶导数、标准化和正交信号校正(OSC)处理以滤除光谱与浓度阵无关的信号;使用SCMWPLS选择出880,894～910和932 nm为建模区间建立PLS预测模型,其相关系数(R)、校正误差(SEC)和预测误差(SEP)分别为0.920,0.454和0.470;进行独立运行GA程序100次,依次选择入选频率较高的2个波长点888和900 nm作为回归变量,建立GA-MLR预测模型,其R, SEC, SEP分别为0.905,0.488和0.459,均优于全谱的偏最小二乘建模结果。结果显示,OSC可以滤除光谱与浓度阵无关的信号,减少建立模型所用的主因子数;SCMWPLS和GA可以寻找最优信息变量组合。该方法对于建立低维度、高精度近红外快速分析模型具有普遍参考意义。     

基于变量选择的偏最小二乘回归法和田间行走式近红外光谱进行土壤碳含量测定研究

针对田间状态下通过行走式设备获取的近红外反射光谱数据,存在干扰因素多,数据获取环境复杂多变,比实验室条件下建立土壤碳预测模型更加困难的情况,研究了通过变量选择来提高模型质量的效果及有效性。从独立检验数据集来分析,与采用所有变量所建模型的预测精度相比,进行变量选择后的预测精度,均有不同程度的提高,说明在建立土壤碳预测模型时,进行光谱变量选择,是有益和必要的。基于无信息变量消除法(UVE)和无信息变量消除-连续投影法(UVE-SPA)进行变量选择所建模型的预测精度较高,而SPA和遗传算法-偏最小二乘法(GA-PLS)的效果较差;对于协同区间最小二乘法而言,分割的区间数、参与建模子区间数的变化,会对所建模型的预测精度产生影响,选择合适的区间分割数和子区间组合,可以获得与UVE和UVE-SPA相当的效果,但其不足是需要大量的运算来进行最优子区间组合的选择。     

近红外光谱法分析油页岩含油率中波长选择方法的研究

波长选择是光谱建模分析的重要步骤。研究了近红外光谱法分析油页岩含油率过程中的波长选择方法,用以剔除光谱数据中的冗余信息和干扰信息,提高分析模型的建模效率和预测能力。分别采用相关系数法(CC)、移动窗口偏最小二乘法(MWPLS)和无信息变量消除法（UVE）对油页岩近红外漫反射光谱数据的波长区间进行了选择,研究了不同阈值、窗口宽度和噪声矩阵对上述方法的影响,建立了所选择波长处的反射率数据和样品含油率标准值间的偏最小二乘（PLS）分析模型,比较了上述方法的选择效果。结果表明：与使用全谱数据建模相比,采用上述方法筛选过的光谱数据均能提高模型的建模效率和预测能力,其中经UVE法筛选后的光谱数据仅占全谱数据总数的22.8%,模型的RMSECV却降低了9.3%,RMSEP降低了4.5%。     

向后迭代区间选择算法及其在近红外光谱模型转移中的应用

近红外光谱（NIR）具有快速、无损、操作方便的特点,故广泛用于食品分析。作为一种间接的分析技术,NIR需要建立光谱与待测浓度之间的统计模型来实现检测。故模型的维护有助于保证NIR的预测准确性。在外界条件发生变化的情况下,诸如样品性状的改变、仪器对理化指标函数关系的变化、湿度和温度等环境因素的改变,会导致相同样品的光谱信号发生偏移,进而使得原有模型的预测精度下降。此时,如果重新建模,虽然可以解决光谱偏移对建模的影响,但是重新建模将耗费大量的人力物力。对此,模型转移可以在避免重新建模的情况下,校正光谱的偏移,进而提高模型预测精度。通常模型转移算法多用全光谱进行模型转移,这种方法计算量较大,且不能找到合适的有化学意义的波段。故提出一种基于模型转移中的变量选择方法：向后迭代区间选择法（IIBS）,通过计算主光谱（用于建模的那组光谱）和从光谱（发生偏移,需要通过模型转移算法将其校正的光谱）中,变量区间的重要性信息（回归系数（β）、残差向量（Res）以及变量重要性投影（VIP））。进而通过计算该区间变量重要性信息的几何平均数,并以此作为该区间的区间重要性指标。接着根据区间的重要性,删除重要性信息较小的变量区间。然后对主光谱和从光谱重复迭代上述过程：计算变量的重要性信息,计算区间的重要性信息,删除重要性信息较小的区间。最后,比较不同的主光谱和从光谱区间组合的验证均方根误差（RMSEV）,选择RMSEV最小的主光谱和从光谱区间作为最优区间。玉米、小麦两套NIR数据测试了该算法。结果显示,与全波段相比,β,Res以及VIP均可以从主光谱和从光谱中选择较少的,有化学意义的区间,提高模型转移的精度。在比较不同变量重要性向量方面,基于β的变量选择算法,模型转移的计算误差较小。     

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、 维数高且原始光谱噪声明显、 散射严重等特征导致光谱建模时关键波长变量提取困难。 基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。 鸭梨作为研究对象。 采用决定系数r2、 预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。 基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2_pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。 进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。 结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。 从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。     

基于卡尔曼滤波的近红外光谱特征波长变量优选方法

将经典的卡尔曼滤波器与近红外光谱分析技术相结合,提出了一种新的特征波长变量选择方法——卡尔曼滤波法。分析了卡尔曼滤波器用于波长优选的原理,设计了波长选择算法并将其应用到大豆油脂酸价的近红外光谱检测中。首先利用偏最小二乘法(PLS)对油脂不同吸收波段建模,初步筛选出4 472～5 000 cm-1油脂酸价特征波段共132个波长点,然后进一步利用卡尔曼滤波器进行特征波长选择,从中优选出22个特征波长变量建立PLS校正模型,预测集决定系数R2、预测误差均方根RMSEP分别为0.970 8和0.125 4,与利用132个波长点建立的校正模型预测结果相当,而波长变量数减少到原来的16.67%。该波长变量选择算法是一种确定性的迭代过程,无复杂的参数设置和变量选择的随机性,物理意义明确。优选出少数对模型影响较大的特征波长变量以代替全谱建模,在简化模型的同时提高了模型的稳健性,为开发专用油脂近红外光谱分析仪器提供了重要参考依据。     

基于高光谱散射图像技术的UVE-LLE苹果粉质化分类

利用高光谱散射图像技术研究了苹果的粉质化无损检测.提出了一种无信息变量消除法和局部线性嵌入相结合的苹果粉质化分类的新方法.经无信息变量消除法筛选后的波段降为全谱的23.5%.将波段选择后的原始图像数据用局部线性嵌入降维作为偏最小二乘判别分析的输入变量并建模.无信息变量消除法与局部线性嵌入相结合算法和局部线性嵌入降维方法得到的粉质化分类测试准确度分别是79.0%和79.0%|无信息变量消除法与平均反射法相结合和平均反射法特征提取得到的是77.4%和75.8%.结果表明,无信息变量消除法与局部线性嵌入想结合的方法可以大大地降低高光谱散射图像的数据量,同时保证了分类准确度,为在线检测、分类和高光谱数据的存储提供了一种实时、有效的方法.     

基于高光谱散射图像技术的UVE-LLE苹果粉质化分类

利用高光谱散射图像技术研究了苹果的粉质化无损检测.提出了一种无信息变量消除法和局部线性嵌入相结合的苹果粉质化分类的新方法.经无信息变量消除法筛选后的波段降为全谱的23.50％.将波段选择后的原始图像数据用局部线性嵌入降维作为偏最小二乘判别分析的输入变量并建模.无信息变量消除法与局部线性嵌入相结合算法和局部线性嵌入降维方...     

近红外特征光谱的羊肉TVB-N浓度预测模型

为提高生鲜羊肉储存期内（4,8和20 ℃环境）挥发性盐基氮（TVB-N）的近红外光谱（NIR）检测的稳定性和准确性,选取特征光谱和预测模型是关键步骤。以121个羊肉样品为实验对象,采集生鲜羊肉680~2 600 nm波段的近红外光谱。以多元散射校正（MSC）、标准正态变换（SNV）等散射校正方法,Savitzky-Golay卷积平滑（SGS）、移动平均平滑（MAS）等平滑处理方法,以及归一化（Normalization）、中心化（Centering）、标准化（Autoscaling）等尺度缩放方法分别预处理光谱数据后建立偏最小二乘法（PLS）预测模型。比较发现SGS处理的光谱建模效果最好。利用蒙特卡洛采样（MCS）法及马氏距离法（MD）消除了羊肉光谱的5个异常数据。运用光谱-理化值共生距离（SPXY）算法划分总样本的75%（87个）为校正集样本,剩余29个为验证集样本,利用竞争性自适应重加权法（CARS）、无信息变量消除法（UVE）、改进的无信息变量消除法（IUVE）和连续投影算法（SPA）提取特征光谱得到的波长个数分别为14,713,144和15。将全光谱和4种方法提取的特征波长作为输入变量建立预测模型,CARS提取的波长所建立模型的性能优于UVE、IUVE和SPA提取的波长所建立模型的性能,表明CARS方法可以有效简化输入变量并提高预测模型的性能。改进后得到的IUVE法相比于UVE法,筛选出的波长数更少且模型性能有所提升。以提取的特征波长建立PLS,支持向量机（SVM）和最小二乘支持向量机（LS-SVM）预测模型,SVM模型得到最优的校正集预测结果,其中CARS-SVM预测模型的校正决定系数（R2_C）和校正均方根误差（RMSEC）分别为0.939 1和1.426 7,最优的验证集预测效果为LS-SVM预测模型得到,其中IUVE-LS-SVM预测模型的验证决定系数（R2_V）和验证均方根误差（RMSEV）分别为0.856 8和1.886 2。基于近红外特征光谱建立简化、优化的生鲜羊肉储存期TVB-N预测模型,为实现快速无损检测生鲜羊肉中的TVB-N浓度提供技术支持。     

荧光高光谱结合特征波长筛选的脐橙表面农药残留快速检测

采用荧光高光谱成像技术对脐橙表面不同浓度毒死蜱和多菌灵进行判别。实验通过由氙灯光源激发的高光谱成像系统（392～998.2 nm）分别采集浓度为0,0.5,1,2 mg·kg-1的毒死蜱和0,1,3,5 mg·kg-1多菌灵的高光谱图像。使用ENVI软件获取样本的感兴趣区域（ROI）;对原始光谱数据采用卷积平滑（SG）、标准正态标量变换（SNV）及一阶导数（FD）方法进行预处理;采用区间变量迭代空间收缩法（iVISSA）、无信息变量消除算法（UVE）和竞争性自适应加权算法（CARS）进行一次提取特征波长,二维相关光谱（2D-COS）方法进行二次提取特征波长。最后采用主成分分析与线性判别分析相结合算法（PCA-LDA）和偏最小二乘算法（PLS-DA）建立基于两次提取特征波长脐橙表面不同浓度毒死蜱和多菌灵残留的判别模型。将原始光谱数据与经过预处理的3种光谱数据进行建模分析,结果发现毒死蜱和多菌灵的光谱数据经过SG处理后模型效果最优。对经SG预处理后的毒死蜱光谱数据和多菌灵光谱数据进行特征波长一次提取,最佳特征波长分别为iVISSA法和CARS法,分别提取出26个和30个特征波长;再采用二维相关光谱（2D-COS）算法对这26个和30个特征波长进行二次提取,分别得到10个和12个特征波长。对一次提取特征波长和二次提取特征波长后的光谱数据分别建模。结果表明,对于不同浓度的毒死蜱,基于iVISSA-2D-COS建立的PCA-LDA模型判别效果最佳,其校正集与预测集判别正确率分别为98.61%和95.83%;对于不同浓度的多菌灵,基于CARS-2D-COS建立的PCA-LDA模型判别效果最佳,其校正集与预测集判别正确率分别为97.22%和95.83%,均高于全波段光谱数据模型和一次提取特征波长模型判别正确率,说明2D-COS可以捕捉可用的荧光光谱信息。该研究采用2D-COS对一次提取最优特征波长进行二次提取后建模,研究结果为脐橙表面不同浓度农药残留的快速无损判别提供了一定的参考。     

特征变量优选在苹果可溶性固形物近红外便携式检测中的应用

为实现苹果可溶性固形物(SSC)的便携式快速检测,利用环形光纤探头和微型光谱仪搭建便携式苹果可溶性固形物光谱采集系统,结合无信息变量消除(UVE)、遗传算法(GA)、竞争性自适应加权(CARS)算法筛选基于偏最小二乘(PLS)的苹果可溶性固形物的近红外光谱特征波长。另外,采用反向区间最小二乘支持向量机(BiLS-SVM)和GA算法优选基于LS-SVM的特征波长变量,分别建立所选特征波长和全波段的PLS模型和LS-SVM模型。试验结果表明,经过GA-CARS算法从全波段1 512个波长中筛选出的50个特征波长建立的PLS模型效果最好,其预测相关系数和预测均方根误差分别为0.962和0.403°Brix。利用该检测装置结合GA-CARS筛选的特征波长,可有效简化苹果可溶性固形物近红外便携式检测模型并提高模型的预测精度,为进一步构建便携式苹果可溶性固形物检测设备奠定了基础。     

紫外可见光谱的水产养殖水体有机物浓度快速检测研究

应用紫外可见（ultraviolet/visible,UV/Vis）光谱技术对表征水产养殖水体中有机物浓度的指标化学需氧量（chemical oxygen demand,COD）进行快速测量,对采集到的135份甲鱼养殖水样进行UV/Vis波段全光谱扫描,采用无信息变量消除（uninformative variable elimination,UVE）和连续投影算法（successive projections algorithm,SPA）相结合的变量选择算法选取全波段光谱中的特征波长,从201个UV/Vis光谱变量中选取了7个特征波长,只占全波段光谱变量的3.48%,降低了建模的时间和模型的复杂度。结合最小二乘支持向量机（least-square support vector machine,LS-SVM）算法进行COD预测建模,结果表明：使用特征波长建模的预测效果（相关系数r（correlation coefficient）=0.89,预测均方根误差（root mean square error of prediction,RMSEP）=15.46 mg·L-1）好于使用全波段光谱建模的预测效果（r=0.88,RMSEP = 15.71 mg·L-1）。使用UVE-SPA变量选择算法获取UV/Vis光谱特征波长,结合LS-SVM建模,可以快速、准确的测量水产养殖水体中的COD浓度,为进一步实现水产养殖水质的在线检测以及其他水质参数的快速测定奠定了基础。     

基于近红外光谱和变量优选的棉麻混纺织物棉含量快速检测

纺织品纤维成分的快速检测对其生产过程质量监控、贸易和市场监督均具有重要的意义。利用近红外光谱技术联合变量优选对棉麻混纺织物中的棉含量进行快速检测研究。采用NIRFlex N-500型傅里叶近红外光谱仪在4 000～10 000 cm-1光谱范围内采集样本的反射光谱,对样本光谱进行范围初选和预处理分析。在此基础上,利用UVE(uninformative variables elimination),SPA(successive projections algorithm)及CARS (competitive adaptive reweighted sampling)方法对光谱变量进行优选,再应用PLS(partial least squares)建立棉麻混纺织物中的棉含量预测模型。最后,采用最优预测模型对未参与建模的样本进行预测。研究结果表明,4 052～8 000 cm-1光谱范围为棉含量较优的建模光谱范围。CARS变量选择方法能较为有效地提高预测模型的精度,CARS-PLS模型的校正集、预测集相关系数和均方根误差分别为0.903,0.749和8.01%,12.93%。因此,近红外光谱联合CARS变量优选可以用于棉麻混纺织物棉含量的快速检测,CARS方法可以有效简化预测模型,提高预测模型性能。     

灵武长枣VC含量的高光谱快速检测研究

采用可见-近红外高光谱成像技术结合化学计量学方法检测灵武长枣维生素C(VC)含量，探究一种全新的水果内部成分的快速无损检测方法。采用高效液相色谱法(HPLC)测得长枣的VC含量化学值，可见-近红外高光谱成像系统采集164个灵武长枣400～1 000 nm的高光谱图像，利用ENVI4.8软件提取图像的感兴趣区域(region of interest，ROI)，计算其平均光谱，获得光谱值，将化学值与光谱值通过The UnsecramblerX 10.4软件建立模型。利用蒙特卡洛交叉验证法剔除异常值，采用光谱理化值共生距离法(sample set partitioning based on joint x-y distance，SPXY)进行样本划分以提高模型的预测性能；对光谱采用移动平滑(moving average)、中值滤波(median filter)、归一化(normalize)、基线校准(baseline)、多元散射校正(multiple scattering correction，MSC)、去趋势(detrending)和标准正态变量变换(standard normal variate，SNV)等7种方法进行预处理；为进一步减少数据量，降低维度，提高运算速度，使用竞争性自适应加权算法(competitive adaptive reweighted sampling，CARS)、无信息变量消除算法(uninformative variable elimination ，UVE)和连续投影算法(successive projections algorithm，SPA)提取特征波长，以期实现以少数波段代替全波段；将全波段光谱(full spectrum，FS)以及CARS, UVE和SPA三种方法提取的特征波长分别建立偏最小二乘(partial least squares wavelength regression，PLSR)和支持向量机(support vector machine，SVM)模型，从而确定最优的建模模型。利用蒙特卡洛交叉验证法共剔除7个异常样本，采用SPXY法将剔除异常样本后的157个数据区分为校正集和预测集，校正集中样本个数为117，预测集中样本个数为40。将未经光谱预处理的建模结果与分别经过七种光谱预处理的建模结果相比，选择未经光谱预处理的数据进行后续分析；将未经光谱预处理的光谱值采用CARS，UVE，SPA方法进行提取特征波长，CARS共优选出406，415，487，631，636，655，660，665，670，684，689，694，723，732，747和881 nm下的光谱变量16个，利用CARS提取出的特征波长占总波长的12.8%；UVE共优选出406，415，627，631，636，651，655，660，665，670，675，679，684，689，694，699，703，708，742，747，751，756，761，766，771，775，780，785，790，795，919和924 nm下的32个特征波长，利用UVE提取出的特征波长占总波长的25.6%；SPA共优选出401，665，684 nm三个特征波长，利用SPA提取出的特征波长占总波长的2.4%。将全波段光谱与提取出的特征波长建立PLSR模型和SVM模型，对比模型结果显示UVE-SVM模型最优，其R2_c为0.847 1，R2_p为0.714 9，说明UVE有效地对光谱进行降维，简化了数据处理过程。本研究对高光谱成像技术在水果领域的应用进行了有益探索，探究了一种全新的灵武长枣VC含量的无损检测方法，相应建立的可见-近红外高光谱模型为其他水果成分的快速检测提供了理论基础。