向后迭代区间选择算法及其在近红外光谱模型转移中的应用

近红外光谱（NIR）具有快速、无损、操作方便的特点,故广泛用于食品分析。作为一种间接的分析技术,NIR需要建立光谱与待测浓度之间的统计模型来实现检测。故模型的维护有助于保证NIR的预测准确性。在外界条件发生变化的情况下,诸如样品性状的改变、仪器对理化指标函数关系的变化、湿度和温度等环境因素的改变,会导致相同样品的光谱信号发生偏移,进而使得原有模型的预测精度下降。此时,如果重新建模,虽然可以解决光谱偏移对建模的影响,但是重新建模将耗费大量的人力物力。对此,模型转移可以在避免重新建模的情况下,校正光谱的偏移,进而提高模型预测精度。通常模型转移算法多用全光谱进行模型转移,这种方法计算量较大,且不能找到合适的有化学意义的波段。故提出一种基于模型转移中的变量选择方法：向后迭代区间选择法（IIBS）,通过计算主光谱（用于建模的那组光谱）和从光谱（发生偏移,需要通过模型转移算法将其校正的光谱）中,变量区间的重要性信息（回归系数（β）、残差向量（Res）以及变量重要性投影（VIP））。进而通过计算该区间变量重要性信息的几何平均数,并以此作为该区间的区间重要性指标。接着根据区间的重要性,删除重要性信息较小的变量区间。然后对主光谱和从光谱重复迭代上述过程：计算变量的重要性信息,计算区间的重要性信息,删除重要性信息较小的区间。最后,比较不同的主光谱和从光谱区间组合的验证均方根误差（RMSEV）,选择RMSEV最小的主光谱和从光谱区间作为最优区间。玉米、小麦两套NIR数据测试了该算法。结果显示,与全波段相比,β,Res以及VIP均可以从主光谱和从光谱中选择较少的,有化学意义的区间,提高模型转移的精度。在比较不同变量重要性向量方面,基于β的变量选择算法,模型转移的计算误差较小。     

基于集群方法(ER)的近红外光谱转移集优化法

近红外光谱因为具有小成本、易操作、低耗时等优点,所以广泛用于食品领域。作为一种间接的检测方法,近红外光谱检测需要建立光谱和浓度之间的统计模型。但是,一种条件下建立的模型在另一种检测条件下会失效。针对此问题,重新建模可以加以解决,但是重新建立光谱与浓度之间的模型非常繁琐耗时。此时,模型转移可以在避免重新建模的情况下,通过光谱校正,保证预测精度。在模型转移中,已经建立好模型的光谱称为主光谱(A),不用建立模型,而只用主光谱模型预测的光谱称为从光谱 (B)。模型转移方法的步骤是,先在校正集中选择一些样本作为主光谱的转移集(A_t),然后选择从光谱中浓度和A_t相同的光谱,以此作为从光谱的转移集(B_t)。通过A_t和B_t构建模型转移矩阵。最后将需要校正的从光谱(B_v)乘以上述的转移矩阵中,即可获得校正后的从光谱(B_new)。此时,B_new就可以用主光谱的模型来直接预测。在模型转移中,转移集样本的选择对模型校正至关重要。目前,转移集的样本通常从光谱之间的距离而非模型转移误差获得。但是,转移误差对模型转移结果的验证至关重要,故该研究出了基于集群分析的集群优化法(ER)并将其用于优化KS方法产生的转移集样本。ER先用随机方法建立转移集的多个子集合,并计算每个子集合的转移误差。然后,对某一个样本,计算包含这个样本的子集合转移误差均值。最后,选择转移误差均值较低的样本作为新转移集样本进行模型转移。以玉米数据测试了ER算法。结果显示,对于典型相关分析-有信息成分提取法(CCA-ICE)、直接校正法(DS)、分段直接校正法(PDS)、光谱空间转化法(SST)这些常见的模型转移方法,相比于KS样本选择方法,ER方法可以找出重要的转移集样本,进而显著降低模型转移误差。     

加权SPXYE(WSPXYE)算法及其在近红外光谱模型转移中的应用

样本选择是模型转移的重要组成部分,其目的是在主光谱和从光谱中选择合适的样本,建立二者的转移模型,使得从光谱的预测样本能通过转移模型校正成类似于主光谱的样本,进而用主光谱的模型直接预测其浓度。目前,常用的样本选择算法有：Kennard-Stone 法 (KS法), SPXY法和SPXYE法。根据上述算法的特点,提出了一种新的样本选择方法：加权SPXYE法(WSPXYE法),进而将其用于选择合适的转移集样本。WSPXYE同样先计算样本间的距离,其距离有三个部分组成：光谱(X)之间的归一化距离d_xs,浓度(y)之间的归一化距离d_ys,以及校正误差(e)之间的归一化距离d_es。其加权代数和d_wspxye=αd_xs+βd_ys+(1-α-β)d_es即为WSPXYE距离。计算了WSPXYE距离之后,可以根据其距离选择距离较大的样本作为转移集样本。WSPXYE是Kennard-Stone法(KS法), SPXY法和SPXYE法的推广,而KS法（α=1,β=0）、SPXY法（α=0.5,β=0.5）以及SPXYE法（α=0.333,β=0.333）则是WSPXYE法的特例。直接校正法（DS）、有信息成分提取-典型相关分析法(CCA-ICE)作为模型转移算法验证了WSPXYE方法的效果。结果显示,与KS法、SPXY法以及SPXYE法相比,WSPXYE法可以通过调节参数,选择合适的样本,获得较低的误差。     

加权SPXYE(WSPXYE)算法及其在近红外光谱模型转移中的应用（英文）

样本选择是模型转移的重要组成部分,其目的是在主光谱和从光谱中选择合适的样本,建立二者的转移模型,使得从光谱的预测样本能通过转移模型校正成类似于主光谱的样本,进而用主光谱的模型直接预测其浓度。目前,常用的样本选择算法有:Kennard-Stone法(KS法), SPXY法和SPXYE法。根据上述算法的特点,提出了一种新的样本选择方法:加权SPXYE法(WSPXYE法),进而将其用于选择合适的转移集样本。WSPXYE同样先计算样本间的距离,其距离有三个部分组成:光谱(X)之间的归一化距离d_(xs),浓度(y)之间的归一化距离d_(ys),以及校正误差(e)之间的归一化距离d_(es)。其加权代数和d_(wspxye)=αd_(xs)+βd_(ys)+(1-α-β)d_(es)即为WSPXYE距离。计算了WSPXYE距离之后,可以根据其距离选择距离较大的样本作为转移集样本。WSPXYE是Kennard-Stone法(KS法), SPXY法和SPXYE法的推广,而KS法(α=1,β=0)、 SPXY法(α=0.5,β=0.5)以及SPXYE法(α=0.333,β=0.333)则是WSPXYE法的特例。直接校正法(DS)、有信息成分提取-典型相关分析法(CCA-ICE)作为模型转移算法验证了WSPXYE方法的效果。结果显示,与KS法、 SPXY法以及SPXYE法相比, WSPXYE法可以通过调节参数,选择合适的样本,获得较低的误差。     

结合光谱变换和Kennard-Stone算法的水稻土全氮光谱估算模型校正集构建策略研究

土壤组分光谱估算过程中校正样本集的构建会影响模型的预测精度。当前结合反射光谱和Kennard-Stone (KS)算法的校正样本集构建策略忽视了土壤反射光谱是土壤属性的综合反映,构建的样本集通常无法很好地代表目标土壤组分的变异。光谱变换方法可以突出目标组分的光谱特征,为此,本文以湖北省江汉平原滨湖地区水稻土为研究对象,结合包括一阶微分(FD)、Savitzky-Golay(SG)、Haar小波变换、标准正态变量变换(SNV)和多元散射校正(MSC)在内的光谱变换方法和KS算法进行校正样本集建构,通过对比不同样本集构建策略对使用偏最小二乘回归(PLSR)建立的土壤全氮含量光谱估算模型预测精度的影响,研究光谱变换是否有助于提高基于KS算法构建的校正样本集的代表性。结果表明：不同光谱变换会影响校正样本集的构建。反射光谱经过SG或Haar小波变换后,再使用KS算法构建校正样本集与直接基于反射光谱使用KS算法构建的校正样本集相同,建立的估算模型精度不变,相对分析误差(RPD)分别为1.41和1.27。结合FD,SNV或MSC变换和KS算法构建的校正集与基于反射光谱使用KS算法构建的校正集不同,建立的估算模型RPD分别从0.95,1.48和1.42提高到1.13、1.78和2.20。研究表明SNV和MSC等光谱变换方法可以提高基于KS算法构建的校正样本集的代表性,并可有效提高模型预测精度。     

平均分布差异最小化的NIR标定迁移方法研究

凭借高效、无损和环保的优点,近红外光谱在多个领域广泛用作物质快速分析方法的同时,仍面临着光谱标定模型生命周期短,构建仪器标定迁移方法的标准样品难以获得和保存等问题。在化学计量学文献中,迁移方法通常能够矫正主从仪器之间的光谱差异,但绝大多数方法都需要在两台仪器相同条件下测量一组迁移标准样品。虽然样品数目不必过多,但总体上表明,必须对其进行很好的选择才能保证成功迁移。对于在主从仪器中选择代表性的样本子集,现有Kennard-Stone算法作为样本选择的主要算法。在标准样本的确定问题中,假设主仪器已找到标准样本,选择的样本集需要在从仪器中进行测量,仅当迁移样本足够稳定时才有可能,但现有近红外光谱技术无法保证这一点。如果假设使用从仪器的样本作为标准样本,考虑到新工业应用中光谱光源的变更,主仪器被从仪器代替,因此不再可用。基于目前存在的这些问题,提出了一种平均分布差异最小化的NIR标定迁移方法（MCT）, 此方法可以在不考虑从仪器标准样本（即标准样本自由）的情况下,针对近红外光谱数据的多重共线性,首先假设存在一个主从仪器光谱的共同偏最小二乘子空间,并将主从仪器光谱数据分别投影到该公共子空间;然后,引入平均分布差异最小化算法,即分别给出主从光谱数据在子空间的平均分布中心表示函数,在最小化两个光谱平均分布（中心点）的差异的同时,最大化投影后主仪器光谱的协方差,推导求解出最佳子空间;最后,将主光谱样本和从光谱预测样本分别投影到该偏最小二乘子空间中,利用主光谱数据得到回归模型,该模型可用于预测从光谱浓度。通过对玉米数据集和小麦数据集的测试研究,证明的预测效果与SBC,PDS,CCACT,TCR和MSC相比有所改善,该方法可以实现更低的预测误差。     

基于参数校正的近红外光谱模型转移新方法

模型转移是解决近红外光谱仪器间存在差异导致校正模型难以在多台仪器间通用问题的重要方法。利用主成分-马氏距离方法判断样品在不同仪器间的光谱差异性,然后通过吉洪诺夫正则化约束和校正模型参数,提出新的模型转移算法,实现模型在不同近红外光谱仪器上的共享和使用。首先使用一组标准样品光谱,建立主机和子机近红外光谱模型预测误差最小化函数。通过约束主机和子机的模型参数的差异,求出子机的模型参数,从而达到模型转移的目的。该方法应用于药物活性成分和烟叶中总植物碱与总糖的含量分析,结果表明使用15个标准样品时,子机光谱样本的预测均方根误差(RMSEP)分别从8.3 mg、 0.49%和1.91%降到3.9 mg、 0.09%和0.83%。转移后模型预测相对分析误差(RPD)均大于3.0,子机光谱样本的预测效果得到明显提高。该方法理论明确、直观,在实际应用中样品预测准确性较好,为具有标准样品的模型转移方法提供一种新思路。     

波长优选对土壤有机质含量可见光/近红外光谱模型的优化

可见光/近红外光谱模型是土壤属性预测的有效工具。波长优选在光谱建模过程中起着重要作用。文中首先利用从安徽省涡阳县采集的130个砂姜黑土土壤样本获得可见光/近红外光谱,然后利用平滑与多重散射校正联合的光谱预处理方式消除光谱中的无关变量和冗余信息以提高模型预测结果的相关性,再利用SPXY方法挑选建模集样本,分别利用连续投影算法和遗传算法进行波长优选,最后利用留一法进行交互验证建立有机质含量的主成分回归模型。研究结果显示：连续投影算法和遗传算法都可以有效地减少参与建模的波长数并提高模型的准确度,尤其是遗传算法能够更好地提高土壤有机质含量预测精度,其相关系数、预测均方根误差和相对分析误差分别达到0.9316,0.2142和2.3195。通过合适的特征波长选取,不仅计算量可以大大减少,预测精度也会有效提高。     

一种植物叶片生化成分光谱无损检测的光程长校正方法

利用可见/近红外光谱分析技术定量分析叶片生化参数含量时,由光散射效应和叶片厚度等引起的样本间光程长差异会影响校正模型的预测精度。文章提出了一种改进的扩展多元散射校正(EMSC)光程长方法,利用差谱矩阵的主成分代替物质纯谱,对实测光谱精确建模,根据实际需要,减去相应干扰因子,得到校正光谱。选择叶绿素含量基本相同,厚度不同的16个叶片样本以及叶绿素含量和厚度均不同的32个样本分别使用改进的EMSC方法校正,对处理前后光谱变异系数和主成分贡献率进行比较和分析,并比较了预处理前后的模型预测精度。结果表明,采用改进的EMSC预处理方法能够有效地校正光散射效应和叶片厚度差异导致的光程长差异引起的光谱误差,增强光谱数据对浓度的灵敏度,可提高预测模型的精度。     

近红外光谱的头孢类药品成分分析与模型传递方法

药品安全与质量监管迫切需要在线、快速、低成本的成分检测技术。近红外光谱技术在检测成本及速度方面具有显著优势,基于近红外光谱的药品成分检测方法,对于提高药品质量监管水平有着十分重要的研究意义和应用价值。在实际应用中,不同光谱仪器由于性能参数不同,测量光谱存在一定差异,很难实现定量校正模型共享。因此,研究不同光谱仪器之间模型传递对于提高分析效率十分重要。针对头孢类药品成分检测的需要,研究了头孢类药品中三种组分定量校正模型,提出了一种基于马尔可夫链(MC)的转换集选择的不同仪器间定量校正模型传递方法。采用两台不同厂家光谱仪器分别测量56份不同批次的头孢拉定颗粒样品,针对样品的三种组分:头孢拉定、头孢氨苄和水分,使用偏最小二乘法(PLS)建立定量校正模型。通过构建概率矩阵,选择合适的转换集,提高模型转换效率及不同仪器得到光谱数据的建模预测精度。实验结果表明,利用该模型转移算法,可利用少量转换集样本实现不同光谱仪器间定量校正模型转移,模型转移前后,定量校正模型对于三种主成分预测相对误差从9.67%, 52.14%和19.25%,分别下降到到4.37%, 31.12%和11.67%。利用该模型传递方法可以有效修正主从仪器光谱差异,实现了不同仪器测量光谱及定量分析模型传递共享。该研究的建模分析与模型传递方法也为药品成分与质量检测提供了技术支撑。     

近红外特征光谱的羊肉TVB-N浓度预测模型

为提高生鲜羊肉储存期内（4,8和20 ℃环境）挥发性盐基氮（TVB-N）的近红外光谱（NIR）检测的稳定性和准确性,选取特征光谱和预测模型是关键步骤。以121个羊肉样品为实验对象,采集生鲜羊肉680~2 600 nm波段的近红外光谱。以多元散射校正（MSC）、标准正态变换（SNV）等散射校正方法,Savitzky-Golay卷积平滑（SGS）、移动平均平滑（MAS）等平滑处理方法,以及归一化（Normalization）、中心化（Centering）、标准化（Autoscaling）等尺度缩放方法分别预处理光谱数据后建立偏最小二乘法（PLS）预测模型。比较发现SGS处理的光谱建模效果最好。利用蒙特卡洛采样（MCS）法及马氏距离法（MD）消除了羊肉光谱的5个异常数据。运用光谱-理化值共生距离（SPXY）算法划分总样本的75%（87个）为校正集样本,剩余29个为验证集样本,利用竞争性自适应重加权法（CARS）、无信息变量消除法（UVE）、改进的无信息变量消除法（IUVE）和连续投影算法（SPA）提取特征光谱得到的波长个数分别为14,713,144和15。将全光谱和4种方法提取的特征波长作为输入变量建立预测模型,CARS提取的波长所建立模型的性能优于UVE、IUVE和SPA提取的波长所建立模型的性能,表明CARS方法可以有效简化输入变量并提高预测模型的性能。改进后得到的IUVE法相比于UVE法,筛选出的波长数更少且模型性能有所提升。以提取的特征波长建立PLS,支持向量机（SVM）和最小二乘支持向量机（LS-SVM）预测模型,SVM模型得到最优的校正集预测结果,其中CARS-SVM预测模型的校正决定系数（R2_C）和校正均方根误差（RMSEC）分别为0.939 1和1.426 7,最优的验证集预测效果为LS-SVM预测模型得到,其中IUVE-LS-SVM预测模型的验证决定系数（R2_V）和验证均方根误差（RMSEV）分别为0.856 8和1.886 2。基于近红外特征光谱建立简化、优化的生鲜羊肉储存期TVB-N预测模型,为实现快速无损检测生鲜羊肉中的TVB-N浓度提供技术支持。     

BiPLS结合GA优选可见/近红外光谱MLR变量

利用反向区间偏最小二乘法(BiPLS)定位光谱糖度若干信息区间,运用遗传算法(GA)从中选择波长点,建立了多元线性回归(MLR)模型。光谱进行卷积平滑和二阶导数处理后,将光谱(225个数据点)分割成25个子区间时,BiPLS优化结果最优。在所定位的信息区间进行GA二次选择特征变量,运行100次依次选择入选频率较高的12个波长点。为简化MLR模型,对于入选的相邻波长选择频率较高者,最后选择 638,734,752,868,910,916和938 nm作为回归变量,建立的MLR预测模型相关系数(R2)、校正均方根误差(RMSEC)和预测均方根误差(RMSEP)分别为0.984,0.364和0.471,优于常用的逐步多元线性回归的建模结果。表明BiPLS结合GA可以有效地对李子糖度可见/近红外光谱MLR回归变量进行筛选,提高了模型的精度。     

水果坚实度的近红外光谱检测分析试验研究

应用傅里叶漫反射近红外光谱技术探讨了水果坚实度无损检测的方法。利用偏最小二乘法建立了坚实度与漫反射光谱的无损检测数学模型,同时对不同光谱预处理方法和不同建模波段范围对模型的预测性能进行了对比分析。结果表明：利用傅里叶变换光谱仪采集的原始光谱的平滑预处理对结果并没有太大影响;原始光谱在800～2 500 nm范围的模型得到了最好的预测结果：校正集样本的相关系数r为0.869,校正均方根误差RMSEC为3.88 N;预测集样本的相关系数r为0.840,预测均方根误差RMSEP为4.26 N。 通过本研究得出：应用近红外漫反射光谱检测水果坚实度是可行的,为今后快速无损评价水果成熟度提供了理论依据。     

基于稳定竞争自适应重加权采样的光谱分析无标模型传递方法

提出了一种基于稳定竞争自适应重加权采样(stability competitive adaptive reweighted sampling,SCARS)的无标模型传递方法。利用有用信息标准即稳定度指数(定义为回归系数除以其标准偏差的绝对值)和传递后的预测均方根误差(root mean squared error of prediction,RMSEP),选择重要的、受测样参数影响不敏感的波长变量,能够消除或减少不同仪器或测量条件对样本信息反应差异,提高模型传递效果。此外,在该方法中,光谱变量被压缩、降维,从而使模型传递更稳定。采用该方法对谷物的近红外光谱分析模型在不同仪器之间进行传递研究。结果表明,该方法能消除仪器间的大部分差异,较好地实现模型传递效果。与正交信号校正法(orthogonal signal correction,OSC)、蒙特卡罗结合无用信息变量消除法(Monte Carlo uninformative variable elimination,MCUVE)、竞争自适应重加权采样法(competitive adaptive reweighted sampling,CARS)的比较表明,SCARS不仅在传递精度上能取得比OSC、MCUVE及CARS更好的效果,而且能有效地对光谱数据进行压缩,简化并优化传递过程。     

基于近红外光谱和变量优选的棉麻混纺织物棉含量快速检测

纺织品纤维成分的快速检测对其生产过程质量监控、贸易和市场监督均具有重要的意义。利用近红外光谱技术联合变量优选对棉麻混纺织物中的棉含量进行快速检测研究。采用NIRFlex N-500型傅里叶近红外光谱仪在4 000～10 000 cm-1光谱范围内采集样本的反射光谱,对样本光谱进行范围初选和预处理分析。在此基础上,利用UVE(uninformative variables elimination),SPA(successive projections algorithm)及CARS (competitive adaptive reweighted sampling)方法对光谱变量进行优选,再应用PLS(partial least squares)建立棉麻混纺织物中的棉含量预测模型。最后,采用最优预测模型对未参与建模的样本进行预测。研究结果表明,4 052～8 000 cm-1光谱范围为棉含量较优的建模光谱范围。CARS变量选择方法能较为有效地提高预测模型的精度,CARS-PLS模型的校正集、预测集相关系数和均方根误差分别为0.903,0.749和8.01%,12.93%。因此,近红外光谱联合CARS变量优选可以用于棉麻混纺织物棉含量的快速检测,CARS方法可以有效简化预测模型,提高预测模型性能。     

多元散射校正预处理波段对近红外光谱定标模型的影响

利用近红外光谱对非均匀样品进行分析时,所得样品光谱中包含由光散射导致的干扰信息,通常需要借助多元散射校正算法(multiple scattering correction, MSC)对光谱进行预处理。由于不同波段光谱中所包含的散射信息、噪声水平、基线漂移程度等存在差异,利用MSC方法对光谱进行预处理时,基于不同波段的光谱数据会得到不同的校正结果,进而影响所得定标模型的可靠性。以60个全麦粉样品为研究对象,确定定标区间后,对包含定标区间的不同波段的原始光谱分别进行MSC处理,并利用固定区间内的光谱数据结合偏最小二乘回归(partial least square regression, PLSR)方法建立分析样品中蛋白质含量的定标模型,研究了MSC光谱预处理波段对定标模型的影响,并对MSC光谱预处理波段进行了优化,使定标模型的相关系数由0.96提高到0.98,交互验证均方根误差(root mean squares error of cross validation, RMSECV)由0.37%降低到0.32%。结果表明：利用MSC方法对样品光谱预处理时,光谱预处理波段会影响多元散射校正对光谱中非化学吸收信息的校正能力,确定合适的预处理波段是获得可靠分析结果的一个前提条件。     

FT-NIR光谱仪测定烟草化学成分不同谱区范围对数学模型影响的研究

应用傅里叶近红外技术建立快速定量分析烟草化学成分的数学模型 ,使用BrukerOptics公司的MPA型傅里叶变换近红外光谱仪 ,谱区扫描范围 12 0 0 0～ 4 0 0 0cm- 1 ,选择不同的谱区范围对烟碱、总糖和总氮三种组分的数学模型进行优化 ,结果显示不同谱区范围对同一组分数学模型影响有明显的差异 ,而且不同组分所选择的最佳建模谱区范围是不一样的 ,说明在模型优化过程中选择最佳谱区范围是非常关键的 ,烟碱、总糖和总氮三种组分模型的最佳谱区范围分别是 95 0 0～ 4 2 31 2cm- 1 ,75 0 2 1～ 4 2 4 6 7cm- 1 ,75 0 2 1～4 5 97 7cm- 1 ,三种组分最佳模型交叉检验的均方差 (RMSECV)分别为 0 0 815 ,0 80 8,0 0 5 6。