基于Slope/Bias算法的相近种类水果模型传递研究

为了提升便携式近红外仪器中单一水果模型应用的广泛性,创新性的将不同仪器间模型传递的思想应用在不同种类水果间可溶性固形物(soluble solid content,SSC)的模型传递。基于苹果、梨、桃三种水果在SSC含量范围、果型大小以及果皮厚度等的相近物理化学特性,提出利用简单的斜率/截距(Slope/Bias)算法对苹果SSC的偏最小二乘(partial least square,PLS)模型进行传递,仅用少量的梨和桃样品即可将苹果SSC模型应用于其SSC值的预测,更快捷方便且节约成本。对于梨样品,用35个标准样品,预测集均方根误差(root mean square error of prediction,RMSEP)值由直接预测的1.009°Brix降为0.565°Brix;对于桃样品,用40个标准样品,RMSEP由直接预测的1.726°Brix降为0.677°Brix。为了验证该模型传递方法的可行性,通过斜率/截距算法,采用梨和桃模型对其他两种水果的SSC进行预测,其中利用建立的梨SSC模型,经斜率/截距算法模型传递后,对于苹果样品,用30个标准样品,RMSEP值达到0.597°Brix,对于桃样品,用40个标准样品,RMSEP值达到0.689°Brix;利用建立的桃SSC模型,经斜率/截距算法模型传递后,对于苹果样品,用35个标准样品,RMSEP值达到0.654°Brix,对于梨样品,用30个标准样品,RMSEP值达到0.439°Brix。研究结果表明:斜率/截距(Slope/Bias)方法可用于苹果、梨、桃等相近种类水果间的模型传递,为近红外光谱仪在相似种类物质间的预测提供了新思路。     

不同土壤类型的有机质含量的可见-近红外光谱检测模型传递方法研究

利用可见-近红外光谱分析技术可以准确快速的获取土壤养分含量,但不同类型土壤间养分含量校正模型的普适性是亟待解决的关键问题。为提高有机质含量光谱校正模型在多类型土壤之间的普适性和农田在线检测有机质含量速度,利用美国M107B区66个样品建立基于可见-近红外光谱的土壤有机质含量的粒子群-最小二乘支持向量机（PSO-LSSVM）校正模型,预测M107B区的23个验证集样品的决定系数R2=0.859,相对分析误差RPD=2.660;将M107B区89个土壤样品作为校正集建模后对N116B区20个验证集样品的有机质含量预测,预测R2=0.562,预测RPD=0.952,模型的预测R2和预测RPD分别降低34.6%和64.2%,表明M107B区土壤有机质含量的可见-近红外光谱校正模型直接用于N116B区时,预测精度显著降低;将N116B区部分土壤样品加入到M107B区样品集后重新建模,并预测N116B区20个验证集样品的有机质含量,当加入的N116B区土壤样品数量达到35以上,预测R2>0.80,预测RPD>2.0;加入到校正集的N116B区土壤样品数量从0增加到50,模型预测R2从0.562增加到0.811,预测RPD从0.952增加到2.274,精度逐渐提高。结果表明,在M107B区校正模型中加入N116B区部分土壤样品建模,能够有效提高M107B区土壤校正模型对N116B区土壤有机质含量的预测精度;加入的N116B区土壤样品数量达到50以上,模型预测性能趋于稳定,预测精度达到实用要求,成功将M107B区土壤有机质含量校正模型传递给N116B区土壤;优先选择与M107B区土壤样品的有机质含量或光谱曲线差异较大的N116B区土壤样品参与建模,可有效避免模型传递时模型性能出现突变。提出的方法能够有效提高M107B区土壤的有机质校正模型对N116B区土壤的预测精度,为基于可见-近红外光谱的农田土壤有机质含量实时检测提供一种新的经济可行的模型传递方法,为提高多类型土壤的有机质含量检测模型的普适性提供一种有效的解决方案。     

蛋白饲料原料粗蛋白含量近红外光谱模型转移研究

建立良好的蛋白饲料近红外光谱定量分析模型及实现在不同仪器间的模型共享,能极大提高模型的利用效率,满足饲料行业快速发展的需要。针对蛋白饲料原料粗蛋白含量近红外分析模型适用性问题,首次采用光谱差值转移、直接校正和分段直接校正法进行了三台不同类型的近红外光谱仪之间的模型转移研究。实验样品为四种蛋白饲料原料：玉米蛋白粉、菜粕、酒糟和鱼粉。实验仪器包括MATRIX-Ⅰ傅里叶变换型近红外光谱仪(主仪器),Spectrum 400傅里叶变换型近红外光谱仪(从仪器1)和SupNIR-2750光栅扫描型近红外光谱仪(从仪器2)。研究表明,同一样品体系在主仪器和从仪器2上所得光谱数据的差异性相对较小,且均与从仪器1所得光谱数据的差异性相对较大。除分段直接校正法对玉米蛋白粉从仪器2的预测结果无促进作用之外,其他模型的预测均方根误差和系统偏差均明显低于转移前。玉米蛋白粉、菜粕和酒糟样品采用三种方法转移后的模型预测相对分析误差(RPD)均大于3.0,预测效果良好。鱼粉样品模型转移后的预测RPD均大于2.5,预测效果较好。三种方法对于蛋白饲料原料不同仪器间的光谱差异进行了有效校正。该研究结果对于蛋白饲料品质近红外快速分析模型的广泛应用具有重要意义。     

滤光片型近红外仪器模型传递的研究

模型传递问题是近红外光谱分析技术中解决数据通用性的关键问题。文章以玉米籽粒近红外光谱图(检测其中水分含量)为例,考察了模型传递的问题。使用斜率截距算法,直接校正法和目标因子分析等算法,在5台滤光片型近红外仪器上实现了模型传递,并比较了各种方法的模型传递效果。研究表明,直接校正法的模型传递效果最好,4台从仪器的平均传递差异度为7.01%。文章还研究了标准样品数量对模型传递效果的影响。作为转换集的标准样品数目越多,模型传递效果越好,一般有20个标准样品就能达到稳定的效果。当转换集小于20时,直接校正法的传递效果急剧下降,而标准样品数量对斜率截距法和目标因子分析法的影响不明显。     

可见-近红外光谱的土壤养分快速检测

在测定土壤养分中,可见-近红外光谱技术具有很大的应用空间。该研究探讨了基于可见-近红外光谱(250~950nm)离线、快速测定土壤总氮(TN)、总磷(TP)、总钾(TK)、总碳(TC)等土壤养分的方法及应用。采集青岛三个不同地区土壤样品(异质性较高的山地土壤与河畔土壤)各60份,总计180份,并测定其TN,TP,TK,TC含量及其可见-近红外反射光谱,利用Kennard-Stone法按2∶1比例划分校正集和检验集,采用遗传算法分别提取TN,TP,TK,TC特征波长,以偏最小二乘法建立定量分析模型。TN,TP,TK,TC含量所建光谱模型的相关系数分别为0.970,0.964,0.680和0.967,检验集的相关系数分别为0.980,0.937,0.717和0.972,检验集的RPD值分别为4.570,2.424,1.411和4.135。结果表明,该方法能够对土壤TN,TP,TC含量进行精确预测,对土壤TK含量进行粗略预测。该研究主要依靠可见光波段,较好的预测了异质性较高的土壤的氮磷钾等养分含量,有望降低未来土壤养分速测的成本。此外,该研究还提供了青岛土壤养分的光谱库,为我国土壤大数据库的建立提供技术支撑。     

便携式近红外光谱仪的苹果糖度模型温度修正

样品温度对近红外光谱有很大影响,在近红外技术评价水果品质的实际应用时,需要修正温度变化对模型预测结果的影响。便携式近红外光谱仪采集不同温度下(0～30℃)苹果的漫透射光谱,采用二阶导数和卷积平滑进行预处理。选取20℃下代表性样本的光谱数据,建立基准PLS模型。斜率/偏差法分别计算苹果糖度PLS模型在0,10和30℃下的修正方程。分析结果表明:斜率/偏差法对0,10和30℃下外部样本预测结果进行修正,预测精度得到显著提高,其修正前后的Q值分别为0.525cv 0.810,0.680cv0.822,0.669cv 0.802。温度修正模型可以有效提高预测精度,也扩展了近红外仪器的适用性,为自主研发便携式近红外光谱仪提供参考。     

可见-近红外光谱的模型转移分类方法

基于光谱技术建立的多元校正模型通常条件下只适用于同一台仪器、相同的测试条件及同批次或同类别的样品。在仪器、测试环境、样品发生变化后,已建光谱模型不再适配,需要进行模型转移。模型转移是限制光谱技术推广应用的关键技术瓶颈,模型转移是否成功直接影响到可见-近红外光谱技术的推广应用,为此,综述了其研究现状,并探讨了其未来发展方向。首先,将模型转移问题分成了两类：第一类是相同样品在不同仪器或不同测试环境（不同温度/不同湿度）等条件下产生的模型不适配问题;第二类是不同批次、不同物理形态、不同种类间产生的模型不适配问题。这两类问题性质不同,解决第一类模型转移,能够保证同源样品的准确性和稳定性;解决第二类,能够实现光谱模型在不同样品间的自动传递和匹配应用。然后,梳理了常用的模型转移算法并进行了分类,包括模型更新、基于光谱校正算法、基于结果校正算法等,并列举了每个类别的模型转移算法的应用。模型更新是一种重新计算模型系数最直接的方法,通过扩展和调整模型来满足新的变化;基于光谱校正算法是通过算法计算转移矩阵,实现对光谱的校正;基于结果校正算法是通过算法计算预测结果和实际结果系数,从而实现预测结果的校正。最后,指出未来应着重研究第二类模型转移问题,并且要寻找能够实现机器自动校正的模型转移,从根本上解决模型转移这一限制光谱速测应用的主要技术瓶颈。     

近红外光谱技术在广东地区不同类型土壤有机质、总氮、水分含量和pH值的测定研究

采集了广东不同地区不同土壤类型表层土77个样品的近红外光谱,建立土壤有机质、总氮、pH值和水分含量的定量预测数学模型,定向系数(R~2)分别为92.19,88.24,90.02,87.73;均方根误差(RMSECV)分别为4.42,0.038 1,0.214,0.518,各地区表层土壤能建立良好的模型。总氮的模型由于样品含氮量比较接近,范围较窄,代表性稍差,模型有待进一步完善。结果显示,利用NIRS对不同土壤类型进行营养成分分析是可行的,可以快速掌握土壤养分的动态变化,在土壤监测、测土施肥等方面具有广阔的发展前景。     

基于集群方法(ER)的近红外光谱转移集优化法

近红外光谱因为具有小成本、易操作、低耗时等优点,所以广泛用于食品领域。作为一种间接的检测方法,近红外光谱检测需要建立光谱和浓度之间的统计模型。但是,一种条件下建立的模型在另一种检测条件下会失效。针对此问题,重新建模可以加以解决,但是重新建立光谱与浓度之间的模型非常繁琐耗时。此时,模型转移可以在避免重新建模的情况下,通过光谱校正,保证预测精度。在模型转移中,已经建立好模型的光谱称为主光谱(A),不用建立模型,而只用主光谱模型预测的光谱称为从光谱 (B)。模型转移方法的步骤是,先在校正集中选择一些样本作为主光谱的转移集(A_t),然后选择从光谱中浓度和A_t相同的光谱,以此作为从光谱的转移集(B_t)。通过A_t和B_t构建模型转移矩阵。最后将需要校正的从光谱(B_v)乘以上述的转移矩阵中,即可获得校正后的从光谱(B_new)。此时,B_new就可以用主光谱的模型来直接预测。在模型转移中,转移集样本的选择对模型校正至关重要。目前,转移集的样本通常从光谱之间的距离而非模型转移误差获得。但是,转移误差对模型转移结果的验证至关重要,故该研究出了基于集群分析的集群优化法(ER)并将其用于优化KS方法产生的转移集样本。ER先用随机方法建立转移集的多个子集合,并计算每个子集合的转移误差。然后,对某一个样本,计算包含这个样本的子集合转移误差均值。最后,选择转移误差均值较低的样本作为新转移集样本进行模型转移。以玉米数据测试了ER算法。结果显示,对于典型相关分析-有信息成分提取法(CCA-ICE)、直接校正法(DS)、分段直接校正法(PDS)、光谱空间转化法(SST)这些常见的模型转移方法,相比于KS样本选择方法,ER方法可以找出重要的转移集样本,进而显著降低模型转移误差。     

近红外光谱温度修正定量分析模型的研究

以小麦粉末样品为实验材料,研究了环境温度对近红外光谱定量分析结果的影响。将环境温度作为外部变量,使用不同温度下的45个样品建立了测定小麦蛋白质含量的温度修正模型,预测不同温度下的小麦样品的蛋白质含量,结果同以22 ℃恒温下45个样品建立的模型进行了比较。分析结果表明：温度修正模型的预测标准差(SEP)平均为0.333,而恒温模型(22 ℃)的预测标准差随着环境温度与建模时温度差的增大而增大,当环境温度4 ℃时,SEP=0.601 6。温度修正模型可以有效的提高近红外光谱定量分析精度。     

DS算法在近红外光谱多元校正模型传递中的应用

模型传递问题是近红外光谱分析技术中一个关键的共性基础技术问题。模型传递通过在同一型号的两台仪器之间寻求一种变换关系,使得在一台仪器上建立起的模型能够应用于另外一台仪器样品光谱响应的预测。文章将直接校正(direct standardization,DS)算法应用于化学计量学多元校正中的模型传递,并研究了模型转换集样品的选择方法。在两台AOTF近红外光谱仪上进行了模型传递实验,首先采用Kennard/Stone算法选择转换集样品,然后采用DS方法进行模型传递。实验结果表明采用DS算法取得了较好的模型传递效果。DS算法不仅可以应用于不同仪器之间的光谱分析模型传递,而且该方法对于同一仪器的长时间漂移或者由于部件的更换、测量环境的改变等引入的光谱差异校正也是适用的。     

变量优选补正算法的鲜枣可溶性固形物检测模型传递方法研究

在水果的品质检测和分级分选中,存在不同仪器所建检测模型难以共享的难题。为此,以壶瓶枣为研究对象,利用可见/近红外光谱技术探讨仪器间可溶性固形物含量（SSC）检测模型的传递方法。首先,采用美国ASD（Analytical Spectral Device）公司生产的两台仪器采集样本的光谱信息,采用最小二乘支持向量机（LS-SVM）建立原始光谱、Savitzky-Golay一阶导数处理、标准正态变量变换后的SSC检测模型,预测不同仪器采集的光谱时3种方法的预测能力均较差。预测同一台仪器的光谱时,基于原始光谱的主仪器所建模型最优,预测集的决定系数（R2_p）和均方根误差（RMSEP）分别为0.73和1.36%。在此基础上,采用Kennard/Stone算法选取标样,利用专利算法（Shenk’s）、直接标准化（DS）、斜率/偏差算法（S/B）进行模型传递。然后,根据回归系数提取主仪器（24个）和从仪器（28个）的特征波长,优选出单一变量（SV）24个、共性变量（CV）23个、融合变量（FV）29个,均涵盖了SSC的主要吸收谱带。利用优选的变量分别建立主仪器的LS-SVM检测模型,采用主仪器的预测结果（R2_p=0.78~0.80,RMSEP=1.07%~1.13%）明显好于全波段所建模型,但预测从仪器时RMSEP为6.62%~7.88%,模型失效。最后,基于波长位置偏移和分子振动的吸收特性提出了共性变量优选结合差值补正（CV-MC）、单一变量优选结合差值补正、融合变量优选结合差值补正、共性变量优选结合波长补正算法（CV-WC）进行模型传递,并与SV-Shenk’s,CV-Shenk’s,FV-Shenk’s,SV-DS,CV-DS,FV-DS,SV-S/B,CV-S/B和FV-S/B进行对比分析。结果表明,基于全波段进行模型传递时,预测结果均较差（R2_p=0.03~0.34,RMSEP=2.44%~4.67%）;基于优选变量所建模型经SV-Shenk’s,CV-Shenk’s,FV-Shenk’s传递后的结果较差,经其他算法传递后的结果（R2_p=0.47~0.73,RMSEP=1.30%~1.90%）好于全波段;基于共性变量传递后的结果好于单一变量和融合变量,CV-MC结果最佳（R2_p=0.73,RMSEP=1.30%）,CV-WC传递后的预测结果（RMSEP=1.62%）与CV-DS和CV-S/B相近。研究表明,CV-MC和CV-WC均是一种有效模型传递算法,对建立不同仪器间通用的鲜枣品质检测模型具有重要意义。     

多分类器融合提取土壤养分特征波长

光谱已经应用于土壤养分速测的分析，但是如何寻找土壤光谱特征波段，尽最大可能避免无用信息干扰、保留有用信息，建立准确度高、预测效果好的模型仍是一个亟需解决的问题。以青岛三个不同地区土壤样品为例，测定土壤样品的紫外-可见-近红外光谱及其总碳（TC）、总氮（TN）、总磷（TP）含量；分别采用连续投影算法（SPA）、无信息变量消除法（UVE）、遗传算法（GA）、相关系数法（CC）四种算法（四种单分类器）对土壤光谱提取特征波长；再引入投票法和加权投票法的多分类器融合方法将四种算法融合得到特征波长；以偏最小二乘回归（PLSR）建立各土壤养分含量的模型，通过对模型效果的评价标准（建模集绝对系数R2_c、校正均方根误差RMSEC、检验集绝对系数R2_p、预测均方根误差RMSEP和相对分析误差RPD值）来判别各单分类器算法和多分类器融合算法对土壤养分含量特征波长的提取效果。分别对四种算法、筛选其中三种算法、最优二种算法进行融合，分析融合后模型效果和特征波长个数，结果表明：将四种单分类器经投票法融合后，其模型效果大部分不如单分类器，且相对好的模型特征波长个数较多；相较于投票法多分类器融合，四种单分类器经加权投票法融合模型效果有了一定的提高，TC和TN都能够在较少的波长中获得较好的预测效果，但仅TN经融合后，模型效果优于每个单分类器；TC，TN，TP分别在取SPA+UVE+GA，SPA+UVE+GA（或SPA+GA+CC）、SPA+UVE+GA三种单分类器进行加权投票法融合后，均能获得最优模型效果，且明显优于每个单分类器，模型效果有了显著提高；各土壤养分含量经两个最优单分类器加权投票法融合后，仍能得到好于最优单分类器的建模效果，TC和TP建模效果略差于三个单分类器融合结果，TN建模效果与三个单分类器融合结果相同。因此，在筛选三种算法融合，且其中包含最优两种算法的情况下，能够以较少的特征波长个数获得明显高于单分类器的建模效果。该方法为寻找土壤养分以及其他复杂物质成分的光谱特征波段提供了新方法，也为多种算法的综合运用提供了新思路。     

一种新的多元校正模型分子光谱传递方法

无论是近红外还是红外光谱,多元校正模型的传递问题都尚未解决。为了实现模型和光谱的传递,提出了一种改进的PDS算法——SA-PDS算法,论方法通过PDS算法进行模型传递,使用光谱间的夹角大小作为判定准则来选择传递参数,使得模型传递过程不受到样品性质参考值的影响,也不再依赖于模型,并且可以双向传递。该方法分别通过在近红外数据和中红外数据中应用来证明模型传递的可行性,实验收集烟叶样本测得其近红外光谱,沥青样本测得其中红外光谱,将烟叶总糖会计师和沥青蜡含量作为模型预测对象。使用光谱夹角作为PDS参数选择标准与使用预测标准偏差作为判定准则相比,实验表明：对于近红外光谱的从机向主机的传递,其验证集预测精密度RMSEP从5.257 4降低至1.337 1,优于RMSEP(1.350 3)方法,预测偏差也同样被改善。对于中红外光谱从机向主机的传递,新方法验证集预测精密度RMSEP从0.525 1降低至0.186 9,优于RMSEP(0.219)方法。主机向从机的传递也取得了满意的传递结果。     

一种简便的近红外光谱标准化方法

针对目前近红外光谱分析中模型传递现有方法的局限性,文章介绍了一种简便的近红外光谱标准化方法,并构造了一种新的光谱标准化误差指标(spectra standard error,SSE)作为评价传递结果的指标。SSE为J₂和J₁的比值,这里,J₂表示同一样本在不同仪器上测得的谱线的距离,J₁表示目标机的不同样本相对中心谱线的平均距离。文章首先对不同光谱仪所测得的吸光度谱图进行多项式卷积平滑处理以去除基线,接着采用标准归一法以实现谱图的标准化,并采用多项式卷积滤波以去除噪声。为使SSE达到最小,在处理过程中可进行波长范围和卷积窗口宽度的优化。经过上述处理后的标准化谱图可用于光谱建模分析。该方法不需要预先获得大量样本,也不需要将同一样本在不同光谱仪上测得的谱图进行比较。针对一批汽油样本的试验结果表明,借助于此方法可使SSE从1.418下降至0.167,谱图标准化效果令人满意。     

NIR models for predicting total sugar in tobacco for samples with different physical states

Due to the spectra variation of the inhomogeneous tobacco flakes results the inaccuracy and instability of the near infrared model. This paper presented the strategies of calibration transfer and hybrid modeling for determining total sugar content in tobacco based on the homogeneous powder model. The necessity judgments and acceptance criteria of the calibration transfer were also proposed. Calibration transfer methods include Slope/Bias Correction (S/B), Piecewise Direct Standardization (PDS), double window piecewise direct standardization (DWPDS), and Shenk’s were adopted, a transfer set of 15 samples were chosen for each methods, and the results showed that Shenk’s is the adequate transfer method as only one indicator did not fulfill the acceptance criteria of the transfer. Other methods were all dissatisfied with the acceptance criteria and cannot be applied to the calibration transfer between the tobacco flake and powder. While the hybrid model of adding some flake samples to the powder model achieved preferred prediction ability. The study showed that adding around 10% variation samples caused the average prediction error of total sugar content (range 12.1–37.2%) in flake samples from 7.25% (predicted by a flake model) significantly dropping to 4.98%, even close to the prediction of the same powder samples (4.21%) by the powder model. It will valuable for the promotion of the NIR network and online analysis.     

直接校正算法的柑橘溃疡病高光谱模型传递

针对目前所建立的柑橘溃疡病高光谱模型普适性差、预测精度低的问题,提出了基于不同仪器间高光谱模型传递来提高模型稳健性的方法。以脐橙52和卡拉卡拉红肉脐橙为研究对象,利用实验室高光谱成像平台(System 1, S1)和便携式高光谱成像仪(System 2, S2)采集了健康和染病柑橘的高光谱图像,建立了独立的柑橘溃疡病判别模型,并分析了不同预处理方法和判别模型对模型预测性能的影响。将S1和S2分别作为源机和目标机,利用直接校正算法对目标机获取的高光谱图像进行校正,分析模型传递前后的模型判别能力。结果表明,采用二阶导数预处理,极限学习机预测性能最佳,基于S1和S2检测的预测集识别率分别为97.5%和98.3%;以S1数据建立主模型,对经直接校正算法校正后的S2高光谱图像进行识别,预测集的识别率从校正前的38.1%提高到了86.2%。说明该方法可用于不同型号高光谱成像仪之间的定标模型传递,对于建立稳健可靠的柑橘溃疡病判别模型具有重要意义。     

结合光谱变换和Kennard-Stone算法的水稻土全氮光谱估算模型校正集构建策略研究

土壤组分光谱估算过程中校正样本集的构建会影响模型的预测精度。当前结合反射光谱和Kennard-Stone (KS)算法的校正样本集构建策略忽视了土壤反射光谱是土壤属性的综合反映,构建的样本集通常无法很好地代表目标土壤组分的变异。光谱变换方法可以突出目标组分的光谱特征,为此,本文以湖北省江汉平原滨湖地区水稻土为研究对象,结合包括一阶微分(FD)、Savitzky-Golay(SG)、Haar小波变换、标准正态变量变换(SNV)和多元散射校正(MSC)在内的光谱变换方法和KS算法进行校正样本集建构,通过对比不同样本集构建策略对使用偏最小二乘回归(PLSR)建立的土壤全氮含量光谱估算模型预测精度的影响,研究光谱变换是否有助于提高基于KS算法构建的校正样本集的代表性。结果表明：不同光谱变换会影响校正样本集的构建。反射光谱经过SG或Haar小波变换后,再使用KS算法构建校正样本集与直接基于反射光谱使用KS算法构建的校正样本集相同,建立的估算模型精度不变,相对分析误差(RPD)分别为1.41和1.27。结合FD,SNV或MSC变换和KS算法构建的校正集与基于反射光谱使用KS算法构建的校正集不同,建立的估算模型RPD分别从0.95,1.48和1.42提高到1.13、1.78和2.20。研究表明SNV和MSC等光谱变换方法可以提高基于KS算法构建的校正样本集的代表性,并可有效提高模型预测精度。