结合光谱变换和Kennard-Stone算法的水稻土全氮光谱估算模型校正集构建策略研究

土壤组分光谱估算过程中校正样本集的构建会影响模型的预测精度。当前结合反射光谱和Kennard-Stone (KS)算法的校正样本集构建策略忽视了土壤反射光谱是土壤属性的综合反映,构建的样本集通常无法很好地代表目标土壤组分的变异。光谱变换方法可以突出目标组分的光谱特征,为此,本文以湖北省江汉平原滨湖地区水稻土为研究对象,结合包括一阶微分(FD)、Savitzky-Golay(SG)、Haar小波变换、标准正态变量变换(SNV)和多元散射校正(MSC)在内的光谱变换方法和KS算法进行校正样本集建构,通过对比不同样本集构建策略对使用偏最小二乘回归(PLSR)建立的土壤全氮含量光谱估算模型预测精度的影响,研究光谱变换是否有助于提高基于KS算法构建的校正样本集的代表性。结果表明：不同光谱变换会影响校正样本集的构建。反射光谱经过SG或Haar小波变换后,再使用KS算法构建校正样本集与直接基于反射光谱使用KS算法构建的校正样本集相同,建立的估算模型精度不变,相对分析误差(RPD)分别为1.41和1.27。结合FD,SNV或MSC变换和KS算法构建的校正集与基于反射光谱使用KS算法构建的校正集不同,建立的估算模型RPD分别从0.95,1.48和1.42提高到1.13、1.78和2.20。研究表明SNV和MSC等光谱变换方法可以提高基于KS算法构建的校正样本集的代表性,并可有效提高模型预测精度。     

局部建模方法用于烟草样品的近红外光谱定量分析

采用近红外光谱在主成分空间的距离作为样本相似性的判据,建立了一种用于近红外光谱定量分析的局部建模方法。该方法首先对校正集的光谱进行主成分分析(PCA),然后基于主成分空间中预测样本与校正集样本的距离选择校正子集并建立局部偏最小二乘(PLS)回归模型。对欧氏距离和马氏距离的比较表明,欧氏距离可以更好地表达样本之间的相似性。将所建立的方法用于烟草样品中氯和尼古丁含量的测定,结果表明局部建模方法比常用的全局建模方法具有更好的预测准确性,特别是在低含量成分的预测中具有明显优势。     

水稻土可见-近红外-中红外光谱特性与有机质预测研究

土壤有机质是农田肥力评估的重要指标,要实现快速获取大面积土壤有机质的含量需要建立高效、稳健的预测模型。光谱技术能够快速诊断土壤有机质,以水稻土为例,从校正样本选择方法的对比,研究了可见-近红外、中红外和可见-近红外-中红外三种不同波段光谱对土壤有机质的预测能力。可见-近红外和中红外区域的光谱反射率转换成吸收率后通过Savitzky-Golay平滑法去噪,通过三种校正样本选择方法建立相应的偏最小二乘回归预测模型。通过Rank-KS法建立的三种波段的有机质预测模型均优于Rank法和KS法,中红外波段光谱的模型预测能力强于可见-近红外和可见-近红外-中红外波段的预测模型,基于Rank-KS法建立的中红外波段有机质预测模型取得了最好的预测效果,RMSE_P仅为3.25 g·kg-1,RPD达到4.24,依据VIP得分筛选出可见-近红外和中红外波段的水稻土有机质重要建模波段。因此,中红外光谱建模技术能够对水稻土有机质进行快速定量分析,Rank-KS法可提高模型的预测能力,为今后农田肥力评价和科学施肥提供技术支持。     

净信号的局部建模算法及其在近红外光谱分析中的应用

提出了一种基于净信号分析的局部建模算法,以克服光谱定量分析中样本间差异性过大和样本待测性质与光谱之间存在非线性等问题。首先利用净信号分析方法得到校正样本和待测样本的净信号,然后用待测样本净信号和校正样本净信号之间的欧式距离作为样本相似性判据,选取一定数量的与待测样本最相似的校正样本组成局部校正子集,建立局部PLS回归模型。针对一组猪肉近红外光谱数据集的实验结果表明,该方法的预测精度显著优于全局建模方法和基于光谱欧式距离的局部建模方法。     

特征谱区筛选在多元混合物的太赫兹光谱定量分析中的应用

用特征谱区筛选法结合太赫兹时域光谱(THz-TDS)技术对多元混合物成分含量进行了定量分析研究。实验利用太赫兹时域光谱系统测量了由乳糖一水合物(LAC)、对乙酰氨基酚(APAP)、可溶性淀粉(starch)以及微晶纤维素(MCC)四种材料组成的混合物样品的太赫兹吸收光谱,并分别尝试采用常规区间偏最小二乘(iPLS)、向后区间偏最小二乘(biPLS)、联合区间偏最小二乘(siPLS)和移动窗口偏最小二乘(mwPLS)四种特征谱区筛选法对多元混合物的太赫兹吸收光谱进行特征子区间优选,建立了太赫兹吸收谱与四元混合物中乳糖一水合物含量之间的定量回归模型。通过比较四种谱区筛选算法模型及全光谱偏最小二乘(PLS)模型所得结果,表明采用移动窗口偏最小二乘法建立的谱区筛选模型得到的结果相对最优,其交互验证均方根误差(RMSECV)、预测均方根误差(RMSEP)、校正集相关系数(R_C)和预测集相关系数(R_P)分别为0.980 3,1.114 1,0.996 0和0.995 1。实验结果表明,采用特征谱区筛选方法可以有效选择多元混合物太赫兹吸收光谱的特征区间,提高模型精度和降低模型复杂性,为实现多元混合物成分含量的快速检测提供了一种有效的方法。     

湿度对水泥生料近红外光谱检测的影响及补偿方法

近红外光谱检测已被应用于水泥生料成分的快速检测,但现场环境中的湿度等因素会对光谱产生干扰,从而降低检测精度。为了提高检测精度,在实验分析湿度对水泥生料近红外光谱检测影响的基础上研究了补偿方法。在水泥厂选取了24份水泥生料样本,其中18份作为校正集,6份作为验证集;水泥生料中的有效成分为SiO2,Al2O3,Fe2O3和CaCO3,各成分含量的标准值由X射线荧光光谱分析测出。首先,将校正集的18份样本每份重复装样测5次光谱,用得到的90个光谱建立模型Ⅰ;再每份样品制作5个湿度梯度样本,其获得过程为,先将样本放置在电加热平台上,用玻璃棒将样本摊平,180℃下加热30 min,再将样本放置在散热片上进行降温,待样品恢复室温后取出进行第一次光谱扫描,得到1个光谱,将测量后的样本放入搅拌器,使用装有去离子水的喷雾器对其喷雾两次,然后搅拌30 s混合均匀,测量混合后的样本得到下一个光谱,重复该过程,得到具有湿度梯度的5个光谱。所有样本均采用烘干法进行湿度测量,样本湿度变化区间在0.6%~2%以内。对每个湿度梯度的样本测量1次,用得到的这90个光谱建立模型Ⅱ。然后,将验证集的6份样本每份制作5个湿度梯度,获取方式与校正集相同,对每个湿度梯度的样本测量1次,得到30个光谱。所有光谱均采用多元散射校正预处理,拟合波段选择4000~5000 cm^-1,建模方法采用偏最小二乘法。比较同一份样本的5个湿度梯度,可以看到在5200 cm^-1处光谱差异最大,在其他位置也有肉眼可见的明显差异,因此,湿度变化对全波段光谱有明显的影响。最后,将这30个光谱输入模型Ⅰ与模型Ⅱ进行验证,并对比模型Ⅰ与模型Ⅱ的预测均方根误差RMSEP。模型Ⅱ中SiO2,Al2O3,Fe2O3和CaCO3的预测均方根误差RMSEP比模型Ⅰ分别减小了25%,31.3%,33.3%和25%。实验结果表明,水泥生料样本湿度对近红外光谱模型的预测结果具有一定的影响,采用具有湿度梯度的样本进行建模可有效降低湿度对预测结果的影响。     

便携式近红外光谱仪对涤/棉混纺织物的快速无损鉴别

利用便携式近红外光谱仪对376个涤/棉混纺织物进行研究,利用定量分析模型中的偏最小二乘法(partical least squares,PLS)作为校正方法,结合涤/棉混纺织物中涤、棉含量设定的定性鉴别系数,建立了涤/棉混纺织物的半定量-定性分析校正模型。该模型对涤/棉混纺织物进行定性鉴别的同时得出其相对含量,分析结果具有半定量性质。在建模过程中,采用Savitzky-Golay导数法,消除噪声和基线漂移对光谱的影响,并研究了波段选择和不同预处理方法对定性校正模型的影响。纯棉的主要吸收峰位于1 400~1 600 nm,纯涤的主要吸收峰位于1 600~1 800 nm,随着涤或棉含量的增加,其相应的吸收峰强度增强,因此,建模波段以涤、棉主要吸收峰区间为基本波段,进行双向扩展,得到最佳波长区间1 100~2 500 nm(相关系数0.6,波点数934)。利用所建校正模型对验证集样本进行预测,结果表明,在1 100~2 500 nm处,预处理方法为Savitzky-Golay导数、多元散射校正与均值中心化相结合时,该模型评价参数较佳,其中RC(校正集相关系数)0.978,RP(验证集相关系数)0.940,SEC(校正标准差)1.264,SEP(预测标准差)1.590,样品预测正确率达93.4%。表明该定性分析校正模型能够较好地对涤/棉混纺织物进行半定量-定性预测。     

利用高光谱扫描技术检测小麦叶片叶绿素含量

利用高光谱扫描技术对小麦叶片进行无损检测试验,探索精确测定小麦叶绿素含量的方法,为农作物生长状况、植物病理诊断等提供科学依据。研究选取90个样本作为校正集,30个样本作为预测集,获取叶片的高光谱反射图像,同时用传统的分光光度计方法测定其叶绿素含量。选取波长491～887 nm范围光谱,用多元散射校正、一阶导数、二阶导数3种方法处理,利用偏最小二乘法和逐步线性回归法分别建立了小麦叶片叶绿素含量与光谱信号间的数学模型。研究发现多元散射校正(MSC)结合二阶导数光谱的多元线性回归(SMLR)模型的效果较优,模型校正集和预测集决定系数分别为0.82和0.79,校正均方根误差和预测均方根误差分别为0.69和0.71。研究结果表明可以利用高光谱扫描技术检测小麦叶片叶绿素含量。     

木材种类的近红外光谱和模式识别

木材的种类识别是木材加工和贸易的一个重要环节,传统的木材种类识别方法主要有显微检测法和木材纹理识别法,其操作繁琐,耗时长,成本高,不能满足当前需求。本研究利用木材的近红外光谱(NIRS)结合模式识别方法,以期实现木材种类的快速准确识别。采用近红外光谱结合主成分分析法(PCA)、偏最小二乘判别分析法(PLSDA)和簇类独立软模式法(SIMCA)三种模式识别对58种木材进行种类鉴别研究;5点平滑、标准正态变量变换(SNV)、多元散射校正(MSC)、Savitzky-Golay一阶导数(SG 1st-Der)和小波导数(WD)五种光谱预处理方法用于木材光谱的预处理;校正集和测试集样品的正确识别率(CRR)用于模型的评价。采用PCA方法,通过样品的前三个主成分空间分布图分辨木材种类的聚类情况。在建立PLSDA模型,原始光谱的正确识别率最高,分别为88.2%和88.2%;5点平滑处理的光谱校正集和测试集的CRR分别为88.1%和88.2%;SNV处理的光谱校正集和测试集的CRR分别为84.4%和84.5%;MSC处理的光谱校正集和测试集的CRR分别为83.1%和84.2%;SG 1st-Der处理的光谱校正集和测试集的CRR分别为81.8%和82.7%;WD(小波基为“Haar”,分解尺度为80)处理的光谱校正集和测试集的CRR分别为87.3%和87.2%。可知,在PLSDA模型中,木材光谱未经预处理种类识别效果最后好。在建立SIMCA模型过程中,原始光谱的校正集和测试集的CRR分别为99.7%和99.4%;5点平滑处理的光谱校正集和测试集的CRR分别为100%和100%;SNV处理的光谱校正集和测试集的CRR分别为99.5%和99.1%;MSC处理的光谱校正集和测试集的CRR分别为99.0%和98.4%;SG 1st-Der的光谱校正集和测试集的CRR分别为81.8%和82.7%;WD处理的光谱校正集和测试集的CRR分别为100%和100%。可知,在SIMCA模型中,木材光谱经平滑和小波导数处理后的识别效果最好,且光谱的校正集和测试集CRR都为100%。采用三种模式结合五种不同的预处理方法对木材近红外光谱进行定性建模识别时,由于木材样本属性复杂,主成分分布图相互交织,PCA无法识别出58种木材;原始光谱的PLSDA模型可以得到较好的判别模型,但校正集和测试集的CRR只有88.2%和88.2%;木材光谱经过5点平滑或WD预处理后的SIMCA模型可达到最好的识别效果,校正集和测试集的CRR均为100%,且WD-SIMCA模型因子数比5点平滑SIMCA模型小,模型更为简化,故WD-SIMCA为58种木材种类识别的最优模型。研究表明光谱预处理方法可以有效的提高木材种类识别精度,有监督模式识别方法SIMCA可以用来建立有效的木材识别模型,近红外光谱结合模式识别可以为木材种类的识别提供一种快速简便的分析方法。     

毛竹化学成分光谱分析的快速建模方法研究

研究了毛竹综纤维素和木质素含量近红外光谱定量分析方法的建立。选用不同竹龄、纵向和横向部位的54个竹材粉末样品,用湿化学方法测定其综纤维素和木质素含量。在综纤维素和木质素含量的分布范围内,从低值、中间值和高值中挑选11个代表性样品,11个样品按预定比例混合得到21个混合样品,混合样品的综纤维素和木质素含量计算得到,再挑选22个目标成分含量不同的样品组成54个样品的校正集。用偏最小二乘法分别建立样品综纤维素含量、木质素含量和近红外漫发射光谱之间的相关模型。结果表明,综纤维素含量的预测模型的相关系数(R_p)为0.92,标准偏差(SEP)为1.04％;木质素含量的预测模型的R_p为0.93,SEP为0.91％,与常规方法建立的模型预测精度相似。说明利用样品混合的方式可快速增加校正集样品的数量、改善校正集样品的分布状况,继而建立稳定可靠的近红外定量分析模型。     

基于集群方法(ER)的近红外光谱转移集优化法

近红外光谱因为具有小成本、易操作、低耗时等优点,所以广泛用于食品领域.作为一种间接的检测方法,近红外光谱检测需要建立光谱和浓度之间的统计模型.但是,一种条件下建立的模型在另一种检测条件下会失效.针对此问题,重新建模可以加以解决,但是重新建立光谱与浓度之间的模型非常繁琐耗时.此时,模型转移可以在避免重新建模的情况下,通过...     

加权SPXYE(WSPXYE)算法及其在近红外光谱模型转移中的应用

样本选择是模型转移的重要组成部分,其目的是在主光谱和从光谱中选择合适的样本,建立二者的转移模型,使得从光谱的预测样本能通过转移模型校正成类似于主光谱的样本,进而用主光谱的模型直接预测其浓度。目前,常用的样本选择算法有：Kennard-Stone 法 (KS法), SPXY法和SPXYE法。根据上述算法的特点,提出了一种新的样本选择方法：加权SPXYE法(WSPXYE法),进而将其用于选择合适的转移集样本。WSPXYE同样先计算样本间的距离,其距离有三个部分组成：光谱(X)之间的归一化距离d_xs,浓度(y)之间的归一化距离d_ys,以及校正误差(e)之间的归一化距离d_es。其加权代数和d_wspxye=αd_xs+βd_ys+(1-α-β)d_es即为WSPXYE距离。计算了WSPXYE距离之后,可以根据其距离选择距离较大的样本作为转移集样本。WSPXYE是Kennard-Stone法(KS法), SPXY法和SPXYE法的推广,而KS法（α=1,β=0）、SPXY法（α=0.5,β=0.5）以及SPXYE法（α=0.333,β=0.333）则是WSPXYE法的特例。直接校正法（DS）、有信息成分提取-典型相关分析法(CCA-ICE)作为模型转移算法验证了WSPXYE方法的效果。结果显示,与KS法、SPXY法以及SPXYE法相比,WSPXYE法可以通过调节参数,选择合适的样本,获得较低的误差。     

应用数字傅里叶滤波方法提高近红外光谱多元校正模型稳健性的研究

在近红外光谱多元校正方法实际应用中,经常遇到这样的情况,近红外光谱校正模型仅适用于建模时的测量条件,而在测量条件稍有变化时就无法实现样品的准确预测。文章主要研究采用数字傅里叶滤波预处理方法提高近红外光谱多元校正模型稳健性。文章将数字傅里叶滤波预处理方法应用于葡萄糖水溶液的温度实验,实验1和实验2分别在恒温25 ℃和恒温30 ℃进行光谱测量;实验3在未控温的室内环境下进行光谱测量。采用实验1和实验2的样品作为训练集进行模型训练和优化,模型建立完毕之后,采用实验3的样品作为验证集进行模型预测能力评价。结果表明,如果训练集样品未经过预处理而直接建立偏最小二乘(PLS)多元校正模型,则验证集样品均方根预测误差(RMSEP)为664.47 mg·dL-1。而训练集和验证集样品经过傅里叶滤波预处理之后分别进行PLS建模和预测,验证集样品均方根预测误差(RMSEP)降低为58.43 mg·dL-1,样品预测值与参考值的相关性也得到提高。可见,采用数字傅里叶滤波预处理方法可以提高多元校正模型的稳健性。     

校正集选择方法对于积雪草总苷中积雪草苷NIR定量模型的影响

近红外光谱定量分析中,采用合适的校正集选择方法是建立预测性能良好的近红外定量模型的关键技术之一。校正集选择方法有RS法、CS法、KS法和SPXY法等,但是对以上校正集选择方法缺乏系统地比较。本文以积雪草总苷中积雪草苷NIR定量模型为载体,对NIR定量模型的7个评价指标进行分类和筛选,比较了CS法、KS法和SPXY法三种校正集选择方法对NIR定量模型的准确性和稳健性两类评价指标的影响。结果表明,SPXY法与CS法、KS法选择校正集样本后所建近红外模型的RPD和RSEP两个准确性评价指标存在显著性差异,模型的稳健性评价指标RMSECV和|RMSEP-RMSEC|不存在显著性差异。因此,建立积雪草总苷近红外光谱的积雪草苷偏最小二乘定量模型时,SPXY校正集选择方法能显著提高该定量模型的预测准确度,但对模型稳健性的评价指标没有显著影响,以上结论为中药固体体系建立近红外定量模型确定校正集选择方法提供参考。     

高光谱技术融合图像信息的牛肉品种识别方法研究

高光谱图像包含了大量的光谱信息和图像信息,采用高光谱成像技术对牛肉品种进行识别。获取可见-近红外(400~1000 nm)光谱范围内的安格斯牛、利木赞牛、秦川牛、西门塔尔牛、荷斯坦奶牛五个品种共252个牛肉样本的高光谱图像。在ENVI软件中对高光谱图像进行阈值分割并构建掩膜图像,获取样本的感兴趣区域(ROI),并结合伪彩色图对牛肉样本的反射率指数进行可视化表达;采用Kennard-Stone(KS)法对样本集进行划分以提高模型的预测性能;对原始光谱采用卷积平滑(SG)、区域归一化(Area normalize)、基线校正(Baseline)、一阶导数(FD)、标准正态变量变换(SNV)及多元散射校正(MSC)等6种方法进行预处理;采用竞争性自适应重加权算法(CARS)提取特征波长。然后利用颜色矩对不同牛肉样本的颜色特征进行提取;对原始光谱图像进行主成分分析,结合灰度共生矩阵(GLCM)算法,提取主要纹理特征。最后结合偏最小二乘判别(PLS-DA)算法建立牛肉样本基于特征波长、颜色特征以及纹理特征的识别模型。KS法将牛肉样本划分为校正集190个,预测集62个;将未经预处理的光谱数据与经过6种不用预处理的光谱数据进行建模分析,结果发现经FD法处理后的光谱数据所建模型的识别率最高;结合CARS法对经FD法预处理后的光谱数据进行特征波长提取,共提取出22个波长;利用颜色矩和GLCM算法分别提取出每个牛肉样本的9个颜色特征、48个纹理特征。将特征波长数据与颜色、纹理特征信息进行融合建模,结果表明,基于特征光谱+纹理特征的模型识别效果最佳,其校正集与预测集识别率分别为98.42%和93.55%,均高于特征光谱数据模型识别率,说明融合纹理特征后使样本分类信息的表达更加全面;融合颜色特征后模型的校正集识别率均有所增加,但预测集识别率稍逊,颜色特征虽携带了部分有效信息,但这些信息与牛肉样本的相关性不大。因此,寻找与牛肉样本相关性更大的颜色特征是提高模型识别率的重要途径之一。该研究结果为牛肉品种的快速无损识别提供了一定的参考。     

干贝水分检测的建模及分级方法

高光谱成像已被应用于建立干贝水分含量预测模型，其模型性能受样本划分方法及建模方法影响。样本划分方法决定着所选样本是否具有代表性，而建模方法决定着如何利用样本建立模型，但样本划分方法与建模方法的内在联系却鲜有研究报道。在方法优选上，将样本划分方法与建模方法进行组合，探究不同方法组合对干贝水分含量预测模型性能的影响，对干贝水分检测建模及分级方法的优选具有重要意义，同时也能为其他样本的光谱建模提供参考。采集380～1 030 nm波段下270个干贝样本的高光谱图像，提取干贝样本的光谱数据，通过RS，KS，SPXY和CG四种常用的方法划分样本，并以PLSR和LS-SVM两种常用的建模方法建立多个干贝水分含量预测模型，计算和比较各模型的性能指标。结果表明: PLSR模型使用RS法划分干贝水分含量样本最为适宜(其RPD为4.079 6)，LS-SVM模型使用SPXY划分法最为适宜(其RPD为4.175 6)，划分样本方法的优劣与建模方法有关，其优选需要结合特定的建模方法进行。在常用的四种样本划分方法和两种建模方法中，采用SPXY法划分干贝水分含量样本并结合LS-SVM法建模的效果和精度最好。     

多维标度线性回归技术应用于人体血清临床指标的FTIR光谱定量分析

人体血清临床指标是衡量人体健康和亚健康水平的重要因素之一,采用傅里叶红外(FTIR)光谱技术实现人体血清临床指标的多成分快速同时检测。提出利用多维标度法(MDS)对光谱变量进行降维,结合多元线性回归(MLR)技术,建立多维标度线性回归(MDS-MLR)模型,为血清四种临床生化指标(葡萄糖、低密度脂蛋白胆固醇、甘油三酯、尿素)的定量分析优选光谱信息波长点,优化定标预测模型,结合移动平均法(MA)进行光谱预处理,得到良好的建模效果。通过检验集样品进行验证,检验相关系数均在0.9以上。结果表明,MDS-MLR方法具有人体血清临床指标FTIR光谱分析的应用潜力。FTIR技术结合MDS-MLR定量分析方法可以实现对人体健康和亚健康水平的快速评定。