有监督主成分回归法在近红外光谱定量分析中的应用研究

介绍了运用有监督主成分回归法建立近红外光谱定量分析模型的原理和方法.利用该方法先进行近红外光谱定量分析建模的波长信息选择,达到降低光谱数据维数的目的,然后建立数学模型,并用其分析预测集样品.文中以66个小麦样品为实验材料,随机选择其中40个样品建立小麦样品中蛋白质含量的近红外光谱定量分析模型,首先优选出4个波长点:4 632,4 636,5 994,5 997 cm-1,利用这4个波长点处光谱信息建立主成分回归模型预测26个样品的蛋白质含量,其结果与凯氏定氮法分析结果的相关系数为0.991,平均相对误差为1.5%.该方法从大量光谱数据中筛选出最重要的部分波长信息,实现了"少而精"的波长点选择,对建立抗共线性信息干扰的光谱定量分析模型,同时对指导专用近红外分析仪器设计中波长点的选择等方面都有一定的意义.     

MAXR回归法在近红外光谱定量分析及最优波长选择中的应用研究

介绍了运用MAXR回归法建立傅里叶变换近红外光谱定量分析模型的原理和方法。以此方法,由Matlab语言设计程序,进行近红外光谱定量分析建模的波长信息选择。并以小麦样品为实验材料,建立了蛋白质含量的近红外光谱定量分析模型,其中优选出2个和3个波长点处光谱信息建立的多元回归模型的预测结果与凯氏定氮法分析结果相关系数分别为0.977 1和0.976 5,标准差分别为0.335和0.340。MAXR回归法在进行波长信息,选择时可建立分别包含1,2,…,k个波长点信息的最优回归模型,且计算量适中,因此是一种实用的选择“最优”波长信息的回归方法。该方法不仅可少而精选择波长信息,建立抗共线性信息干扰的光谱定量分析模型,而且对于特定样品、特定待分析组分,选择最优波长信息建模分析的工作,可指导专用近红外分析仪器的设计。     

基于最小角回归与GA-PLS的NIR光谱变量选择方法

近红外(NIR)光谱一般具有较多的波长变量数,对其直接或间接地进行变量选择是提高模型稳定性能及预测性能的关键。最小角回归(LAR)是一种相对较新和有效的机器学习算法,常用于进行回归分析和变量选择。面向光谱建模应用,提出一种LAR结合遗传偏最小二乘法(GA-PLS)的变量选择方法,可有效筛选出少数特征波长点。首先在全光谱区利用LAR消除变量间的共线性得到初筛波长点,然后用GA-PLS对LAR筛选出的波长点进一步优选从而得到最终建模用的特征波长点。为验证本文方法的有效性,以药片和汽油的近红外光谱回归分析作为应用案例,对原光谱进行预处理后,采用该方法进行变量筛选,然后分别建模其中的活性成分含量和C10含量。结果显示,在这两个应用中,最终优化得到的特征波长点数均只需七个,而两者的预测决定系数R2_p分别达到0.933 9和0.951 9,与全光谱、无信息变量消除法(UVE)和连续投影算法(SPA)等方法相比,特征波长点更少,同时R2_p和预测均方根误差RMSEP值更优。因此,LAR结合GA-PLS,能有效地从近红外光谱中选择出信息变量从而减少建模波数,提高预测精度,拥有较好的模型解释性。该方法可为特定领域的专用光谱仪设计提供有效的波长筛选工具。     

胡杨叶片水分含量的近红外光谱检测

胡杨叶片水分含量是评价胡杨健康状况的重要指标。光谱检测法是一种常用的手段,但在近红外光谱的测量过程中,在一定程度上必然受到仪器噪声、摆放形态差异和环境的干扰,为避免噪声、散射对近红外光谱的影响,减少数据维数,采用多元散射校正(MSC)算法对原始光谱数据进行预处理,去除散射和基线漂移的影响,增加了光谱数据的信噪比,使有效光谱信息较为明显,谱带特征得到加强,有利于特征波长的选择。为降低模型的复杂度,防止过拟合现象,减小共线性影响,利用连续投影算法(SPA)进行特征变量选择,并通过多元线性回归模型,分析各个波长模拟的残差平方,评价各个波长的贡献,剔除贡献较小的波长,最终获得用于建模的特征波长,改善建模条件。最后使用偏最小二乘回归算法建立胡杨叶片水分含量检测模型。实验表明,直接使用原始光谱,利用SPA算法筛选变量个数为6个,模型预测精度为90.144%,相关系数r=0.674 24,RMSE=0.021 434,MSC处理后,利用SPA算法选定最终变量数为5个,预测精度为97.734%,相关系数r=0.781 63,RMSE=0.016 776。MSC和SPA算法有效的消除了散射噪声、减小了共线性干扰,模型的预测精度和相关性增加,误差减小,可用于胡杨叶片水分的快速无损检测,而且对其他作物叶片水分检测也具有一定的借鉴意义。     

基于近红外光谱分析技术测定库尔勒香梨硬度

采用近红外(NIR)漫反射光谱法对新疆特色梨果库尔勒香梨的五种不同果（包括青头、粗皮、脱萼、宿萼、突顶果）的硬度进行测定。由于近红外光谱数据量大且原始光谱噪声明显、测定水果时散射严重等导致光谱建模时关键波长变量提取困难。以新疆库尔勒香梨为研究对象,为了有效地消除固体表面散射以及光程变化对NIR漫反射光谱的影响,首先采用标准正态变量变换（SNV）和多元散射校正（MSC）对库尔勒香梨的原始光谱进行预处理。为寻找适合近红外光谱检测库尔勒香梨硬度的最佳特征波长筛选方法,进行香梨近红外光谱的特征波长变量选择方法的比较与研究。研究比较了两种特征波长筛选方法对库尔勒香梨硬度偏最小二乘法（PLS）建模精度的影响。同时使用反向偏最小二乘（BiPLS）和遗传算法结合反向偏最小二乘（BiPLS-GA）在全光谱范围内筛选香梨硬度的特征波长变量,将校正均方根误差（RESMC）、预测均方根误差（RESMP）以及决定系数（R2）作为模型的评价标准,并最终确定最优波段选择方法及最佳预测模型。基于选择的特征波长变量建立的PLS模型（BiPLS-GA）与全光谱变量建立的PLS模型进行比较发现BiPLS-GA模型仅仅使用原始变量中6.6%的信息就获得了比全变量PLS模型更好的库尔勒香梨硬度的预测结果,其中R2,RMSEC和RMSEP分别为0.91,1.03和1.01。进一步与基于反向偏最小二乘算法（BiPLS）获得的特征变量建立的PLS模型比较发现,BiPLS-GA不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,使得建模变量从301个减少到20个。极大地简化模型的同时有效地提高了模型的预测精准度和稳定性。因此该方法能够有效地用于近红外光谱数据变量的选择。证明了近红外光谱分析技术结合BiPLS-GA模型能够高效地选择出建模变量,去除与库尔勒香梨硬度无关的近红外光谱信息,显著地提高库尔勒香梨硬度定量模型的预测精度。这不仅为新疆地区特色梨果库尔勒香梨的快速、精确、无损优选分级提供一定的技术支持,同时也为基于近红外光谱分析技术预测水果内部品质的研究提供了参考。     

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、 维数高且原始光谱噪声明显、 散射严重等特征导致光谱建模时关键波长变量提取困难。 基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。 鸭梨作为研究对象。 采用决定系数r2、 预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。 基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2_pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。 进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。 结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。 从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。     

最小角回归结合竞争性自适应重加权采样的近红外光谱波长选择

近红外光谱分析技术对检测样品无损伤且检测速度快、精度高,因此被广泛应用在了药品检测、石油化工等领域,尤其近年来机器学习和深度学习建模方法的深入应用使其具备了更准确的检测性能。然而,样品的近红外光谱数据具有比较高的维度且存在谱间重合、共线性和噪声等问题,对近红外光谱模型的性能产生消极影响,此时样品有效特征波长的筛选极为重要。为了提高近红外光谱定量和定性分析模型的准确性和可靠性,提出了一种近红外光谱变量选择方法,其结合了最小角回归（LAR）和竞争性自适应重加权采样（CARS）的优点,具有更优的性能。该方法利用LAR初步筛选样品全谱区的特征波长,接着利用CARS对筛选出来的特征波长进一步选择,从而有效去除无关特征波长。为验证该方法的有效性,从定量和定性分析两个方面评价该方法。在定量分析实验中,以FULL,LAR,CARS,SPA和UVE作为对比方法,以药品样品数据集为实例建立PLS回归分析模型,经LAR-CARS筛选出的变量建立的PLS模型在药品数据集表现出较高的预测决定系数和较低的预测标准偏差。在定性分析实验中,以SVM,ELM,SWELM和BP作为对比方法、不同比例训练集的药品数据集为实例建立分类模型,经LAR-CARS筛选出的变量建立的SVM分类模型精度最高达100%。从实验结果可见,LAR-CARS可有效的筛选出表征样品特征的波长,利用其筛选出的波长建立的定量、定性分析模型具有更好的鲁棒性,可用于样品光谱的特征波长筛选。     

岭回归在近红外光谱定量分析及最优波长选择中的应用研究

以66个小麦样品为试验材料,研究岭回归方法在近红外光谱定量分析中的应用。用44个小麦样品的近红外光谱数据建立测定蛋白质含量的近红外-岭回归模型,预测其余22个小麦样品的蛋白质含量。预测结果与凯氏定氮法分析结果(化学分析值)的平均相对误差为1.518%,与偏最小二乘法(PLS)预测结果进行比较,显示岭回归方法可用于近红外光谱定量分析;进一步,为了减少无关信息对定量分析模型预测能力的干扰,一种有效的方法就是进行波长信息的选择。从1297个波长点中优选出4个波长点,利用这4个波长点处的光谱信息建立近红外-岭回归模型预测22个样品的蛋白质含量,预测结果与凯氏定氮法分析结果之间的平均相对误差为1.37%,相关系数达到0.9817。结果表明岭回归方法从大量光谱信息中筛选出了最重要的波长信息、不仅简化了模型,有效的减少了光谱信息共线性的干扰,而且对特定分析选择出适用的波长对指导设计专用近红外定量分析仪器亦有实际意义。     

近红外光谱定量分析的改进ELM算法

极限学习机理论(extreme learning machine, ELM)作为一种新的化学计量学方法,在近红外光谱定量分析中的应用研究,已引起学术界的高度重视。然而,由于光谱数据维数较高,建立ELM模型时需要大量的隐节点,导致隐含层输出矩阵维数高且存在高度共线性,用现有的Moore-Penrose广义逆算法求取隐含层输出矩阵与待测性质间的回归模型往往会存在病态问题。基于ELM建立光谱波长变量与性质之间的回归模型,提出以ELM模型隐含层输出矩阵作为新的变量,采用作者最新提出的基于变量投影重要性的改进叠加PLS算法(stacked partial least squares regression algorithm based on variable importance in the projection,VIP-SPLS),建立新变量与待测性质间的回归模型。VIP-SPLS算法充分利用了每个隐节点的输出信息,能有效解决高维共线性问题,同时具有模型集成的优点,从而改进了ELM模型的性能。将提出的改进ELM算法(improved ELM,iELM)应用于标准近红外光谱数据集,结果表明iELM模型的精度相对于现有的PLS模型和ELM模型分别显著提升了29.06%和27.47%。     

基于卡尔曼滤波的近红外光谱特征波长变量优选方法

将经典的卡尔曼滤波器与近红外光谱分析技术相结合,提出了一种新的特征波长变量选择方法——卡尔曼滤波法。分析了卡尔曼滤波器用于波长优选的原理,设计了波长选择算法并将其应用到大豆油脂酸价的近红外光谱检测中。首先利用偏最小二乘法(PLS)对油脂不同吸收波段建模,初步筛选出4 472～5 000 cm-1油脂酸价特征波段共132个波长点,然后进一步利用卡尔曼滤波器进行特征波长选择,从中优选出22个特征波长变量建立PLS校正模型,预测集决定系数R2、预测误差均方根RMSEP分别为0.970 8和0.125 4,与利用132个波长点建立的校正模型预测结果相当,而波长变量数减少到原来的16.67%。该波长变量选择算法是一种确定性的迭代过程,无复杂的参数设置和变量选择的随机性,物理意义明确。优选出少数对模型影响较大的特征波长变量以代替全谱建模,在简化模型的同时提高了模型的稳健性,为开发专用油脂近红外光谱分析仪器提供了重要参考依据。     

高光谱成像的猕猴桃糖度无损检测方法

猕猴桃糖度是重要的猕猴桃内部品质衡量指标。传统的糖度检测耗时且有损样品,有效无损检测猕猴桃糖度含量对于其品质分级、储藏销售具有重大意义。基于高光谱成像技术的常见果蔬品质无损检测方法多数是采用竞争性自适应重加权算法(CARS)、连续投影算法(SPA)、主成分分析(PCA)、迭代保留信息变量法(IRIV)等算法中的某个单一算法提取特征光谱变量,而这些算法单独使用易导致预测结果的稳定性不足。对此,开展了基于高光谱成像技术的猕猴桃糖度的无损检测方法研究。以四川省雅安市“红阳”猕猴桃为研究对象,依次对猕猴桃样本编号并采集其在400~1 000 nm波长范围内的高光谱图像,计算感兴趣区域的平均光谱作为样本的有效光谱信息;分别采用多元散射校正（MSC）、标准正态变量变换（SNV）、直接正交信号校正（DOSC）等3种光谱数据预处理方法分析对预测模型精度的影响,对比结果显示DOSC的预处理效果最好;对预处理后的光谱分别采用一次降维(CARS,SPA,IRIV)、一次组合降维(CARS+SPA,CARS+IRIV)算法和二次组合降维算法((CARS+SPA)-SPA,(CARS+IRIV)-SPA))等7种算法提取特征光谱变量,并分别构建了预测猕猴桃糖度的3种模型,即支持向量回归机（SVR）、最小二乘支持向量机（LSSVM）和极限学习机（ELM）模型;最后对比了基于不同特征提取方法的3种模型的预测精度。研究结果表明：ELM模型具有最好的预测性能,而SVR模型的预测性能最差;(CARS+IRIV)-SPA所选特征光谱变量输入LSSVM、ELM模型,其获得的预测结果均优于其他算法所选特征光谱变量输入对应模型所得的预测结果,证明了(CARS+IRIV)-SPA算法在提高猕猴桃糖度含量检测精度方面的有效性。对比不同方法的预测结果可知,(CARS+IRIV)-SPA-ELM对猕猴桃糖度的预测性能最优,其相关系数R_c=0.945 1,R_p=0.839 0,均方根误差RMSEC=0.450 3,RMSEP=0.598 3,预测相对分析误差RPD=2.535 1,该方法为猕猴桃糖度的检测无损化、精准化、智能化发展提供了可靠的理论依据和技术支撑。     

土壤碱解氮含量可见/近红外光谱预测模型优化

可见/近红外光谱技术是土壤成分检测的有效工具。波长筛选对可见/近红外模型土壤属性的预测精度有重要影响。以宁夏吴忠地区75个水稻土样为研究对象,利用可见/近红外光谱技术采集土壤样品光谱,采用SPXY （Sample set partitioning based on joint X-Y distance）方法选取了校正集和预测集样本,比较了分别采用Savitzky Golay平滑（SG smoothing）、多元散射校正（Multiple scatter correction,MSC）、标准正态变量变换（Standard normal variate,SNV）3种预处理方法对光谱数据处理后建立土壤碱解氮偏最小二乘法模型和原始光谱数据建模的效果。在此基础上,分别采用遗传算法（Genetic gorithms,GA）、连续投影算法（Successive projections algorithm,SPA）、竞争性自适应重加权算法（Competitive adaptive reweighted Sampling,CARS）、随机蛙跳（Random frog,RF）进行波长筛选,最后应用偏最小二乘法建立基于不同波长筛选方法的土壤碱解氮含量预测模型。研究表明,由于仪器性能稳定,样品的颗粒度比较小和均匀,本次实验原始光谱数据建模效果最好;各种波长筛选方法均可有效减少参与建模的波长数,且连续投影算法优于全谱建模,所选波长数仅为全谱波长数的1%,其预测决定系数（R²）、预测均方根误差和相对分析误差值分别为0.726,3.616,1.906。这表明连续投影算法可以有效筛选水稻土碱解氮敏感波段,为土壤碱解氮传感器开发提供技术支持。     

可见/近红外漫透射光谱结合CARS变量优选预测脐橙可溶性固形物

可溶性固形物(SSC)是脐橙重要内部品质之一。采用QualitySpec型光谱仪在350～1000 nm波段范围采集脐橙的可见/近红外漫透射光谱,采用CARS(competitive adaptive reweighted sampling)变量选择方法筛选出与脐橙SSC相关的重要变量,并与无信息变量消除(UVE)及连续投影算法(SPA)比较。最后,对选择的38个重要波长变量应用偏最小二乘(PLS)回归建立脐橙SSC预测模型,并对未参与建模的75个样品进行预测。研究结果表明,CARS方法优于UVE及SPA变量选择方法,能有效地筛选出重要波长变量。CARS-PLS建立的SSC预测模型优于全光谱的PLS模型,其校正集及预测集的相关系数分别为0.948和0.917,均方根误差分别为0.347%和0.394%。因此,可见/近红外漫透射光谱结合CARS方法可以预测脐橙可溶性固形物,CARS变量选择方法能有效简化预测模型和提高模型的预测精度。     

基于紫外‐可见透射光谱技术和极限学习机的早期鸡胚雌雄识别

为了对鸡种蛋胚胎进行雌雄识别,探究利用紫外-可见-近红外透射光谱进行鸡胚雌雄识别的可行性,搭建了鸡种蛋透射光谱检测系统,采用横向和竖向大头朝上2种放置方式获取210枚鸡种蛋孵化0~15 d的光谱,光谱范围为360~1 000 nm。构建极限学习机（ELM）鸡胚雌雄识别模型,通过比较不同放置方式和孵化天数下模型的识别准确率,发现竖向放置且孵化第7 d的识别效果最好;将竖向放置孵化第7 d的光谱初步分为紫外（360~380 nm）、可见光（380~780 nm）、近红外（780~1 000 nm）、紫外-可见光（360~780 nm）和全波段（360~1 000 nm）5个不同的波段范围来分析,预测集准确率分别为82.86%,77.14%,75.71%,84.29%和81.43%,筛选出360~780 nm的紫外-可见光波段为有效波段;在紫外-可见光（360~780 nm）波段,采用多元散射校正（MSC）去噪,并用竞争性自适应重加权采样算法（CARS）和连续投影算法（SPA）筛选特征波长降维,建立不经筛选特征波长、CARS筛选特征波长和SPA筛选特征波长的3种ELM模型。其中不经筛选特征波长的ELM模型识别效果最好,但输入变量最多,隐含层神经元为680且激活函数为sig时,预测集准确率为84.29%。SPA筛选特征波长的ELM模型识别效果次之,输入变量有9个,隐含层神经元为840且激活函数为hardlim时,预测集准确率为81.43%。CARS筛选特征波长的ELM模型识别效果最差,输入变量有27个,隐含层神经元为100且激活函数为sig时,预测集准确率为78.57%;用遗传算法（GA）优化ELM模型的权值变量和隐含层阈值,不经筛选特征波长建立的GA-ELM模型,预测集准确率为87.14%,SPA筛选特征波长建立的GA-ELM模型,预测集准确率为87.14%,CARS筛选特征波长建立的GA-ELM模型,预测集准确率为81.43%。紫外-可见光波段不经筛选特征波长的GA-ELM模型识别效果和经SPA筛选特征波长的GA-ELM模型相同,表明SPA筛选的特征波长变量能够有效反映360~780 nm波段的信息,SPA使用的变量数仅占紫外-可见光波段的2.14%,因此,雌雄识别最佳模型为紫外-可见光波段经SPA筛选特征波长的GA-ELM模型,预测集准确率为87.14%,其中,雌性识别率为88.57%,雄性识别率为85.71%,单个样本平均判别时间0.080 ms。结果表明紫外-可见透射光谱技术和ELM模型为孵化早期鸡胚蛋雌雄识别提供了一种可行方法。     

近红外特征光谱的羊肉TVB-N浓度预测模型

为提高生鲜羊肉储存期内（4,8和20 ℃环境）挥发性盐基氮（TVB-N）的近红外光谱（NIR）检测的稳定性和准确性,选取特征光谱和预测模型是关键步骤。以121个羊肉样品为实验对象,采集生鲜羊肉680~2 600 nm波段的近红外光谱。以多元散射校正（MSC）、标准正态变换（SNV）等散射校正方法,Savitzky-Golay卷积平滑（SGS）、移动平均平滑（MAS）等平滑处理方法,以及归一化（Normalization）、中心化（Centering）、标准化（Autoscaling）等尺度缩放方法分别预处理光谱数据后建立偏最小二乘法（PLS）预测模型。比较发现SGS处理的光谱建模效果最好。利用蒙特卡洛采样（MCS）法及马氏距离法（MD）消除了羊肉光谱的5个异常数据。运用光谱-理化值共生距离（SPXY）算法划分总样本的75%（87个）为校正集样本,剩余29个为验证集样本,利用竞争性自适应重加权法（CARS）、无信息变量消除法（UVE）、改进的无信息变量消除法（IUVE）和连续投影算法（SPA）提取特征光谱得到的波长个数分别为14,713,144和15。将全光谱和4种方法提取的特征波长作为输入变量建立预测模型,CARS提取的波长所建立模型的性能优于UVE、IUVE和SPA提取的波长所建立模型的性能,表明CARS方法可以有效简化输入变量并提高预测模型的性能。改进后得到的IUVE法相比于UVE法,筛选出的波长数更少且模型性能有所提升。以提取的特征波长建立PLS,支持向量机（SVM）和最小二乘支持向量机（LS-SVM）预测模型,SVM模型得到最优的校正集预测结果,其中CARS-SVM预测模型的校正决定系数（R2_C）和校正均方根误差（RMSEC）分别为0.939 1和1.426 7,最优的验证集预测效果为LS-SVM预测模型得到,其中IUVE-LS-SVM预测模型的验证决定系数（R2_V）和验证均方根误差（RMSEV）分别为0.856 8和1.886 2。基于近红外特征光谱建立简化、优化的生鲜羊肉储存期TVB-N预测模型,为实现快速无损检测生鲜羊肉中的TVB-N浓度提供技术支持。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

近红外光谱的油页岩总有机碳快速检测

为了快速检测油页岩总有机碳（TOC）含量,以松辽盆地某区块所取岩芯为研究对象,测量230个岩石样本的TOC含量和近红外光谱数据。利用蒙特卡洛法剔除异常样本14个,剩余的216个样本进行去趋势加基线校正方法预处理,采用连续投影算法（SPA）、无信息变量消除算法以及竞争自适应算法选取特征波长。使用SPXY方法对样本按照2∶1的比例划分为144个校正集和72个验证集,然后建立线性的偏最小二乘（PLS）模型以及非线性的支持向量机（SVM）模型和随机森林（RF）模型对油页岩TOC含量进行预测。采用测定系数（R2）和均方根误差（RMSE）作为模型的评价指标,探究不同特征波长选择方法对油页岩总有机碳建模的影响,比较不同建模方法对油页岩TOC含量预测的准确度。结果表明,特征波长提取能够起到优化模型的作用。SPA,UVE和CARS分别提取了16,253和65个波长,经过特征波长提取后模型测定系数均有提高,均方根误差均有下降,这说明进行特征波长优选对于简化模型、提高模型运算速度发挥着很重要的作用。此外,非线性的RF和SVM模型性能要优于线性模型PLS。这是因为油页岩中的碳存在于各类烃的中,不同类别含烃基团的吸收峰之间相互影响,使得油页岩总有机碳含量和近红外光谱数据之间存在着复杂的非线性关系,因此,非线性的SVM和RF模型能够表现出更好的效果。相比于其他模型,CARS-SVM模型验证集的测定系数（R2_v）和均方根误差（RMSEV）表现出的结果较好,分别达到了0.906 6和0.222 0,该模型能够用于油页岩总有机碳含量的快速检测。研究结果说明,近红外光谱分析应用于油页岩TOC含量快速检测是可行的;建立的CARS-SVM模型能够表现出较好的预测效果,为我国油页岩TOC含量快速检测提供了一种新的方法和思路。     

基于高光谱成像技术的脐橙叶片的叶绿素含量及其分布测量

为实现脐橙叶片叶绿素含量无损检测及其分布可视化表征,采用高光谱成像技术,结合自适应重加权算法(CARS)和连续投影算法(SPA),筛选特征光谱变量,进行脐橙叶片叶绿素含量及可视化分布研究。选取叶绿素测量位置的7×7矩形感兴趣区域,提取并计算脐橙叶片平均光谱。基于Kennard-ston方法,将148个脐橙叶片样品划分成建模集和预测集(111∶37)。采用CARS和SPA算法分别筛选出了32个和6个叶绿素特征光谱变量,用于建立偏最小二乘(PLS)回归模型。采用37个未参与建模的脐橙叶片样品评价模型的预测能力,经比较,CARS-PLS和SPA-PLS模型均优于变量筛选前的PLS模型,且CARS-PLS和SPA-PLS模型的预测能力几乎相同,其预测集相关系数分别为0.90和0.91,均方根误差分别为1.53和1.60。SPA-PLS模型计算脐橙叶片每个像素点的叶绿素含量,经伪彩色变换,绘制了脐橙叶片叶绿素含量可视化分布图。实验结果表明:变量筛选方法结合高光谱成像技术,能够实现脐橙叶片叶绿素含量无损检测及叶绿素分布可视化表达,并简化了数学模型。     

改进的随机蛙跳算法对农机润滑油污染浓度的近红外光谱检测研究

润滑油是农业机械正常作业的必要物资,农业机械发动机工作的动力性、安全性、经济性以及寿命与润滑油状况有着紧密联系。污染浓度作为油液的综合评价指标,常规的实验室检测耗时长、成本高,所以开发高效的润滑油污染浓度检测技术具有重要意义。提出了一种基于近红外光谱技术的农机润滑油污染浓度的检测方法,同时针对随机蛙跳(RF)特征波长选择算法中迭代次数大,结果再现性低等缺点,提出了一种迭代保留信息变量的随机蛙跳(IRIV-RF)特征波长选择算法。该算法一方面利用迭代保留信息变量(IRIV)算法提取出强信息变量和弱信息变量,将其作为RF算法中的初始变量集,消除初始变量集的随机性对结果再现性的影响。另一方面通过对变量按被选概率值由大到小正向排序后,从首个波长开始依次增加一个波长建立偏最小二乘回归(PLSR)模型,选择交叉验证均方根误差(RMSECV)值最小时的变量子集为特征波长,消除RF算法所提取的特征波长数量的不确定性。利用近红外光谱仪采集自行配制的101份不同污染浓度的农机润滑油原始光谱数据,选用三种不同的预处理方法分别对原始光谱进行处理,确定最佳的预处理方法为变量标准化(SNV)。在此基础上通过RF,IRIV和IRIV-RF三种算法分别对全谱进行特征波长选择,并建立PLSR模型。通过对全谱-PLSR,RF-PLSR,IRIV-PLSR以及IRIV-RF-PLSR模型的预测精度进行比较,结果表明,经过IRIV-RF算法提取特征波长后所建立的PLSR模型预测精度最高,预测相关系数(R_p)为0.965 7,预测均方根误差(RMSEP)为9.0584,显著提升了预测精度与运行效率,降低模型复杂程度。IRIV-RF是一种有效的特征波长选择算法,研究证明了近红外光谱联合改进的IRIV-RF算法检测农机润滑油污染浓度的可行性,为鉴定润滑油品质提供了一种新的思路。     

特征变量优选在苹果可溶性固形物近红外便携式检测中的应用

为实现苹果可溶性固形物(SSC)的便携式快速检测,利用环形光纤探头和微型光谱仪搭建便携式苹果可溶性固形物光谱采集系统,结合无信息变量消除(UVE)、遗传算法(GA)、竞争性自适应加权(CARS)算法筛选基于偏最小二乘(PLS)的苹果可溶性固形物的近红外光谱特征波长。另外,采用反向区间最小二乘支持向量机(BiLS-SVM)和GA算法优选基于LS-SVM的特征波长变量,分别建立所选特征波长和全波段的PLS模型和LS-SVM模型。试验结果表明,经过GA-CARS算法从全波段1 512个波长中筛选出的50个特征波长建立的PLS模型效果最好,其预测相关系数和预测均方根误差分别为0.962和0.403°Brix。利用该检测装置结合GA-CARS筛选的特征波长,可有效简化苹果可溶性固形物近红外便携式检测模型并提高模型的预测精度,为进一步构建便携式苹果可溶性固形物检测设备奠定了基础。