近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

基于光谱技术和连续投影算法的润滑油品牌快速鉴别研究

为了实现润滑油品牌的快速无损检测,提出了一种基于可见/近红外光谱透射技术与连续投影算法相结合的润滑油品牌快速鉴别新方法。采用连续投影算法对6种润滑油的可见/近红外光谱数据进行波长变量的筛选,再结合偏最小二乘法建立润滑油品牌的鉴别模型。结果表明,鉴别模型的相关系数r为0.9721,预测均方根误差RMSEP为0.4055,鉴别正确率为91.7%。说明提出的连续投影算法结合偏最小二乘算法具有很好的预测效果。     

基于近红外光谱和稀疏偏最小二乘回归的生物质工业分析

林木生物质能源作为一种新型可再生能源,具有非常广阔的发展前景。基于近红外光谱技术,首次引入稀疏偏最小二乘回归建立木屑生物质的工业分析模型,用于生物质燃料特性的快速分析测定。工业分析总共测定了80种木屑的水分、灰分、挥发分和固定碳含量百分比;按照样品种类和产地将其划分为训练集和测试集,利用近红外光谱仪采集光谱数据并进行小波滤波处理;再利用稀疏偏最小二乘回归建立木屑生物质的定量分析模型,并与主成分回归、偏最小二乘回归、最小绝对收敛及变量筛选方法的建模效果进行比较。结果证明,相对于以上三种建模方法,稀疏偏最小二乘回归能够挑选出有重要影响的波长群组,降低非目标波段的噪声干扰,从而增强数学模型的解释能力并提高定量分析的准确度。利用稀疏偏最小二乘回归算法挑选的波长区间基本覆盖了工业分析中水分的吸收峰,而对于灰分、挥发分和固定碳的吸收峰波段尚无准确定位,需要继续探讨。总体而言,稀疏偏最小二乘回归能够减少无关信息的干扰,提高模型定量分析的准确度,增强模型的解释能力,将会在近红外光谱技术应用领域内起到重要作用。     

用遗传算法快速提取近红外光谱特征区域和特征波长

提出了一种遗传区间偏最小二乘法(GA-iPLS),并用该方法快速提取苹果糖度近红外光谱的特征区域,在此基础上采用遗传偏最小二乘法(GA-PLS)提取苹果糖度近红外光谱的特征波长,进行苹果糖度预测。结果表明,整个光谱等分为40个子区间,遗传区间偏最小二乘法能快速寻找出5个特征子区间(第4,6,8,11,18号);在5个特征子区间的基础上用遗传偏最小二乘法继续优化,从中提取44个特征波长。建立在5个特征子区间和44个特征波长上的偏最小二乘法模型精度均优于全光谱偏最小二乘法模型,对预测集的预测相关系数提高了近10%;且模型得到了很大的简化,用于建模的主因子数减少了7个。这些结果表明,用这两种方法不但可以建立简洁、数据运算量少的模型,还可以快速地提取近红外光谱的特征区域和特征波长。     

特征变量优选在苹果可溶性固形物近红外便携式检测中的应用

为实现苹果可溶性固形物(SSC)的便携式快速检测,利用环形光纤探头和微型光谱仪搭建便携式苹果可溶性固形物光谱采集系统,结合无信息变量消除(UVE)、遗传算法(GA)、竞争性自适应加权(CARS)算法筛选基于偏最小二乘(PLS)的苹果可溶性固形物的近红外光谱特征波长。另外,采用反向区间最小二乘支持向量机(BiLS-SVM)和GA算法优选基于LS-SVM的特征波长变量,分别建立所选特征波长和全波段的PLS模型和LS-SVM模型。试验结果表明,经过GA-CARS算法从全波段1 512个波长中筛选出的50个特征波长建立的PLS模型效果最好,其预测相关系数和预测均方根误差分别为0.962和0.403°Brix。利用该检测装置结合GA-CARS筛选的特征波长,可有效简化苹果可溶性固形物近红外便携式检测模型并提高模型的预测精度,为进一步构建便携式苹果可溶性固形物检测设备奠定了基础。     

SPA-LS-SVM检测土壤有机质和速效钾研究

应用可见/短波近红外光谱分析测量土壤有机质和速效钾含量。光谱预处理包括平滑,标准归一化,多元散射校正和平滑结合一阶导数,以消除系统噪声和外部干扰,分别应用偏最小二乘和最小二乘支持向量机方法建立校正模型,模型的输入为基于连续投影算法得到的特征波长。比较显示基于连续投影算法得到的特征波长为输入的最小二乘支持向量机优于偏最小二乘法建模。模型评价指标由相关系数和预测均方误差表示。有机质的相关系数和预测均方误差分别0.860 2和2.98,速效钾为0.730 5和15.78。表明基于连续投影算法可见/短波近红外光谱利用最小二乘支持向量机建模,可以作为一个精确的土壤有机质和速效钾的测定方法。     

基于遗传算法和间隔偏最小二乘的苹果硬度特征波长分析研究

利用傅里叶近红外光谱(FT-NIRS)测定了苹果的硬度。通过使用几种基于遗传算法和间隔偏最小二乘法的特征波长选取方法,包括动态向后间隔偏最小二乘(dynamic backward version of interval PLS,dynamic biPLS)、动态向后间隔偏最小二乘结合遗传算法(dynamic biPLS & GA-PLS)和反复的遗传算法(iterative GA-PLS),分析了苹果硬度的特征波长。结果表明,运用遗传算法和间隔偏最小二乘选择特征波长后,不但可以降低模型的复杂度,同时能够达到提高模型预测精度的效果。在此基础上,研究分析了苹果硬度特征波长的物理化学意义。由于果胶是在苹果成熟过程中一种和硬度有很大关联的物质,通过比较苹果硬度的特征波长和果胶的特征吸收峰,发现两者具有有很好的一致性。因此,采用遗传算法和间隔偏最小二乘法得到的苹果硬度的特征波长能够反映果胶的吸收信息,从而解释了近红外技术检测苹果硬度的机理。     

苹果可溶性固形物近红外光谱检测的偏最小二乘回归变量筛选研究

为了提高苹果可溶性固形物含量近红外光谱校正模型的预测能力和稳健性,分别采用反向区间偏最小二乘法、遗传算法和连续投影算法,筛选苹果可溶性固形物的近红外光谱变量,并建立了偏最小二乘回归模型。利用遗传算法筛选的141个变量建立的校正模型,预测效果最好,与全谱建立的校正模型比较,预测相关系数,从0.93提高到0.96,预测均方根误差,从0.30°Brix降低到0.23°Brix。实验结果表明遗传算法结合偏最小二乘回归方法,有效地提高了苹果可溶性固形物近红外光谱检测模型的预测精度。     

基于光谱技术的Bipls算法结合CARS算法的苹果可溶性固形物含量检测

可溶性固形物含量是判断苹果内部品质的重要参考属性之一。利用高光谱技术获取苹果感兴趣区域的反射光谱,以S-G平滑(Savitzky-Golay smoothing)和直接正交信号校正(Direct orthogonal signal correction, DOSC)算法对光谱数据进行梯度预处理后,用后向区间偏最小二乘法(Bipls)优选出3,5,6,7,8,9,13,14,15,16,17,18,19,20,21,23等16个子区间,共计177个波长。结合竞争自适应重加权采样算法(CARS)再作进一步筛选,提取出449.6,512.9,544.8,547.2,594.3,596.8,928.2 nm等7个特征波长,利用偏最小二乘算法(PLS)建立基于特征波长的可溶性固形物含量检测模型,所得模型评价为R_c=0.906 2,RMSEC为0.482 2,R_p=0.871 6,RMSEP为0.614 0。该算法模型预测性能同Bipls和Bipls-SPA模型相比更为优异,证明了Bipls结合CARS算法在提高苹果可溶性固体物含量检测精度方面的有效性。     

特征谱区筛选在多元混合物的太赫兹光谱定量分析中的应用

用特征谱区筛选法结合太赫兹时域光谱(THz-TDS)技术对多元混合物成分含量进行了定量分析研究。实验利用太赫兹时域光谱系统测量了由乳糖一水合物(LAC)、对乙酰氨基酚(APAP)、可溶性淀粉(starch)以及微晶纤维素(MCC)四种材料组成的混合物样品的太赫兹吸收光谱,并分别尝试采用常规区间偏最小二乘(iPLS)、向后区间偏最小二乘(biPLS)、联合区间偏最小二乘(siPLS)和移动窗口偏最小二乘(mwPLS)四种特征谱区筛选法对多元混合物的太赫兹吸收光谱进行特征子区间优选,建立了太赫兹吸收谱与四元混合物中乳糖一水合物含量之间的定量回归模型。通过比较四种谱区筛选算法模型及全光谱偏最小二乘(PLS)模型所得结果,表明采用移动窗口偏最小二乘法建立的谱区筛选模型得到的结果相对最优,其交互验证均方根误差(RMSECV)、预测均方根误差(RMSEP)、校正集相关系数(R_C)和预测集相关系数(R_P)分别为0.980 3,1.114 1,0.996 0和0.995 1。实验结果表明,采用特征谱区筛选方法可以有效选择多元混合物太赫兹吸收光谱的特征区间,提高模型精度和降低模型复杂性,为实现多元混合物成分含量的快速检测提供了一种有效的方法。     

最小相关系数的多元校正波长选择算法

在近红外光谱的定量分析中,由于仪器的精密程度越来越高,采集的光谱数据通常具有很高的维度.因此,波长选择对于剔除噪声及冗余变量,简化模型,提高模型的预测性能是必不可少的.近红外光谱特征波长选择方法众多,但变量间的多重共线性问题仍是导致模型效果较差的一个关键问题.变量间共线性可以通过相关系数进行分析,当相关系数高于0.8,...     

基于最小角回归与GA-PLS的NIR光谱变量选择方法

近红外(NIR)光谱一般具有较多的波长变量数,对其直接或间接地进行变量选择是提高模型稳定性能及预测性能的关键。最小角回归(LAR)是一种相对较新和有效的机器学习算法,常用于进行回归分析和变量选择。面向光谱建模应用,提出一种LAR结合遗传偏最小二乘法(GA-PLS)的变量选择方法,可有效筛选出少数特征波长点。首先在全光谱区利用LAR消除变量间的共线性得到初筛波长点,然后用GA-PLS对LAR筛选出的波长点进一步优选从而得到最终建模用的特征波长点。为验证本文方法的有效性,以药片和汽油的近红外光谱回归分析作为应用案例,对原光谱进行预处理后,采用该方法进行变量筛选,然后分别建模其中的活性成分含量和C10含量。结果显示,在这两个应用中,最终优化得到的特征波长点数均只需七个,而两者的预测决定系数R2_p分别达到0.933 9和0.951 9,与全光谱、无信息变量消除法(UVE)和连续投影算法(SPA)等方法相比,特征波长点更少,同时R2_p和预测均方根误差RMSEP值更优。因此,LAR结合GA-PLS,能有效地从近红外光谱中选择出信息变量从而减少建模波数,提高预测精度,拥有较好的模型解释性。该方法可为特定领域的专用光谱仪设计提供有效的波长筛选工具。     

土壤碱解氮含量可见/近红外光谱预测模型优化

可见/近红外光谱技术是土壤成分检测的有效工具。波长筛选对可见/近红外模型土壤属性的预测精度有重要影响。以宁夏吴忠地区75个水稻土样为研究对象,利用可见/近红外光谱技术采集土壤样品光谱,采用SPXY （Sample set partitioning based on joint X-Y distance）方法选取了校正集和预测集样本,比较了分别采用Savitzky Golay平滑（SG smoothing）、多元散射校正（Multiple scatter correction,MSC）、标准正态变量变换（Standard normal variate,SNV）3种预处理方法对光谱数据处理后建立土壤碱解氮偏最小二乘法模型和原始光谱数据建模的效果。在此基础上,分别采用遗传算法（Genetic gorithms,GA）、连续投影算法（Successive projections algorithm,SPA）、竞争性自适应重加权算法（Competitive adaptive reweighted Sampling,CARS）、随机蛙跳（Random frog,RF）进行波长筛选,最后应用偏最小二乘法建立基于不同波长筛选方法的土壤碱解氮含量预测模型。研究表明,由于仪器性能稳定,样品的颗粒度比较小和均匀,本次实验原始光谱数据建模效果最好;各种波长筛选方法均可有效减少参与建模的波长数,且连续投影算法优于全谱建模,所选波长数仅为全谱波长数的1%,其预测决定系数（R²）、预测均方根误差和相对分析误差值分别为0.726,3.616,1.906。这表明连续投影算法可以有效筛选水稻土碱解氮敏感波段,为土壤碱解氮传感器开发提供技术支持。     

LSSVM模型下的近红外光谱联合区间波长筛选方法

针对传统近红外光谱波长选择方法忽略模型中非线性因素的缺陷,采用具有非线性处理能力的最小二乘支持向量机,结合间隔策略的波长选择方法和联合区间的思想,提出了一种非线性模型下的波长筛选算法—联合区间最小二乘支持向量机(synergy interval least squares support vector machines, siLSSVM)。以苹果糖度近红外光谱数据为例,与传统siPLS波长筛选方法相比,新算法的预测集均方根误差(RMSEP)在PLS模型和LSSVM模型预测时分别提高了37.43%和47.88%,预测集相关系数(RP)在PLS模型和LSSVM模型预测时分别增加了6.04%和7.31%。实例表明,对于存在非线性因素较强的光谱数据,siLSSVM算法能够有效的挑选最优波长区间与提高模型的预测精度和鲁棒性,为近红外光谱在非线性因素下筛选波长提供了新前景。     

基于迭代初始化遗传算法的光谱波段选择及其在感冒液多组分测定中的应用

光谱数据用于多元校正时,组分间的交互作用会使部分波段与组分浓度呈非线性关系,在用偏最小二乘法(PLSR)建模前,宜作波长筛选。基于迭代初始化的遗传算法(IRGA)将运行多轮GA,递归地以上轮结果作为先验知识支持下轮的初始化,并对入选波长点的统计频率进行平滑处理,由此可高效地从全谱中选出校正性能良好的波段,筛选结果稳定。入选波段对全谱既作了适当简化,又充分保留了有效信息。再采用PLSR建模,模型更具稳健性。将该法用于感冒液的五组分测定,与全谱建模法相比,其预测性能和稳健性有显著提高。     

基于离散萤火虫算法的近红外波长优选方法研究

近红外光谱数据量大,需要进行压缩,以降低建立光谱校正模型的计算复杂度,提高模型精度和稳健性。为此,提出了一种基于离散萤火虫算法(discrete firefly algorithm)的近红外光谱波长变量筛选方法。首先采用蒙特卡罗方法剔除异常值,并应用Kennard-Stone法进行校正样本的选择。对通用萤火虫算法进行离散化处理,改进了吸引度的自适应公式,在移动公式中增加了牵引权重,以适应离散化处理的影响和优化算法,并在离散萤火虫算法中加入精英保留策略,加快算法的收敛速度。实验中找到DFA算法中的各项参数中的最佳值。通过离散萤火虫算法优选波长变量,建立发酵液中丁二酸含量的近红外光谱偏最小二乘回归(partial least squares regression)校正模型。与标准遗传算法(genetic algorithm)优选波长方法进行了比较。结果显示,基于离散萤火虫算法的波长优选方法所建立的PLS校正模型,其校正集的相关系数(R2_c)为0.986,RMSEC为0.409,预测集的相关系数(R2_p)为0.969,RMSEP为0.458,模型稳健性和精度都要优于全光谱建模以及遗传算法波长优选方法。显示了DFA在近红外光谱数据筛选方面的优越性。     

一种结合直接正交信号校正与蒙特卡罗的波长选择方法

在近红外光谱数据分析中,全光谱数据具有波长点多、冗余量大、共线性关系严重的特点,导致了部分波长点对建立校正模型没有积极作用,甚至还会降低模型的预测能力.波长选择被证明是有效避免上述问题的重要方法.针对近红外光谱的特性,提出了一种基于直接正交信号校正(DOSC)与蒙特卡罗方法(Monte Carlo,MC)结合的波长选择...     

基于CARS-MIV-SVR的库尔勒香梨可溶性固体含量预测方法

为了实现库尔勒香梨依据可溶性固体含量（SSC）分级定等和按质论价,推动采后处理向标准化、产业化方向健康发展,利用高光谱成像技术研究出了一种快速、有效、无损检测库尔勒香梨SSC的方法。以表面无损伤的157个库尔勒香梨作为研究样本,应用高光谱成像采集系统获取400~1 000 nm波长范围内高光谱图像并用ENVI5.3软件提取感兴趣区域（ROI）,获得高光谱数据。采用Kennard-Stone（KS）样本集划分方法将全部样本按照2∶1的比例划分为校正集（105）和预测集（52）。对比标准变量变换（SNV）、多元散射校正（MSC）、一阶导数（FD）和二阶导数（SD）等数据预处理方法对建模精度的影响,最终选用SNV方法对光谱曲线进行平滑去噪。该研究提出竞争性自适应重加权算法与平均影响值算法的组合算法（CARS-MIV）选择特征波长。在竞争性自适应重加权算法（CARS）方法中,建模样本由蒙特卡罗算法随机选择生成,变量回归系数会随之发生变化,因而回归系数的绝对值不能全面反映变量重要性,从而影响模型检测精度。为降低这种影响,应用平均影响值（MIV）算法对选出的自变量进行二次筛选,筛选出相关性较大的变量用以建模分析,并与CARS、连续投影算法（SPA）、蒙特卡罗无信息变量消除算法（MCUVE）等经典特征波长选择算法进行比较。最后分别以全波长（FS）光谱信息和四种特征波长选择方法得出的光谱信息作为输入矢量,应用支持向量回归（SVR）建立库尔勒香梨可溶性固体含量定量预测数学模型,以校正集相关系数（R_c）、校正集均方根误差（RMSEC）、预测集相关系数（R_p）和预测集均方根误差（RMSEP）四个参数来评估模型的预测精度。比较分析发现,CARS-MIV-SVR模型效果最佳,校正集相关系数（R_c）为0.985 94,预测集相关系数（R_p）达到0.946 31,校正集和预测集均方根误差分别为0.185 85和0.403 33。结果证明：CARS-MIV特征波长选择方法能够有效增强库尔勒香梨光谱数据特征波长选择的稳定性和精确性,提高模型的预测精度。利用高光谱技术结合CARS-MIV-SVR模型能够满足库尔勒香梨可溶性固体含量测定需求,实现库尔勒香梨的分级定等和按质论价。     

近红外光谱法分析油页岩含油率中波长选择方法的研究

波长选择是光谱建模分析的重要步骤。研究了近红外光谱法分析油页岩含油率过程中的波长选择方法,用以剔除光谱数据中的冗余信息和干扰信息,提高分析模型的建模效率和预测能力。分别采用相关系数法(CC)、移动窗口偏最小二乘法(MWPLS)和无信息变量消除法（UVE）对油页岩近红外漫反射光谱数据的波长区间进行了选择,研究了不同阈值、窗口宽度和噪声矩阵对上述方法的影响,建立了所选择波长处的反射率数据和样品含油率标准值间的偏最小二乘（PLS）分析模型,比较了上述方法的选择效果。结果表明：与使用全谱数据建模相比,采用上述方法筛选过的光谱数据均能提高模型的建模效率和预测能力,其中经UVE法筛选后的光谱数据仅占全谱数据总数的22.8%,模型的RMSECV却降低了9.3%,RMSEP降低了4.5%。