应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究。采集浙江省文城地区农田土壤样品近红外光谱数据,土壤样品数为394个。为简化模型,采用遗传算法结合连续投影算法挑选出18个特征波长建模,应用偏最小二乘回归建立有机质预测模型,建模集的决定系数为0.81,均方根预测误差为0.22, 剩余预测偏差为2.31,预测集的决定系数为0.83,均方根预测误差为0.20,剩余预测偏差为2.45。研究发现,遗传算法结合连续投影算法在简化模型同时,模型的预测评价指标同采用全谱波长建模并没有明显降低。因此,遗传算法结合连续投影算法挑选的特征波长可以应用于近红外光谱检测土壤有机质含量。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

连续投影算法及其在小麦近红外光谱波长选择中的应用

采用全谱建立多元校正模型时,通常计算量大,模型不够稳健,而且模型的预测精度往往也不能达到最优。文章介绍一种新的波长选择方法：采用连续投影算法(successive projections algorithm),并将其集成偏最小二乘(partial least squares)多变量校正技术构成SPA-PLS方法,用于谷物小麦近红外光谱波长优化选择及其与水分含量的定量分析。结果表明：在经SPA算法后,光谱波数可削减97.72%,后继的定量校正模型结构得到显著简化,模型的稳健性也大大增强;同时,被选取的波长物理意义明确,模型的解释能力增强,而模型的预测性能也与GA-PLS方法相当。     

耦合平均影响值-连续投影算法优化种子活力近红外检测模型

目前,近红外光谱(NIRS)可以实现种子活力的快速、无损检测,但区分的活力等级一般少于3级且精度不高。建立种子活力多等级、高精度的NIRS检测模型,解决活力等级增加与预测模型精度之间的矛盾是现阶段近红外种子活力检测的主要任务。以玉米种子为研究对象,采用人工老化的方法获得5种活力等级的种子样本并采集对应的光谱数据建立反向神经网络(BP)预测模型。为了提高模型的精度和稳健性,提出一种耦合平均影响值-连续投影特征波长提取算法(MIVopt-SPAsa)。该算法针对连续投影算法(SPA)耗时过长的问题,采用平均影响值算法(MIV)对其预降维。MIV方法实现了对波长影响值的排序,但缺乏选取波长影响阈值的指标,因此引入相对距离比对MIV算法进行优化(MIV_opt),实现特征波长范围的有效分割。针对SPA提取特征变量数目确定的问题,设定了特征波长数目范围并在此范围内优中选优,实现了自适应的SPA(SPA_sa)特征提取。使用耦合MIV_opt-SPA_sa算法对具有1 845个波长的玉米种子近红外全谱数据进行特征提取,...     

不同类型土壤总氮的近红外光谱技术测定研究

该研究从江苏、河南、山西、河北、吉林采集部分表层土壤,并在山西河北两地采集表下层土壤,经前处理后通过近红外光谱仪扫描得到光谱图,用传统开氏法测得其总氮,运用OPUS软件建立了土壤总氮和光谱图之间的数学模型,并初步探讨了模型的应用范围。结果表明：各地区表层土壤建立的模型良好,交叉检验的均方根误差均在0.01%以内,相关系数平均在0.85以上,并且该模型能够很好地定量分析同一采样范围内表层和表下层的土壤总氮,定量分析的均方根误差基本在0.01%以内,相关系数在0.80左右;可能受土壤类型的影响,该模型在地区之间的运用具有一定的局限性;从各地区随机取出部分数据作为一个新的集合建立的综合模型良好,其交叉检验的均方根误差和相关系数分别为0.010 2%和0.985 6,并且该模型能很好地预测各地区的土壤总氮。     

基于抽取和连续投影算法的可见近红外光谱变量筛选

大多数短波CCD硅检测器为2 048或3 648像元,相邻波长间隔小,预处理算法对其适用性差.本文在600.09～980.47 nm光谱范围内,采用等间隔抽取方法重构光谱矩阵.经不同光谱预处理后,分别采用遗传算法(GA)和连续投影算法(SPA),筛选偏最小二乘法(PLS)建模变量.采用留一法交叉验证评价模型的预测能力,...     

智能优化算法应用于近红外光谱波长选择的比较研究

近红外光谱(NIRS)是一种间接分析技术,其应用需建立相应的校正模型。为了提高模型的解释能力、预测准确度和建模效率,需要对NIRS进行波长选择,优选最小化冗余信息。智能优化算法是以生物的行为方式或物质的运动形态为背景,经过数学抽象建立算法模型,通过迭代计算来求解组合最优化问题,其核心策略是以某种目标函数为标准,基于多元校正建模并以逐步逼近的方法筛选出有效的波长点。选用蚁群优化(ACO)、遗传优化(GA)、粒子群优化(PSO)、随机青蛙(RF)和模拟退火(SA)5种智能优化算法对烟叶总氮和烟碱近红外光谱数据进行特征波长选择,结合偏最小二乘(PLS)算法,构建了多个烟叶总氮和烟碱的校正模型,结果显示：所选用两个数据集的总氮最优模型分别为PSO-PLS和GA-PLS模型,烟碱最优模型分别为GA-PLS和SA-PLS模型,五种智能优化算法所建模型预测性能并非全部优于全谱PLS模型,但是通过智能优化算法进行波长选择后建立的PLS模型大大简化,模型的预测精度、可解释性和稳定性均有所提高。同时也对优选波长进行了解释和分析,烟叶总氮特征波长优选组合为4 587~4 878和6 700~7 200 cm-1;烟叶烟碱特征波长优选组合为4 500~4 700和5 800~6 000 cm-1,优选出来的特征波长具有实际物理意义。     

便携式短波近红外光谱仪器检测土壤总氮含量研究

基于便携式短波近红外光谱技术检测了土壤总氮含量。采集浙江省文城地区农田土壤样本243个,将土壤样本分为三组,一组未经过粉碎、过筛等处理,一组做过2 mm筛处理,一组过0.5 mm筛过处理,采用usb4000便携式光谱获取土壤光谱数据,结合(savitzky-golay, SG)平滑算法,波长压缩算法和小波变换对原始数据进行预处理,然后采用竞争性自适应重加权、随机青蛙和连续投影算法进行特征波长选择。基于全光谱建立了偏最小二乘回归和基于特征波长建立了极限学习机和LS-SVM模型。结果表明过筛处理后的样本模型结果优于未过筛的样本模型结果,过0.5 mm筛处理的土壤样本模型预测结果略优于过2 mm筛处理的土壤样本模型预测结果,最优预测集的决定系数为0.63,预测均方根误差为0.007 9,剩余预测偏差为1.58。表明便携式仪器检测土壤总氮含量,经过过筛处理的土壤样品检测结果优于未过筛土壤样品检测结果,建议土壤样品检测总氮含量时需经过过筛处理,这样得到的结果较为理想,在此基础上采用性能较好的光谱仪器采集数据,以减小原始光谱噪声。     

基于遗传算法的近红外光谱定性分析特征波长提取方法研究

近红外光谱分析技术虽在多领域获得广泛应用,但应用时仍以实验室仪器为主,目前光谱仪存在体积大、功耗高、价格贵等问题,有能力购买与使用此类仪器的主要是高校、科研院所、大型企业等,常用的基于傅里叶变换或光栅原理的光谱仪价格通常高达几十万元,超出中小企业、普通百姓的经济承受能力,因此近红外光谱仪的进一步推广应用仍有难度.降低仪...     

近红外光谱定性分析中的特征波长筛选研究

提出了一种以样品光谱类间相关系数之和最小为准则进行光谱波长逐步筛选的方法(stepwise selection basing on minimum sum of correlation coefficients, SMCC),以类间距离与类内距离和的比值最大化(符合分析者主观预期目标)作为定性分析中特征波长筛选效果的评价依据,并使用红塔集团提供的2012年17种不同类型工业分级烟叶作为试验样品,以验证筛选方法的有效性。研究表明,采用CO1分级烟叶光谱作为参照类别,筛选出10个特征波长点：采用特征波长计算得到的类内欧氏距离的平均值为采用全部波长计算得到的平均值的1.69倍,采用特征波长计算得到的类间欧氏距离的平均值为采用全部波长计算得到的平均值的3.70倍,采用特征波长计算得到的类间欧氏距离与类内欧氏距离和的比值的平均值为采用全部波长计算得到的平均值的2.21倍。特征波长的类间与类内欧氏距离和的比值增大,说明筛选出来的特征波长能更加有效的表达不同类间的远近关系以及同一类内的离散度,SMCC算法是一种有效的、可应用于近红外光谱定性分析中的特征波长筛选方法。     

结合光谱变换和Kennard-Stone算法的水稻土全氮光谱估算模型校正集构建策略研究

土壤组分光谱估算过程中校正样本集的构建会影响模型的预测精度。当前结合反射光谱和Kennard-Stone (KS)算法的校正样本集构建策略忽视了土壤反射光谱是土壤属性的综合反映,构建的样本集通常无法很好地代表目标土壤组分的变异。光谱变换方法可以突出目标组分的光谱特征,为此,本文以湖北省江汉平原滨湖地区水稻土为研究对象,结合包括一阶微分(FD)、Savitzky-Golay(SG)、Haar小波变换、标准正态变量变换(SNV)和多元散射校正(MSC)在内的光谱变换方法和KS算法进行校正样本集建构,通过对比不同样本集构建策略对使用偏最小二乘回归(PLSR)建立的土壤全氮含量光谱估算模型预测精度的影响,研究光谱变换是否有助于提高基于KS算法构建的校正样本集的代表性。结果表明：不同光谱变换会影响校正样本集的构建。反射光谱经过SG或Haar小波变换后,再使用KS算法构建校正样本集与直接基于反射光谱使用KS算法构建的校正样本集相同,建立的估算模型精度不变,相对分析误差(RPD)分别为1.41和1.27。结合FD,SNV或MSC变换和KS算法构建的校正集与基于反射光谱使用KS算法构建的校正集不同,建立的估算模型RPD分别从0.95,1.48和1.42提高到1.13、1.78和2.20。研究表明SNV和MSC等光谱变换方法可以提高基于KS算法构建的校正样本集的代表性,并可有效提高模型预测精度。     

基于近红外光谱技术的土壤参数BP神经网络预测

利用BP神经网络预测方法,建立了基于近红外光谱技术的土壤有机质含量和土壤全氮含量的分析模型。试验共测量了150个田间土壤样本的近红外光谱,首先采用局部加权散点图平滑滤波法对光谱曲线进行了平滑处理,然后根据对目标参数进行的聚类分析结果进一步平均了输入光谱,最后将反射光谱数据进行对数转换后与目标数据一起进行了归一化处理。对预处理后的光谱数据首先进行主成分分析,然后提取贡献率超过99.98%的主成分建立BP神经网络模型。对土壤有机质含量的分析结果：模型拟合精度为0.999,预测精度达到0.854。对于土壤全氮含量的分析结果：模型的拟合精度近似为1,预测精度达到了0.808。研究表明,基于近红外光谱技术的土壤参数BP神经网络预测模型具有较高的鲁棒性和较强的容错能力。     

基于特征波长积分算法的土壤有机质抗水分干扰模型研究

土壤有机质是土壤的重要成分,也是农作物生长的重要营养指标.快速、准确检测土壤有机质含量对施肥管理具有重要意义.近年来,近红外光谱被广泛应用于土壤有机质的快速检测,然而土壤有机质敏感波段易受土壤水分干扰,从而会影响到土壤有机质的预测结果.在山西省境内采集了140个土壤样本,采用ASD光谱仪分别获取了不同含水率(0％,5％...     

多分类器融合提取土壤养分特征波长

光谱已经应用于土壤养分速测的分析,但是如何寻找土壤光谱特征波段,尽最大可能避免无用信息干扰、保留有用信息,建立准确度高、预测效果好的模型仍是一个亟需解决的问题。以青岛三个不同地区土壤样品为例,测定土壤样品的紫外-可见-近红外光谱及其总碳（TC）、总氮（TN）、总磷（TP）含量;分别采用连续投影算法（SPA）、无信息变量消除法（UVE）、遗传算法（GA）、相关系数法（CC）四种算法（四种单分类器）对土壤光谱提取特征波长;再引入投票法和加权投票法的多分类器融合方法将四种算法融合得到特征波长;以偏最小二乘回归（PLSR）建立各土壤养分含量的模型,通过对模型效果的评价标准（建模集绝对系数R2_c、校正均方根误差RMSEC、检验集绝对系数R2_p、预测均方根误差RMSEP和相对分析误差RPD值）来判别各单分类器算法和多分类器融合算法对土壤养分含量特征波长的提取效果。分别对四种算法、筛选其中三种算法、最优二种算法进行融合,分析融合后模型效果和特征波长个数,结果表明：将四种单分类器经投票法融合后,其模型效果大部分不如单分类器,且相对好的模型特征波长个数较多;相较于投票法多分类器融合,四种单分类器经加权投票法融合模型效果有了一定的提高,TC和TN都能够在较少的波长中获得较好的预测效果,但仅TN经融合后,模型效果优于每个单分类器;TC,TN,TP分别在取SPA+UVE+GA,SPA+UVE+GA（或SPA+GA+CC）、SPA+UVE+GA三种单分类器进行加权投票法融合后,均能获得最优模型效果,且明显优于每个单分类器,模型效果有了显著提高;各土壤养分含量经两个最优单分类器加权投票法融合后,仍能得到好于最优单分类器的建模效果,TC和TP建模效果略差于三个单分类器融合结果,TN建模效果与三个单分类器融合结果相同。因此,在筛选三种算法融合,且其中包含最优两种算法的情况下,能够以较少的特征波长个数获得明显高于单分类器的建模效果。该方法为寻找土壤养分以及其他复杂物质成分的光谱特征波段提供了新方法,也为多种算法的综合运用提供了新思路。     

基于近红外光谱的北方潮土土壤参数实时分析

选取中国北方潮土作为研究对象,探索利用近红外光谱分析技术分析土壤参数的可行性和可能性。从一块试验麦田共采集了150个土样,土样在采集回试验室后,在保持其原始状态的条件下利用傅里叶变换近红外光谱仪迅速测定了其近红外光谱。近红外光谱变量为原始吸收光谱和一阶微分光谱,分析的土壤参数有土壤水分、有机质和全氮的含量。对于土壤水分,在相关分析的基础上建立了一元线性模型,所采用的波长为1 920 nm,模型的相关系数达到0.937,模型可以直接用于土壤水分的实时预测。对于有机质和全氮含量建立了多元回归模型,有机质预测模型所采用的波长是1 870和1 378 nm,全氮预测模型所采用的波长则是2 262和1 888 nm。分析结果表明土壤有机质和全氮含量可以利用田间土样的近红外光谱特性进行分析和检测,建立的线性模型是有效的。     

基于DS算法的玉米近红外定性分析光谱校正方法研究

从校正的角度出发,研究了近红外定性分析中模型稳定性问题。以13个玉米品种为研究对象,针对数据采集时间不同带来的模型失效问题,借鉴近红外光谱定量分析中两台仪器间模型传递的思想,将直接模型传递(Direct Standardization)算法用于校正同一仪器不同时间采集的光谱, 使得一次建立的品种鉴别模型,能用于其余时间测试数据的鉴别。首先采用Kennard/Stone算法在主光谱集中选取校正样品集,按照对应的编号从从光谱集中取出对应的数据,然后对校正样品集采用DS算法求取两组数据间的变换关系,再对剩余的从光谱集进行相应的变换得到适用于模型的光谱。实验中对比了校正样本数和模型校正位置对校正结果的影响,分别从品种定性鉴别准确性和校正前后主光谱数据和从光谱数据分布距离两方面分析了实验结果。结果表明,该方法能有效地解决同一仪器随着采样时间推移产生的光谱偏移现象,对采样时间不同的测试集均得到较高的识别率,提高了模型的鲁棒性和适用范围,由实验结果可见,校正位置处于特征提取之后时,校正效果最佳。