波长优选对土壤有机质含量可见光/近红外光谱模型的优化（英文）

可见光/近红外光谱模型是土壤属性预测的有效工具。波长优选在光谱建模过程中起着重要作用。文中首先利用从安徽省涡阳县采集的130个砂姜黑土土壤样本获得可见光/近红外光谱,然后利用平滑与多重散射校正联合的光谱预处理方式消除光谱中的无关变量和冗余信息以提高模型预测结果的相关性,再利用SPXY方法挑选建模集样本,分别利用连续投影算法和遗传算法进行波长优选,最后利用留一法进行交互验证建立有机质含量的主成分回归模型。研究结果显示:连续投影算法和遗传算法都可以有效地减少参与建模的波长数并提高模型的准确度,尤其是遗传算法能够更好地提高土壤有机质含量预测精度,其相关系数、预测均方根误差和相对分析误差分别达到0.931 6,0.214 2和2.319 5。通过合适的特征波长选取,不仅计算量可以大大减少,预测精度也会有效提高。     

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究。采集浙江省文城地区农田土壤样品近红外光谱数据,土壤样品数为394个。为简化模型,采用遗传算法结合连续投影算法挑选出18个特征波长建模,应用偏最小二乘回归建立有机质预测模型,建模集的决定系数为0.81,均方根预测误差为0.22, 剩余预测偏差为2.31,预测集的决定系数为0.83,均方根预测误差为0.20,剩余预测偏差为2.45。研究发现,遗传算法结合连续投影算法在简化模型同时,模型的预测评价指标同采用全谱波长建模并没有明显降低。因此,遗传算法结合连续投影算法挑选的特征波长可以应用于近红外光谱检测土壤有机质含量。     

土壤碱解氮含量可见/近红外光谱预测模型优化

可见/近红外光谱技术是土壤成分检测的有效工具。波长筛选对可见/近红外模型土壤属性的预测精度有重要影响。以宁夏吴忠地区75个水稻土样为研究对象,利用可见/近红外光谱技术采集土壤样品光谱,采用SPXY （Sample set partitioning based on joint X-Y distance）方法选取了校正集和预测集样本,比较了分别采用Savitzky Golay平滑（SG smoothing）、多元散射校正（Multiple scatter correction,MSC）、标准正态变量变换（Standard normal variate,SNV）3种预处理方法对光谱数据处理后建立土壤碱解氮偏最小二乘法模型和原始光谱数据建模的效果。在此基础上,分别采用遗传算法（Genetic gorithms,GA）、连续投影算法（Successive projections algorithm,SPA）、竞争性自适应重加权算法（Competitive adaptive reweighted Sampling,CARS）、随机蛙跳（Random frog,RF）进行波长筛选,最后应用偏最小二乘法建立基于不同波长筛选方法的土壤碱解氮含量预测模型。研究表明,由于仪器性能稳定,样品的颗粒度比较小和均匀,本次实验原始光谱数据建模效果最好;各种波长筛选方法均可有效减少参与建模的波长数,且连续投影算法优于全谱建模,所选波长数仅为全谱波长数的1%,其预测决定系数（R²）、预测均方根误差和相对分析误差值分别为0.726,3.616,1.906。这表明连续投影算法可以有效筛选水稻土碱解氮敏感波段,为土壤碱解氮传感器开发提供技术支持。     

基于连续投影算法的土壤总氮近红外特征波长的选取

讨论了如何利用连续投影算法提取土壤总氮的近红外特征波长.使用连续投影算法对光谱数据进行初步压缩,将优选出的波长按其对总氮贡献值的大小进一步筛选,剔除不敏感的波长,降低模型的复杂度.分析85份土壤样品的近红外光谱,使用连续投影算法得到了总氮的12个波长,贡献值筛选后,波长数量减少到6个,所建模型的预测相关系数(Rp)为0.913,预测均方根误差(RMSEP)为0.011%,模型的预测精度与贡献值筛选前相当,且优于全谱偏最小二乘回归结果.结果表明结合贡献值筛选的连续投影算法能够有效选取待测成分的特征波长,文章所优选的土壤总氮的6个特征波长可以作为小型滤光片式近红外光谱仪波长选择的参考依据.     

SPA-LS-SVM检测土壤有机质和速效钾研究

应用可见/短波近红外光谱分析测量土壤有机质和速效钾含量。光谱预处理包括平滑,标准归一化,多元散射校正和平滑结合一阶导数,以消除系统噪声和外部干扰,分别应用偏最小二乘和最小二乘支持向量机方法建立校正模型,模型的输入为基于连续投影算法得到的特征波长。比较显示基于连续投影算法得到的特征波长为输入的最小二乘支持向量机优于偏最小二乘法建模。模型评价指标由相关系数和预测均方误差表示。有机质的相关系数和预测均方误差分别0.860 2和2.98,速效钾为0.730 5和15.78。表明基于连续投影算法可见/短波近红外光谱利用最小二乘支持向量机建模,可以作为一个精确的土壤有机质和速效钾的测定方法。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

苹果可溶性固形物近红外光谱检测的偏最小二乘回归变量筛选研究

为了提高苹果可溶性固形物含量近红外光谱校正模型的预测能力和稳健性,分别采用反向区间偏最小二乘法、遗传算法和连续投影算法,筛选苹果可溶性固形物的近红外光谱变量,并建立了偏最小二乘回归模型。利用遗传算法筛选的141个变量建立的校正模型,预测效果最好,与全谱建立的校正模型比较,预测相关系数,从0.93提高到0.96,预测均方根误差,从0.30°Brix降低到0.23°Brix。实验结果表明遗传算法结合偏最小二乘回归方法,有效地提高了苹果可溶性固形物近红外光谱检测模型的预测精度。     

基于特征波长积分算法的土壤有机质抗水分干扰模型研究

土壤有机质是土壤的重要成分,也是农作物生长的重要营养指标。快速、准确检测土壤有机质含量对施肥管理具有重要意义。近年来,近红外光谱被广泛应用于土壤有机质的快速检测,然而土壤有机质敏感波段易受土壤水分干扰,从而会影响到土壤有机质的预测结果。在山西省境内采集了140个土壤样本,采用ASD光谱仪分别获取了不同含水率（0%,5%,10%,15%,17%）土壤样本谱图曲线（350～2 500 nm）。为了提高土壤有机质预测模型精度,提出特征波长积分算法,即通过特征波长处吸光度的积分值作为自变量进行建模的方法,建立了土壤有机质预测模型及抗水分干扰修正系数模型。结果表明：（1）使用特征波长处吸光度的积分值作为自变量建立的土壤有机质预测模型统计参数优于传统的使用特征波长处的吸光度值作为自变量的建模方法;（2）校正后的湿土光谱更加接近干土土样,在一定程度上解决了传统水分修正系数在水分含量较高时修正效果较差的问题;（3）提高了湿土样本的预测精度,预测相关系数（R_P）提升了约0.09,预测均方根误差（RMSEP）降低了约1.72 。说明该方法可以有效降低水分对土壤有机质光谱的影响,提高不同含水率土壤有机质的预测精度,可为后续仪器开发提供理论支持。     

顾及土壤湿度的土壤有机质高光谱预测模型传递研究

高光谱遥感技术作为当前遥感发展的前沿科技,通过电磁波与地物的相互作用,可以定量反演地物的物理化学性质。土壤有机质是重要的土壤养分信息参数,利用高光谱遥感技术快速获取其含量信息可以为精准农业的发展提供必要的数据支撑。然而,由于受到外部参数差异的干扰,导致建模精度降低的同时,还会造成已有模型传递性的“失效”。为了消除湿度差异的干扰,进一步拓展已有模型的适用空间,以江汉平原滨湖地区为例,通过对95个土壤样本进行加湿处理,在实验室自然风干的条件下,量测得到13套不同湿度等级土壤样本的可见—近红外反射光谱数据,建立了各湿度等级下土壤有机质的光谱反演模型,研究水分差异对建模精度的影响;在此基础上,运用Direct Standardization(DS)算法对湿土光谱进行校正,进而探讨该算法在提高模型传递性能方面的潜力。结果表明：基于风干土光谱建立的模型预测精度最高,未经校正的湿土光谱无法通过该模型进行土壤有机质含量预测,预测偏差在-8.34～3.32 g·kg-1,RPD在0.64～2.04;经过DS算法校正后的湿土光谱可以通过该模型进行土壤有机质含量预测,预测偏差降低至0,RPD值提高至7.01。研究表明DS算法能有效降低湿度差异对光谱反演土壤有机质的影响,使土壤有机质光谱反演模型适用于不同水分含量的土壤样本。     

基于最小角回归与GA-PLS的NIR光谱变量选择方法

近红外(NIR)光谱一般具有较多的波长变量数,对其直接或间接地进行变量选择是提高模型稳定性能及预测性能的关键。最小角回归(LAR)是一种相对较新和有效的机器学习算法,常用于进行回归分析和变量选择。面向光谱建模应用,提出一种LAR结合遗传偏最小二乘法(GA-PLS)的变量选择方法,可有效筛选出少数特征波长点。首先在全光谱区利用LAR消除变量间的共线性得到初筛波长点,然后用GA-PLS对LAR筛选出的波长点进一步优选从而得到最终建模用的特征波长点。为验证本文方法的有效性,以药片和汽油的近红外光谱回归分析作为应用案例,对原光谱进行预处理后,采用该方法进行变量筛选,然后分别建模其中的活性成分含量和C10含量。结果显示,在这两个应用中,最终优化得到的特征波长点数均只需七个,而两者的预测决定系数R2_p分别达到0.933 9和0.951 9,与全光谱、无信息变量消除法(UVE)和连续投影算法(SPA)等方法相比,特征波长点更少,同时R2_p和预测均方根误差RMSEP值更优。因此,LAR结合GA-PLS,能有效地从近红外光谱中选择出信息变量从而减少建模波数,提高预测精度,拥有较好的模型解释性。该方法可为特定领域的专用光谱仪设计提供有效的波长筛选工具。     

基于可见-近红外光谱技术的润滑油含水量无损检测方法研究

研究了基于可见-近红外光谱技术的发动机润滑油含水量快速检测方法。在获取光谱信息的基础上,提出了采用不同的光谱建模方法以提高检测精度和简化分析计算。分别采用主成分分析(PCA)和连续投影算法(SPA)方法进行模型输入变量的提取。SPA最终选择了476,483,544,925,933,938,952,970和974nm共9个波长为最优变量。基于SPA选择的变量,分别应用偏最小二乘回归(PLSR)和多元线性回归(MLR)建模。效果均优于全波段PLSR模型和PCA-PLSR模型。说明SPA选择的有效变量能够包含最重要的全波段光谱信息,同时可以去除无用的信息变量。为了进一步提高检测效果,采用LS-SVM分别基于SPA选择后的有效变量和全波段光谱进行建模。两个模型的预测确定系数(Rp2)均在0.9以上。SPA-LS-SVM的效果要优于全波段LS-SVM模型的效果。SPA-LS-SVM模型的Rp2达到了0.983,剩余预测偏差(RPD)值为6.963。表明可见-近红外光谱可以用于发动机润滑油含水量的检测。     

多分类器融合提取土壤养分特征波长

光谱已经应用于土壤养分速测的分析，但是如何寻找土壤光谱特征波段，尽最大可能避免无用信息干扰、保留有用信息，建立准确度高、预测效果好的模型仍是一个亟需解决的问题。以青岛三个不同地区土壤样品为例，测定土壤样品的紫外-可见-近红外光谱及其总碳（TC）、总氮（TN）、总磷（TP）含量；分别采用连续投影算法（SPA）、无信息变量消除法（UVE）、遗传算法（GA）、相关系数法（CC）四种算法（四种单分类器）对土壤光谱提取特征波长；再引入投票法和加权投票法的多分类器融合方法将四种算法融合得到特征波长；以偏最小二乘回归（PLSR）建立各土壤养分含量的模型，通过对模型效果的评价标准（建模集绝对系数R2_c、校正均方根误差RMSEC、检验集绝对系数R2_p、预测均方根误差RMSEP和相对分析误差RPD值）来判别各单分类器算法和多分类器融合算法对土壤养分含量特征波长的提取效果。分别对四种算法、筛选其中三种算法、最优二种算法进行融合，分析融合后模型效果和特征波长个数，结果表明：将四种单分类器经投票法融合后，其模型效果大部分不如单分类器，且相对好的模型特征波长个数较多；相较于投票法多分类器融合，四种单分类器经加权投票法融合模型效果有了一定的提高，TC和TN都能够在较少的波长中获得较好的预测效果，但仅TN经融合后，模型效果优于每个单分类器；TC，TN，TP分别在取SPA+UVE+GA，SPA+UVE+GA（或SPA+GA+CC）、SPA+UVE+GA三种单分类器进行加权投票法融合后，均能获得最优模型效果，且明显优于每个单分类器，模型效果有了显著提高；各土壤养分含量经两个最优单分类器加权投票法融合后，仍能得到好于最优单分类器的建模效果，TC和TP建模效果略差于三个单分类器融合结果，TN建模效果与三个单分类器融合结果相同。因此，在筛选三种算法融合，且其中包含最优两种算法的情况下，能够以较少的特征波长个数获得明显高于单分类器的建模效果。该方法为寻找土壤养分以及其他复杂物质成分的光谱特征波段提供了新方法，也为多种算法的综合运用提供了新思路。     

X射线荧光光谱结合CARS变量筛选选择方法用于土壤中铅砷含量的测定

X射线荧光光谱分析作为一种以化学计量学为基础的定量分析技术,所建立模型优劣对结果的预测准确性显得十分重要。竞争性自适应重加权算法(CARS)采用自适应重加权采样技术,利用交互验证选出互验证均方根误差(RMSECV)值最低原则,寻出最优变量组合。为了进一步提高PLS模型的解释和预测能力,将竞争性自适应重加权算法(CARS)与X射线荧光光谱分析技术相结合,对土壤中重金属元素铅和砷进行特征波长变量筛选后建立偏最小二乘(PLS)模型。首先,利用CARS算法对铅含量密切相关的波长变量进行筛选,当采样次数为26次时,筛选出60个有效波长点;对砷含量密切相关的波长变量进行筛选,当采样次数为34次时,筛选出19个有效波长点;然后对优选出的波长点利用PLS方法分别建立土壤中铅和砷含量定量分析模型,并与经连续投影算法(SPA)及蒙特卡罗无信息变量消除(MC-UVE)方法波长变量筛选后所建立的PLS模型进行比较。结果显示：铅的CARS-PLS模型的预测集决定系数(R2)、交互验证均方根误差(RMSECV)、预测均方根误差(RMSEP)和相对预测误差(RPD)分别为0.995 5,2.598 6,3.228和9.401 1,砷的CARS-PLS模型的预测集R2,RMSECV,RMSEP和RPD分别为0.989 9,3.013 2,2.737 1和8.211 6;两元素的CARS-PLS模型性能均优于全波段PLS,SPA-PLS和MC-UVE-PLS模型。基于CARS-PLS的算法可以有效筛选出X射线荧光光谱特征波长点,在简化了建模复杂程度的同时,提高了模型的准确性和稳健性。     

赤霞珠酿酒葡萄总酚含量的近红外光谱定量分析

酿酒葡萄中的总酚含量是影响葡萄品质的重要指标,也是影响葡萄酒质量的关键因素。为了快速准确地检测赤霞珠葡萄的总酚含量,利用近红外光谱技术结合GA-ELM预测模型对赤霞珠葡萄总酚含量进行预测研究。试验采用5个收获期（每期采集40串,每串取10个）的赤霞珠葡萄,采集200组葡萄的12 500~4 000 cm-1波段范围内的近红外光谱。基于福林酚比色法原理对赤霞珠葡萄的总酚含量进行测定,使用SPXY算法将样品按照3∶1比例分为校正集和预测集,共计150个校正集和50个预测集。分别采用多元散射（MSC）、标准正态变换（SNV）、数据中心化（MC）、移动窗口平滑（MA）和一阶导数+SG方法对原始光谱进行预处理,优选出最佳的预处理方法为MSC。并进一步采用竞争性自适应重加权算法（CARS）、遗传算法（GA）、联合区间偏最小二乘算法（si-PLS）和连续投影算法（SPA）分别对光谱波段进行提取,经对比分析发现CARS提取的69个特征波长数据能有效提高模型的稳定性和预测结果。在MSC预处理和特征波长提取的基础上,引入极限学习机（ELM）算法,建立赤霞珠葡萄总酚含量的预测模型,在总酚含量预测过程中,采用遗传算法（GA）对ELM模型进行优化,并探究了不同的激活函数和隐含层神经元个数对GA-ELM模型预测能力的影响,确定最优的激活函数为Sigmoidal,最优的神经元个数为50个。最后,将ELM和GA-ELM模型的预测能力进行对比,结果显示GA-ELM模型的预测能力高于ELM模型的预测能力,其中MSC+CARS+GA-ELM模型预测能力最好,校正相关系数（R_c）为0.901 7,预测相关系数（R_p）为0.901 3,校正均方根误差（RMSEC）为2.112 4,预测均方根误差（RMSEP）为1.686 8,剩余预测偏差（RPD）为2.308 0。研究结果表明：利用近红外光谱技术结合变量优选建立的GA-ELM模型可实现对赤霞珠葡萄的总酚含量的预测,为赤霞珠葡萄品质的检测奠定了理论基础。     

近红外光谱信息筛选在玛咖产地鉴别中的应用

食药植物玛咖富含多种营养成分,极具药用价值。采用近红外漫反射光谱,对采自秘鲁及云南共139份玛咖样品进行产地鉴别。采用多元信号校正结合二阶导数和Norris平滑预处理光谱,利用光谱标准偏差初步选择光谱波段（7 500～4 061 cm-1）,结合主成分-马氏距离（principal component analysis-mahalanobis distance,PCA-MD）筛选出适宜的主成分数为5。基于所筛选的光谱波段及主成分数,利用“模群迭代奇异样本诊断”方法剔除2个异常样品后,分别采用竞争自适应重加权法（competitive adaptive reweighted sampling,CARS）、蒙特卡洛-无信息变量消除法（monte carlo-uninformative variable elimination,MC-UVE）、遗传算法（genetic algorithm,GA）和子窗口重排（subwindow permutation analysis,SPA）四种方法筛选光谱变量信息,利用模型集群分析（model population analysis,MPA）思想对所筛选的光谱变量信息进行评价。结果显示,RMSECV（SPA）>RMSECV（CARS）>RMSECV（MC-UVE）>RMSECV（GA）,分别为2.14,2.05,2.02,1.98,光谱变量数分别为250,240,250和70。采用偏最小二乘判别分析法（partial least squares discriminant analysis,PLS-DA）对四种方法筛选的光谱变量建立判别模型,随机选择97份样品作为建模集,其余40份样品作为验证集。通过R2,RMSEC和RMSEP分析可知,R2： GA>MC-UVE>CARS>SPA,RMSEC和RMSEP： GA相似文献   

BiPLS结合GA优选可见/近红外光谱MLR变量

利用反向区间偏最小二乘法(BiPLS)定位光谱糖度若干信息区间,运用遗传算法(GA)从中选择波长点,建立了多元线性回归(MLR)模型。光谱进行卷积平滑和二阶导数处理后,将光谱(225个数据点)分割成25个子区间时,BiPLS优化结果最优。在所定位的信息区间进行GA二次选择特征变量,运行100次依次选择入选频率较高的12个波长点。为简化MLR模型,对于入选的相邻波长选择频率较高者,最后选择 638,734,752,868,910,916和938 nm作为回归变量,建立的MLR预测模型相关系数(R2)、校正均方根误差(RMSEC)和预测均方根误差(RMSEP)分别为0.984,0.364和0.471,优于常用的逐步多元线性回归的建模结果。表明BiPLS结合GA可以有效地对李子糖度可见/近红外光谱MLR回归变量进行筛选,提高了模型的精度。     

嵌入式粒子群-遗传算法的水质COD检测特征波长优化算法

基于紫外-可见光谱法的水质测量中,光谱信号易受到系统噪声干扰、悬浮物散射干扰,且存在信息冗余、多重共线性等特征,导致水质COD测量中特征波长的选取产生较大偏差。因此,提出了基于嵌入式粒子群-遗传（EPSO_GA）算法的水质COD检测特征波长优化算法,以提高波长选择精度。为验证检测特征波长优化算法的可行性,采集了某高校池塘水样、生活污水和排水沟水样的光谱数据,利用EPSO_GA算法对预处理后的光谱数据选取特征波长。EPSO_GA算法采用实数编码方法实现了粒子群（PSO）优化算法和遗传（GA）优化算法的统一编码,在PSO算法中更新粒子时嵌入GA算法的选择、交叉、变异等操作,改善了这两种算法各自在光谱波长特征选取问题上的局限性。将EPSO_GA算法选取的特征波长结合偏最小二乘法（PLS）构建了EPSO_GA_PLS的水质COD预测模型,并且与传统的PSO算法、GA算法选取特征波长建立的PSO_PLS、GA_PLS和全光谱构建的PLS水质COD预测模型做了对比。结果表明：与PSO_PLS,GA_PLS和全光谱构建的PLS水质COD预测模型相比,EPSO_GA改善了PSO算法和GA算法在光谱特征波长选择中早熟和收敛速度慢的问题,降低了全光谱构建PLS水质COD预测模型的复杂度,提高了模型的预测精度。基于EPSO_GA算法建立的EPSO_GA_PLS水质COD预测模型,均方根误差降到了0.212 3,预测精度增加到0.999 3,可以快速定量检测水质COD,为紫外-可见光谱法测COD提供了更好的预测模型。     

近红外特征波长筛选在勾兑梨汁中原汁含量的快速检测中的应用

为实现近红外光谱进行勾兑梨汁中原汁含量的快速检测,采用相同可溶性固形物含量的新鲜梨汁和果汁粉冲剂按照原汁含量为0%～100%进行勾兑,并结合遗传算法(GA)、粒子群算法(PSO)以及萤火虫算法(GSO & FA)进行特征波长筛选,比较分析四种算法分别建立的偏最小二乘(PLS)模型。结果表明,GA-PLS,PSO-PLS,GSO-PLS,FA-PLS四种模型均能够剔除大部分波长变量,其中以FA-PLS模型效果最佳,不仅保证模型的稳健性,而且简化了模型,提高了预测的精度。为了进一步优选特征波长,利用连续投影算法(SPA)在FA基础上做进一步波长筛选,并比较全波段PLS,SPA-PLS,FA-PLS,FA-SPA-PLS模型,四种模型泛化能力为：FA-PLS>PLS>FA-SPA-PLS>SPA-PLS,其预测均方根误差分别为0.029 1,0.033 3,0.033 9和0.137 0,相应的波长变量数量依次367,765,20和18。其中SPA-PLS波长变量最少,但预测误差远远高于其他三种模型,综合考虑预测精度与波长变量数目,FA-SPA-PLS模型不仅波长变量较少而且预测精度较高,能够有效鉴别勾兑梨汁中原汁含量。研究利用近红外光谱技术为快速鉴别勾兑果汁提供一种有益思路,并通过波长变量筛选简化定量分析模型。