基于光谱反射率的两种土壤有机质数学建模方法对比

已有土壤有机质的光谱预测模型其适用性受建模样本的采样尺度、土壤类型及光谱参数限制,需要在大尺度及范围上进一步检验适用性,并比较分析不同建模方法的建模效果以寻求适用性更好、精度更高的定量模型.在黑河上游大尺度范围采得225个土壤样品,进行了土壤有机质(SOC)及光谱反射率测定后将样本划分为建模集(180个土样)与验证集(45个土样).将土壤光谱反射率(R)变换处理后得到连续统去除(CR)、倒数(REC)、倒数之对数(LR)、一阶微分(FDR)及Kubelka-Munck变换系数共6种指标,针对建模集分别采用逐步线性回归与偏最小二乘回归方法建立12种光谱指标与SOC的数学模型,并采用验证集进行模型预测效果评价.结果表明:(1)采用逐步线性回归或偏最小二乘回归方法建模,LR指标对SOC变化的解释效果都是最好,是SOC的最优预测因子.(2)基于LR指标建立的SOC模型中,采用偏最小二乘回归模型比逐步线性回归模型的预测精度更好,相较于黑河上游已有的经验模型,偏最小二乘回归法建立的模型的预测效果也更好.(3)采用本实验的225个土壤样品对比验证了黑河上游仅有的SOC模型.该模型的SOC预测值与实测值通过了均值T检验且Pearson相关系数达0.826,表明在局部典型区域建立的SOC预测模型,可以应用到更大尺度上的土壤有机质预测研究.     

光谱测定黑河上游土壤有机质的预测模型

地面高光谱遥感光谱分辨率高,能详细地反映地物波谱特征;多光谱遥感时域宽,覆盖范围广,对较大时空区域的地物特征反演具有更大的优势。探求以不同反射率指标的土壤有机质含量预测模型,及其敏感波段,可以结合两种光谱数据的优点,为研究土壤有机质含量的时空变化规律提供新途径。本研究选取黑河上游223个土壤样品测定其有机质含量和高光谱曲线,应用原始光谱曲线反射率(λ)、倒数(REC)、倒数之对数(LR)、归一化(CR)和一阶微分(FRD)五种指标,采用逐步线性回归分析方法建立预测模型。通过统计检验,结果表明,以反射率指标为自变量的模型预测效果最佳,其相关系数(r)和均方根误差(RMSE)分别为：0.863和4.79。最优模型中得出的敏感波段有TM1内的474 nm、TM3内的636 nm和TM5内的1 632 nm。研究结果可为使用TM遥感数据反演黑河上游土壤有机质含量提供参考。     

土壤重金属砷的高光谱估算模型

砷是严重危害人体的重金属之一。利用高光谱技术进行土壤重金属砷含量的估测具有很大的应用潜力,但受区域和土壤背景的影响,估算模型适用性和精度都会有很大的差异。针对石家庄市地表水源地保护区土壤砷含量的高光谱估算,在水源地保护区的主要采矿地和冶炼企业进行了土壤实地采样和实验室重金属分析,对土壤样本的原始光谱反射率采用Savitzky-Golay 7点平滑处理,进行一阶微分（FD）、二阶微分（SD）、倒数（RT）、倒数一阶微分（RTFD）、倒数二阶微分（RTSD）、倒数对数（AT）、倒数对数一阶微分（ATFD）、倒数对数二阶微分（ATSD）、连续统去除（CR）9种光谱变换后,再对重金属砷实测含量与经光谱变换后的光谱指标进行相关分析,并提取各光谱指标的最大敏感波段。运用多元线性逐步回归（MLSR）、单光谱变换指标偏最小二乘回归（U-PLSR）和多光谱变换指标偏最小二乘回归（M-PLSR）方法构建土壤重金属砷含量估算模型,最后通过相关系数r、均方根误差（root mean square error, RMSE）和统计值F来比对建模效果。结果表明：研究区部分土壤样本重金属砷含量已经出现了轻度污染,大部分样本处于污染的临界状态;经连续统去除变换后的光谱特征与砷的相关性最大,一阶微分与砷含量存在最大负相关性;相较于多元线性逐步回归和单光谱变换指标偏最小二乘回归,采取多光谱变换指标偏最小二乘回归方法土壤重金属砷含量模型估算值与实测值最为接近,建模R2达到0.852,RMSE和F值分别达到0.147和32.384,多光谱变换指标建模集成效果显著。因此研究结果可以为石家庄水源地保护区主要采矿地和冶炼企业重金属砷污染高光谱快速监测提供科学依据。     

基于高光谱的土壤有机质含量估算研究

高光谱遥感技术以其光谱分辨率高、波段连续性强、数据丰富的特点,因而在土壤养分研究中得到广泛应用.通过土壤钉机质的高光谱遥感分析,可以充分了解土壤养分的状况及动态变化,为指导农业生产及保护农业生态环境提供科学依据.本文基于江西省余江县和泰和县采集的34个红壤土样350～2 500 nm波段的光谱曲线,研究了土壤光谱与土壤有机质含量之间的关系.先对土壤反射率光谱进行两种变换:一阶微分(R')、倒数的对数log(1/R),然后在提取特征吸收波段的基础上,运用多元逐步线性回归法和偏最小二乘回归法建立相应的估算模型,并对模型进行检验.结果表明,偏最小二乘回归法优于多元逐步线性回归法,其建立的高光谱估算模型具有快速估算土壤中有机质含量的潜力.     

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究。采集浙江省文城地区农田土壤样品近红外光谱数据,土壤样品数为394个。为简化模型,采用遗传算法结合连续投影算法挑选出18个特征波长建模,应用偏最小二乘回归建立有机质预测模型,建模集的决定系数为0.81,均方根预测误差为0.22, 剩余预测偏差为2.31,预测集的决定系数为0.83,均方根预测误差为0.20,剩余预测偏差为2.45。研究发现,遗传算法结合连续投影算法在简化模型同时,模型的预测评价指标同采用全谱波长建模并没有明显降低。因此,遗传算法结合连续投影算法挑选的特征波长可以应用于近红外光谱检测土壤有机质含量。     

土壤碳酸钙中红外光声光谱特征及其应用

测定并分析了碳酸钙(CaCO3)的中红外光声光谱及光谱特征,利用中红外光声光谱并结合主成分回归(PCR)、偏最小二乘回归(PLSR)和人工神经网络(GRNN)三种分析方法建立回归模型,分析了土壤CaCO3的含量。结果表明CaCO3具有丰富的中红外吸收,最强吸收峰波数在1 450cm-1,且干扰少,可以作为土壤CaCO3的特征吸收峰;三种回归建模方法所建模型线性都很好,PLSR和GRNN最好,相关系数(R2)均大于0.9,PCR次之,为0.847;验证样本预测能力PLSR和PCR最佳,R2大于0.9;GRNN次之,为0.882。偏最小二乘回归在校正和预测过程中的结果都非常好,RPD值均大于3.0,具有较强的适用性。     

SPA-LS-SVM检测土壤有机质和速效钾研究

应用可见/短波近红外光谱分析测量土壤有机质和速效钾含量。光谱预处理包括平滑,标准归一化,多元散射校正和平滑结合一阶导数,以消除系统噪声和外部干扰,分别应用偏最小二乘和最小二乘支持向量机方法建立校正模型,模型的输入为基于连续投影算法得到的特征波长。比较显示基于连续投影算法得到的特征波长为输入的最小二乘支持向量机优于偏最小二乘法建模。模型评价指标由相关系数和预测均方误差表示。有机质的相关系数和预测均方误差分别0.860 2和2.98,速效钾为0.730 5和15.78。表明基于连续投影算法可见/短波近红外光谱利用最小二乘支持向量机建模,可以作为一个精确的土壤有机质和速效钾的测定方法。     

矿区复垦农田土壤重金属含量的高光谱反演分析

以矿区复垦农田土壤为研究对象,利用实验室获取的土壤重金属元素砷(As)、锌(Zn)、铜(Cu)、铬(Cr)和铅(Pb)的含量与土壤可见近红外高光谱数据建立重金属元素含量的定量估算模型。为了保证模型预测的精度和稳定性,首先,对原始光谱数据进行平滑处理,并进行光谱变换,即：一阶导数,标准正态变量变换及连续统去除变换;然后,通过相关性分析提取不同变换光谱的特征波段;最后,将最小二乘支持向量机与传统的多元线性回归和偏最小二乘回归方法的结果相比较。研究表明：(1)以不同变换光谱数据建立反演模型均有较好的稳定性并达到一定精度,其中以最小二乘支持向量机方法优于偏最小二乘回归优于多元线性回归模型(除少数几个情况外);(2)从不同光谱变换数据中提取的光谱特征对反演模型结果有一定影响,其中以连续统去除和标准正态变量变换建模结果较好,一阶导数变换稍差。因此,利用高光谱遥感技术来定量估算土壤重金属含量是可行的,而且,必要的光谱预处理对提高估算模型的精度很有帮助。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

基于可见/近红外光谱技术的林地土壤氮含量测定

提出一种利用可见/近红外光谱技术进行杉木林土壤全氮测定的方法.利用不同方法实现了土壤光谱的预处理,并以偏最小二乘回归算法(PLS)建立土壤氮含量估测模型对其进行比较分析,发现小波除噪结合多远散射校正能最有效地消除原始光谱的噪声与背景信息,此时PLS模型校正集与预测集R2分别为0.891与0.885.为优化模型,对预处理后的光谱数据采用主成分分析法(PCA)降维,以最小二乘支撑向量机回归算法(LS-SVR)建立了土壤氮含量估测模型,其校正集与预测集R2分别提高至0.921与0.917,具有比PLS算法更高的精度.结果表明:以可见/近红外光谱技术进行林地土壤氮含量快速监测是可行的,其中小波去噪结合多元散射校正系光谱预处理的优选方法,而LS-SVR则是建模的优选方法.     

一种基于流形学习的近红外光谱分析建模方法

近红外光谱分析的重要内容之一是基于校正样品集建立光谱和化学成分或类别之间的回归模型。流形学习是一类新的机器学习方法,它能够揭示出复杂数据的本质维数,提取最重要的特征信息,并用于建立回归或分类模型。文章以近红外光谱为研究对象,针对近红外光谱数据维数高、谱带归属难以确定等特点,基于流形学习中局部线性嵌入(LLE)算法的思想,提出了一种最小二乘局部加权回归(LS-LWR)建模方法。最后,利用各种浓度葡萄糖溶液的近红外光谱,对该方法进行了验证。同时建立主成份回归(PCR)和偏最小二乘回归(PLSR)模型,通过计算预测标准偏差(SEP)与LS-LWR模型进行比较。实验结果表明,LS-LWR模型有更好的预测效果,而且具有模型简单、稳定性好和计算省时等优点。     

高光谱技术联合归一化光谱指数估算土壤有机质含量

随着近地高光谱遥感技术的发展,为快速、有效、非破坏性地获取土壤有机质(SOM)信息提供了可能。土壤高光谱波段数据众多,光谱数据变量之间存在较为严重的多重共线性,影响模型复杂结构,而构建归一化光谱指数(NDSI)可以有效去除冗余信息变量,放大光谱特征信息。以江汉平原公安县为研究区,采集56份耕层土样,在室内获取土壤光谱数据,采用“重铬酸钾-外加热法”测定SOM含量,对实测土壤光谱数据(Raw)进行倒数之对数(LR)、一阶微分(FDR)和连续统去除(CR)三种变换,计算四种变换的NDSI数值,分析SOM与NDSI的二维相关性,并对一维、二维相关系数进行全波段范围内的p=0.001水平上显著性检验,提取敏感波段和敏感光谱指数,结合偏最小二乘回归(PLSR)建立SOM的估算模型,探讨二维光谱指数用于建模的可行性。研究表明,二维相关系数相比一维相关系数有不同程度的提升,以LR最为显著,相关系数数值提升约0.26;基于二维相关性分析提取的敏感光谱指数的PLSR建模效果整体优于一维相关性分析提取的敏感波段,其中,NDSI_LR-PLSR模型的稳健性最优,验证集R2为0.82,模型验证RPD值为2.46,模型稳定可靠,可以满足SOM的精确监测需要,适合推广到区域范围内低分辨率的航空航天遥感(如ASTER,Landsat TM等),应用潜力较大。     

生成式对抗网络的土壤有机质高光谱估测模型

已有的土壤有机质含量估测模型大多以光谱特征波段、线性和非线性模型为基础,较少考虑通过拓展样本数据建模集来提高模型的估测能力。为进一步提高土壤有机质高光谱反演模型估测精度,提出利用生成式对抗网络(GAN)合成伪高光谱数据和有机质含量的动态估测模型。选取湖南省长沙市及周边区域的水稻田为研究对象,采集土样和实测高光谱数据(350~2 500 nm),室内化学测定有机质含量。以高光谱数据和有机质含量为基础,利用生成式对抗网络生成等量新数据, 结合原始数据建模集组成增强建模集。在GAN正式训练中,每轮训练完成后,设置4个观测点(对应增强建模集中含50,100,150和239个生成样本),动态构建交叉验证岭回归(RCV)、偏最小二乘回归(PLSR)和BP神经网络(BPNN)土壤有机质含量估测模型(分别简称GAN-RCV,GAN-PLSR和GAN-BPNN),并在相同测试集上实施模型评估。实验结果表明：(1)原始数据建模集上拟合的估测模型中,交叉验证岭回归表现最佳,决定系数(R2)和均方根误差(RMSE)分别为0.831 1和0.189 6;(2)GAN的150轮正式训练中,增强建模集上动态构建的GAN-RCV,GAN-PLSR和GAN-BPNN模型性能显著提高,具体表现为：GAN-RCV的R2取得最大值0.890 9(RMSE 0.153 7)、最小值0.850 5 (RMSE 0.18)与平均值0.868 7(RMSE 0.168 6),最大R2比建模集上拟合的RCV提高了7.2%(RMSE降低了18.9%),GAN-PLSR获得R2最大值0.855 4(RMSE 0.176 9)、最小值0.727 0 (RMSE 0.243 2)与平均值0.780 1 (RMSE 0.217 7),最大R2比建模集上拟合的PLSR提高了20.6%(RMSE降低了29.5%),GAN-BPNN表现最佳,R2取得最大值0.905 2(RMSE 0.143 3)、最小值0.801 7(RMSE 0.207 3)与平均值0.868 1(RMSE 0.168 6),最大R2比建模集上拟合的BPNN提高了30.8%(RMSE降低了44.5%);(3)随着增强建模集中生成样本数量增加,模型精度提升效果呈先升后降趋势,4个观测点中第3个观测点的模型性能提升最显著。充分的实验表明：基于GAN动态构建的有机质含量估测模型显著改善了模型预测性能。依据测试集上的评估结果,可择优使用最佳模型进行后续土壤有机质含量估测。     

基于近红外光谱和偏最小二乘法的慈竹纤维素结晶度预测研究

将近红外光谱技术和化学计量学相结合分析慈竹纤维素结晶度。通过区间偏最小二乘法(iPLS)、联合区间偏最小二乘法(siPLS)和反向区间偏最小二乘法(biPLS)优化建模区域,建立经多元散射校正后光谱的结晶度分析模型,并与全光谱范围350～2 500nm建立的偏最小二乘(PLS)模型进行比较。结果表明,三种改进偏最小二乘法建立的结晶度模型预测效果均优于PLS模型,并且当采用联合区间偏最小二乘法将全光谱进行30个子区间划分,选择三个子区间[8 12 19]组合时,建立的siPLS模型预测效果最好,相关系数(r)达到0.88,预测标准差(RMSEP)为0.0117。因此,采用联合区间偏最小二乘法可以有效选择建模光谱区域,提高模型预测能力,实现慈竹纤维素结晶度的快速预测。     

基于野外Vis-NIR光谱的土壤有机质预测与制图

利用野外实时快速获取的土壤光谱进行土壤有机质(SOM)预测与制图是精确农业与土壤遥感制图的必然需要,利用ASD FieldSpec Pro FR野外型光谱仪实时快速获取的光谱数据,去除噪声较大的边缘波段后,进行倒数的对数转换(Log(1/R))为吸收光谱。在分析吸收光谱和光谱指数与SOM关系的基础上,采用偏最小二乘回归法进行SOM的建模预测并借助地统计学方法进行SOM空间变异制图研究。结果表明,建模效果好的指标分别为特征波段(R2=0.91,RPD=3.28),归一化光谱指数(R2=0.90,RPD=3.08),特征波段与3个光谱指数组合(R2=0.87,RPD=2.67),全波段(R2=0.95,RPD=4.36)。光谱指标的克里格制图与实测SOM制图表现出相同的空间变异趋势,不同的指标均达到了较好的预测效果。     

特征变量选择和回归方法相结合的土壤有机质含量估算

针对高光谱数据量大、信息冗余严重的现象,应用稳定竞争性自适应重加权采样(sCARS)、连续投影算法(SPA)、遗传算法(GA)、迭代保留有效信息变量(IRIV)和稳定竞争性自适应重加权采样结合连续投影算法(sCARS-SPA),从全波段光谱数据中筛选特征变量,并利用全波段和特征波段建立偏最小二乘回归(PLSR)、支持向量机(SVM)和随机森林(RF)模型预测土壤有机质含量。结果表明, PLSR和SVM模型结合特征变量选择,不仅提高了模型运算效率,而且模型预测能力较全波段均有一定提高;RF模型采用特征变量建模,对模型精度的提高不是十分明显,但其构建模型的变量数量却显著减少,大大提高建模效率。RF模型精度优于SVM和PLSR模型,IRIV结合RF建立的土壤有机质含量预测模型,变量数仅63个,校准集和验证集模型决定系数(R~2)分别为0.941和0.96,验证集相对分析误差(R_(PD))为4.8。与全波段建模相比,特征变量选择和回归方法相结合,在保证模型精度的同时,可有效提高建模效率。     

应用近红外高光谱成像技术预测甘蔗可溶性固形物含量

为了探究应用近红外高光谱成像技术对甘蔗内部可溶性固形物（SSC）预测的可行性,试验样本选择三种不同品种中的240个甘蔗节作为研究对象。通过高光谱成像系统获取甘蔗节的近红外光谱信息和图像信息,并分别探讨了光谱信息和图像纹理信息对甘蔗可溶性固形物预测的可行性。采用最小二乘回归（PLSR）,最小二乘支持向量机（LS-SVM）及主成分回归（PCR）建模方法构建甘蔗可溶性固形物的预测模型。比较了连续投影算法（SPA）、无信息变量消除算法（UVE）及区间偏最小二乘（iPLS）特征提取方法对预测结果的影响。实验结果表明：基于甘蔗的光谱信息能实现可溶性固形物的预测,其中偏最小二乘回归模型的建模集和预测集的相关系数分别为0.879和0.843,均方根误差分别为0.644和0.742。通过UVE算法提取105个有效波长所建立的PLSR模型的建模集及预测集相关系数分别为0.860和0.813,均方根误差分别为0.693和0.810。     

可见光-近红外、中红外光谱的土壤有机质组分反演

土壤有机质是土壤肥力的物质基础,其含量的高低是评价土壤肥力的重要标志。土壤有机质组分根据其溶解性可分为胡敏素(HM)、胡敏酸(HA)、富里酸(FA),不同组分的肥力特性差异显著,因此,土壤有机质组分数据可更加全面、客观的反映土壤肥力状况。传统土壤土壤有机质及组分的测定工序繁杂,效率低下且时效性差,大量研究表明高光谱技术能有效提高土壤属性的检测效率并降低测试成本,但关于可见光-近红外、中红外光谱检测土壤有机质组分的报道鲜见。为了探索中红外光谱及可见光-近红外-中红外组合光谱对土壤有机质组分检测的可行性,并对比有机质单一光谱模型与有机质不同组分的组合光谱模型的预测精度,以南疆地区农田土壤为例,在阿克苏及和田地区共采集93个土样,进行有机质、胡敏素、胡敏酸、富里酸含量及光谱数据的测定。其次,利用可见-近红外(VNIR)、中红外(MIR)及其组合光谱(VNIR-MIR)三种光谱数据集,采用偏最小二乘(PLSR)、支持向量机(SVM)、随机森林(RF)三种建模方式对土壤有机质、胡敏素、胡敏酸、富里酸含量进行组合模型分析预测。结果表明：(1)土壤有机质及各组分均与光谱反射率有较好的相关性,土壤有机质及组分在MIR谱段的特征波段数量明显多于VNIR谱段。(2)有机质最优预测模型的模式为VNIR-MIR-RF,该模型的决定系数R2为0.90;胡敏素与胡敏酸最优预测模型的模式均为VNIR-RF模型,R2均为0.92;富里酸最优预测模型的模式为MIR-RF模型,R2为0.94。(3) 基于胡敏素、胡敏酸和富里酸的有机质组合光谱模型的预测精度明显高于有机质单一光谱模型,两种模型的R2分别为0.93和0.90。实现了土壤有机质组分的高效快速反演,且基于有机质组分的组合模型提高了土壤有机质预测精度,为南疆地区大尺度土壤肥力的鉴定与精准施肥提供重要的参考价值。     

基于全谱数据挖掘技术的土壤有机质高光谱预测建模研究

可见/近红外高光谱技术与建模方法是当前土壤近地传感器研究领域的重要方向,可应用于土壤养分信息的快速获取和农田作物的精确施肥管理。以浙江省水稻土为研究对象,利用以非线性模型为核心的数据挖掘技术,包括随机森林、支持向量机、人工神经网络等方法分别建立了不同建模集和验证集的原始光谱与有机质含量的估测模型。结果表明：研究比较的1∶1,3∶1和全部样本建模并全部验证的三种样本模式划分对建模的结果有一定的影响。相较于目前常用的偏最小二乘回归(PLSR)建模方法而言,非线性模型RF和SVM也取得了较好的建模精度,三种模式下其RDP值均大于1.4。特别是采用SVM建模方法所得模型具有很好的预测能力,模式二下其RDP值达到2.16。同时引入ANN方法改进建立的PLSR-ANN方法显著提高了PLSR的模型预测能力。     

基于可见近红外高光谱的东北盐渍土盐分定量模型研究

为实现东北苏打盐渍土盐分的定量反演,利用光谱测量技术,建立了土壤反射光谱与土壤盐分含量之间的偏最小二乘回归模型;探讨了利用反射光谱预测土壤盐分含量的可行性;分析了不同光谱处理方法、不同重采样间隔条件下建模的精度。结果表明：基于反射光谱进行土壤盐分的定量预测是可行的。平滑后的光谱预测精度比平滑前的预测精度明显提高。平滑后倒数对数变换能够有效去除噪声影响,所建立的模型预测精度最高(R2=0.6677, RPD=1.61)。能够满足盐分预测精度的最大的重采样间隔为8 nm。为大规模卫星遥感监测盐渍化土壤时空演变提供了科学的参考依据。