卷积神经网络用于近红外光谱预测土壤含水率

近红外光谱分析技术在土壤含水率预测方面具有独特的优势,是一种便捷且有效的方法。卷积神经网络作为高性能的深度学习模型,能够从复杂光谱数据中自主提取有效特征结构进行学习,与传统的浅层学习模型相比具有更强的模型表达能力。将卷积神经网络用于近红外光谱预测土壤含水率,并提出了有效的卷积神经网络光谱回归建模方法,简化了光谱数据的预处理要求,且具有更高的光谱预测精度。首先对不同含水率下土壤样品的光谱反射率数据进行简单的预处理,通过主成分分析减少光谱数据量,并将处理后的光谱数据变换为二维光谱信息矩阵,以适应卷积神经网络特殊的学习结构。然后基于卷积神经网络算法,设置双层卷积和池化结构逐层提取光谱数据的内部特征信息,并采用局部连接和权值共享减少网络参数、提高泛化性能。通过试验优化网络结构和各项参数,最终获得针对土壤光谱数据的卷积神经网络土壤含水率预测模型,并与传统的BP,PLSR和LSSVM模型进行对比实验。结果表明在训练样本达到一定数量时,卷积神经网络的预测精度和回归拟合度均高于三种传统模型。在少量训练样本参与建模的情况下,模型预测表现高于BP神经网络,但略低于PLSR和LSSVM模型。随着参与训练样本量的增加,卷积神经网络的预测精度和回归拟合度也随之稳定提升,达到并显著优于传统模型水平。因此,卷积神经网络能够利用近红外光谱数据对土壤含水率做出有效预测,且在较多样本参与建模时取得更好效果。     

利用改进自动编码器光谱法预测土壤有机质

提出一种改进自动编码器方法,用于利用近红外光谱预测大尺度下土壤有机质含量等级。首先,提出改进自动编码器算法框架,将传统的用于重建输出的自动编码器与分类器相结合;对改进自动编码器中的损失函数进行定义。然后,将改进自动编码器应用于预测土壤有机质含量等级的近红外光谱分析建模问题中,使用双层前馈神经网络实现了改进自动编码器的编码器、解码器和分类器。最后,使用大尺度土壤光谱数据集对模型进行训练,预测土壤有机质含量等级,并与主成分回归、支持向量机等方法的效果进行对比。实验结果表明,基于改进自动编码器的土壤有机质含量等级分类准确率为63.05%,高于其他方法。利用该模型预测大尺度下土壤有机质含量等级有较好的表现。     

土壤水分对近红外光谱实时检测土壤全氮的影响研究

利用近红外光谱技术实时预测土壤全氮含量是精细农业的研究热点之一,但是由于土壤水分在近红外波段的吸收系数较高,影响了土壤全氮含量的实时预测精度。使用布鲁克MATRIX_I傅里叶近红外光谱分析仪对不同土壤水分的土壤样本进行了近红外光谱扫描,定性和定量的分析了土壤水分对近红外光谱的影响,并提出了一种消除土壤水分对土壤全氮含量预测影响的方法。近红外光谱扫描结果显示在同一全氮含量水平下,随着土壤水分含量的增加,光谱吸光度呈逐渐上升的趋势,且变化趋势为非线性。通过对1 450和1 940 nm两个水分吸收波段的差分处理,设计了水分吸收指数MAI（moisture absorbance index）,再对土壤按照水分含量梯度进行分类,提出了相应的修正系数。修正后的6个土壤全氮特征波段处(940,1 050,1 100,1 200,1 300和1 550 nm)的土壤吸光度值作为建模自变量,使用BP神经网络建立了土壤全氮预测模型,模型的R_C,R_V,RMSEC,RMSEP和RPD分别达到了0.86,0.81,0.06,0.05和2.75;与原始吸光度所建模型相比较模型精度得到了显著提高。实验结果表明本方法可以有效地消除土壤水分对近红外光谱检测土壤全氮含量预测的影响,为土壤全氮含量实时预测提供了理论和技术支持。     

基于深度稀疏学习的土壤近红外光谱分析预测模型

提出一种基于深度稀疏学习的土壤近红外光谱分析预测模型。首先,使用稀疏特征学习方法对土壤近红外光谱数据进行约简,实现土壤近红外光谱内容的稀疏表示;然后采用径向基函数神经网络以稀疏表示特征系数为输入,以所测土壤成分为输出,分别建立土壤有机质、速效磷、速效钾的非线性预测模型。结果表明用该模型预测土壤有机质的含量是可行的,但对土壤速效磷和速效钾含量的预测还需对模型做进一步的优化。     

基于近红外光谱的北方潮土土壤参数实时分析

选取中国北方潮土作为研究对象,探索利用近红外光谱分析技术分析土壤参数的可行性和可能性。从一块试验麦田共采集了150个土样,土样在采集回试验室后,在保持其原始状态的条件下利用傅里叶变换近红外光谱仪迅速测定了其近红外光谱。近红外光谱变量为原始吸收光谱和一阶微分光谱,分析的土壤参数有土壤水分、有机质和全氮的含量。对于土壤水分,在相关分析的基础上建立了一元线性模型,所采用的波长为1 920 nm,模型的相关系数达到0.937,模型可以直接用于土壤水分的实时预测。对于有机质和全氮含量建立了多元回归模型,有机质预测模型所采用的波长是1 870和1 378 nm,全氮预测模型所采用的波长则是2 262和1 888 nm。分析结果表明土壤有机质和全氮含量可以利用田间土样的近红外光谱特性进行分析和检测,建立的线性模型是有效的。     

基于谐波分析算法的干旱区绿洲土壤光谱特性研究

土壤有机质(SOM)含量是评价土壤肥力的重要指标。以新疆渭-库绿洲为研究区,对室内获取的SOM含量及反射光谱数据进行Savitzky-Golay (S-G)平滑和一阶微分(FD)预处理。在此基础上,为减小敏感波段遴选对建模精度的影响,引入谐波分析(HA)算法对全波段光谱数据进行谐波分解。基于主成分分析(PCA)降维后的7个主分量对SOM含量进行基于反向传播(BP)神经网络、遗传算法(GA)-BP神经网络和多元线性回归(MLR)方法的定量估算,并对估算精度进行比较。结果表明:HA预处理后的光谱数据与SOM含量的相关性相较于FD数据有了明显提高;非线性模型BP神经网络的估算精度明显高于线性模型MLR;在非线性模型中,GA-BP模型的估算精度最高,其决定系数为0.92,预测集的均方根误差为3.92×10~(-3),相对分析误差为1.93。验证了HA算法深度挖掘光谱数据的有效性,经过GA优化的BP神经网络模型可以提高SOM含量的估算精度,为土壤属性的光谱定量估算提供借鉴。     

南疆农田土壤全氮含量的中红外光谱反演模型

快速准确监测农田土壤全氮含量,可显著提高土壤肥力诊断与评价工作的效率。传统测定土壤全氮的方法存在耗时费力、成本高、环境污染等缺点,而基于光谱学原理的土壤全氮定量方法克服了传统测量的劣势。中红外(MIR)光谱相较于可见光-近红外(VNIR)光谱而言,具有更多的波段数和信息量,如何利用中红外光谱监测土壤全氮含量是具有重要应用前景的研究课题。为了探索中红外光谱对土壤全氮监测的可行性,以新疆南疆地区采集的246个农田土样为研究对象,以室内测定的全氮含量和中红外光谱反射率数据为数据源,分析了不同全氮含量土样的中红外光谱特征差异,以主成分分析法(PCA)和连续投影算法(SPA)对光谱数据进行降维,然后采用偏最小二乘回归(PLSR)、支持向量机(SVM)、随机森林(RF)和反向传播神经网络(BPNN)四种建模方法分别构建基于全波段和降维数据的土壤全氮含量定量反演模型。研究结果表明：(1)土壤在中红外波段光谱反射率随全氮含量的增加而增加,在3 620,2 520,1 620和1 420 cm-1附近存在明显的吸收谷;将中红外光谱数据进行最大值归一化处理后,可明显提高土壤光谱反射率与全氮含量的相关性。(2)对比两种数据降维方法,PCA和SPA分别使模型变量数减少了99.8%和97.5%,但以PCA提取的8个主成分为自变量建立的模型预测精度总体要高于SPA对应的模型,因此以PCA提取的主成分建模更适于土壤全氮模型的构建。(3)在建模集中,PLSR和SVM模型以全波段建模精度最高,但建模变量数多,建模效率较低,而RF和BPNN模型分别以PCA和SPA降维后的数据建立的模型在保持精度相当的前提下,可显著提高建模效率;在预测集中,基于PCA降维数据的BPNN模型预测能力最高,R2和RMSE分别为0.78和0.12 g·kg-1,RPD和RPIQ值分别为2.33和3.54,模型具备较好的预测能力。研究结果可为农田土壤全氮含量快速估测提供一定的参考价值。     

波长优选对土壤有机质含量可见光/近红外光谱模型的优化

可见光/近红外光谱模型是土壤属性预测的有效工具。波长优选在光谱建模过程中起着重要作用。文中首先利用从安徽省涡阳县采集的130个砂姜黑土土壤样本获得可见光/近红外光谱,然后利用平滑与多重散射校正联合的光谱预处理方式消除光谱中的无关变量和冗余信息以提高模型预测结果的相关性,再利用SPXY方法挑选建模集样本,分别利用连续投影算法和遗传算法进行波长优选,最后利用留一法进行交互验证建立有机质含量的主成分回归模型。研究结果显示：连续投影算法和遗传算法都可以有效地减少参与建模的波长数并提高模型的准确度,尤其是遗传算法能够更好地提高土壤有机质含量预测精度,其相关系数、预测均方根误差和相对分析误差分别达到0.9316,0.2142和2.3195。通过合适的特征波长选取,不仅计算量可以大大减少,预测精度也会有效提高。     

近红外光谱小波分析在土壤参数预测中的应用

从田间采集了150个田间土壤样本,在分析了所有样本的土壤参数统计特征之后,对原始近红外光谱数据进行了聚类分析,分别得到了50个土壤全氮和50个土壤有机质的等价样本及其对应光谱。对样本光谱曲线进行8层Biorthogonal小波包分解,分解得到的最低低频[80]结点对应着土壤水分以及土壤质地的光谱变化趋势,最高高频[8 255]结点对应着土壤粒度、光谱仪精度等引起的高频震荡。对以上两个结点进行重构并从样本光谱曲线中剔除以上影响成分,得到了对应的土壤参数特征光谱。基于特征光谱建立了土壤参数偏最小二乘回归模型：全氮偏最小二乘预测模型的预测系数r_c达到了0.960,验证系数r_v达到了0.920;有机质偏最小二乘预测模型的预测系数r_c达到0.922,验证系数r_v达到0.883。模型精度明显提高,满足实际生产的需要。     

一种新的光谱参量预测黑土养分含量模型

我国东北黑土富含养分,随着土壤数字制图、精确农业和土壤资源调查等研究的深入,引入航空高光谱数据并提供科学的预测结果成为研究热点。数据源为CASI-1500航空高光谱成像系统,光谱范围380~1 050 nm,空间分辨率1.5 m。在黑龙江建三江地区采集59个土壤样本,化验获得有机质、全氮、全磷和全钾含量数据,选择eps-regression支持向量机模型,BP神经网络和PLS1最小二乘回归模型,建立光谱与含量的机器学习模型。通过评价3种模型的预测精度,选用支持向量机方法,对航空高光谱数据进行全氮、全磷和全钾的信息提取,采用神经网络方法,反演了有机质信息。研究表明：以光谱统计量、光谱特征值和光谱信息量为大类指标,所选取的18个子指标,能够反映土壤光谱的综合情况,是一种新的土壤光谱数据处理方法。有机质和全钾信息提取精度最高的算法是神经网络法,误差分别为1.21%和0.81%,而支持向量机算法在提取全氮和全磷信息时,验证样本的实测均值和预测均值完全吻合,精度最高。评价航空高光谱提取土壤养分的综合精度,有机质、全氮、全磷和全钾提取误差分别为5.25%,6.05%,2.74%和8.90%,在全磷反演中精度最高。     

顾及土壤湿度的土壤有机质高光谱预测模型传递研究

高光谱遥感技术作为当前遥感发展的前沿科技,通过电磁波与地物的相互作用,可以定量反演地物的物理化学性质。土壤有机质是重要的土壤养分信息参数,利用高光谱遥感技术快速获取其含量信息可以为精准农业的发展提供必要的数据支撑。然而,由于受到外部参数差异的干扰,导致建模精度降低的同时,还会造成已有模型传递性的“失效”。为了消除湿度差异的干扰,进一步拓展已有模型的适用空间,以江汉平原滨湖地区为例,通过对95个土壤样本进行加湿处理,在实验室自然风干的条件下,量测得到13套不同湿度等级土壤样本的可见—近红外反射光谱数据,建立了各湿度等级下土壤有机质的光谱反演模型,研究水分差异对建模精度的影响;在此基础上,运用Direct Standardization(DS)算法对湿土光谱进行校正,进而探讨该算法在提高模型传递性能方面的潜力。结果表明：基于风干土光谱建立的模型预测精度最高,未经校正的湿土光谱无法通过该模型进行土壤有机质含量预测,预测偏差在-8.34～3.32 g·kg-1,RPD在0.64～2.04;经过DS算法校正后的湿土光谱可以通过该模型进行土壤有机质含量预测,预测偏差降低至0,RPD值提高至7.01。研究表明DS算法能有效降低湿度差异对光谱反演土壤有机质的影响,使土壤有机质光谱反演模型适用于不同水分含量的土壤样本。     

近红外光谱的北方寒地土壤含水率预测模型研究

我国北方寒地温差大,土壤温差对近红外光谱测量土壤墒情有较大影响。针对这一问题,以北方寒地土壤为研究对象,探究大范围温度胁迫下（-20～40 ℃）土壤的近红外光谱与土壤不同含水率之间的关系预测模型方法。选取黑龙江八一农垦大学农学院试验基地中的黑土,经烘干、过筛等操作处理后配置含水率范围在15%～50%内八种不同湿度的土壤样品,建立北方寒地土壤大范围温度胁迫下土壤的近红外光谱信息与含水率之间的定量预测模型。在全波段光谱数据的基础上,结合五种不同光谱信号预处理方法,采用BP神经网络算法、优化支持向量机算法（SVM）、高斯过程算法（GP）三种智能算法建立北方寒地土壤近红外光谱与含水率的预测模型并验证模型的效果。利用69组数据进行训练建模, BP神经网络相关参数设置为学习速率0.05,最大训练次数设置为5 000,隐层单元数确定为20;SVM采用径向基函数,并利用leave-one-out cross validation确定了最佳惩罚参数为0.87,使模型预测的准确性提高;高斯过程算法内部采用马顿核。模型的定量评估采用决定系数(R2)和均方根误差（RMSE）。结果表明,在建立的全部BP神经网络模型中,效果最佳的为S_G-BP神经网络模型,模型的R2为0.960 9,RMSE为2.379 7;在SVM模型中SNV-SVM模型的效果最好,模型的R2为0.991 1,RMSE为1.081 5;在GP模型中S_G-GP模型的效果最好,模型的R2为0.928,RMSE为3.258 1,综上基于SNV预处理的SVM模型训练效果最优。利用剩余的35组光谱数据作为预测集验证模型性能,经模型对比分析发现基于SVM算法的预测模型效果优于其他两种算法,其中基于S_G的SVM模型效果最优,其预测模型的R2和差RMSE分别为0.992 1和0.736 9。综合建模集与预测集的参数最终确定基于S_G的SVM模型为最佳模型。此模型可以作为大范围温度胁迫条件下（寒地）的土壤含水率有效预测方法,为设计优化适宜寒地便携式近红外土壤含水率快速测量仪提供科学依据。     

基于特征波长积分算法的土壤有机质抗水分干扰模型研究

土壤有机质是土壤的重要成分,也是农作物生长的重要营养指标。快速、准确检测土壤有机质含量对施肥管理具有重要意义。近年来,近红外光谱被广泛应用于土壤有机质的快速检测,然而土壤有机质敏感波段易受土壤水分干扰,从而会影响到土壤有机质的预测结果。在山西省境内采集了140个土壤样本,采用ASD光谱仪分别获取了不同含水率（0%,5%,10%,15%,17%）土壤样本谱图曲线（350～2 500 nm）。为了提高土壤有机质预测模型精度,提出特征波长积分算法,即通过特征波长处吸光度的积分值作为自变量进行建模的方法,建立了土壤有机质预测模型及抗水分干扰修正系数模型。结果表明：（1）使用特征波长处吸光度的积分值作为自变量建立的土壤有机质预测模型统计参数优于传统的使用特征波长处的吸光度值作为自变量的建模方法;（2）校正后的湿土光谱更加接近干土土样,在一定程度上解决了传统水分修正系数在水分含量较高时修正效果较差的问题;（3）提高了湿土样本的预测精度,预测相关系数（R_P）提升了约0.09,预测均方根误差（RMSEP）降低了约1.72 。说明该方法可以有效降低水分对土壤有机质光谱的影响,提高不同含水率土壤有机质的预测精度,可为后续仪器开发提供理论支持。     

应用局部神经网络和可见/近红外光谱法估测土壤有效氮磷钾

要实现农田合理施肥,需要对土壤养分状况进行实时、准确地诊断,因而建立快速、稳定可靠的土壤养分定量分析方法是关键。光谱分析是一种有很大潜力的快速分析方法,从可见/近红外光谱建模的几个重要环节,即特征波段、预处理方法及回归模型方法的选择,研究了土壤有效氮、磷、钾含量快速估测的光谱建模方法。采用了多元散射校正加一阶导数进行光谱预处理,通过逐波段相关分析在可见-近红外区优选特征波段,并应用了局部非线性回归方法(BP神经网络局部回归法)建模,所建模型对土壤有效氮、磷、钾含量估测的相关系数r分别为0.90,0.82和0.94,BP神经网络局部建模比全局建模具有更好的精度和稳定性,估测精度提高幅度分别为40.63%,28.64%,22.90%。因此,采用局部BP神经网络回归建模法建立土壤有效氮、磷、钾的光谱定量分析模型,可实现对土壤养分状况的快速诊断。该研究的创新点是通过采用局部非线性回归方法提高了土壤光谱营养诊断模型的稳定性和可靠性,为作物生长过程中不同生长时期的土壤养分的动态监测和过程控制提供了技术支持。     

基于无人机多光谱图像的土壤水分检测方法研究

以表层土壤为对象,探究土壤的多光谱反射率与土壤水分含量相关性,进行基于无人机多光谱图像的土壤水分含量预测模型方法的探究。选取中国农业大学通州实验站为研究区域,实地采集试验田的土壤样本100组,按照一定梯度配制土壤含水量,配成的土壤含水率为10%~50%之间,土壤含量的真实值采用土壤烘干法进行测定。多光谱相机灵巧便捷,可搭载在无人机上对土壤进行监测。将RedEdged-M型多光谱相机搭载在Phantom 3型无人机上,选择阳光充足的采集环境,实时采集土壤样本的多光谱图像,建立土壤多光谱信息与水分含量之间的模型。利用处理光谱数据的ENVI5.3软件提取土壤样本多光谱信息,以多光谱相机自带的标准白板反射率为100%,计算出土壤样本在蓝、绿、红、红边、近红外五个波段的光谱反射率。采用BP神经网络算法、支持向量机算法、偏最小二乘算法分别建立基于无人机多光谱图像的土壤水分含量的预测模型。以80组土壤样本数据作为训练集,建立基于多光谱图像的土壤水分含量预测模型。采用莱文贝格-马夸特算法对BPNN进行改进,提高了其训练速度,当网络结构为5-10-1时,训练效果最好,本文选择该网络结构;SVM采取高斯核函数,当参数为0.56时,模型效果最好。本研究采用归一化均方根误差(NRMSE)和决策系数(R 2)对三种土壤水分含量的预测模型进行定量对比。以20组土壤样本数据作为测试集,结果可知,基于BP神经网络土壤水分含量预测模型的NRMSE为0.268,R 2为0.872;基于支持向量机的土壤水分含量预测模型的NRMSE为0.298,R 2为0.821;基于偏最小二乘土壤水分含量预测模型的NRMSE为0.316,R 2为0.789。对三种模型分析可知,基于BPNN的土壤水分含量预测模型效果均较好。结果可知,土壤的光谱反射率与含水率间存在较密切的相关性,将多光谱相机搭载在无人机上可以对土壤水分含量进行有效的实时监测,对监测土壤墒情提供技术支持和理论支撑。     

土壤粒度对基于近红外离散波长土壤全氮预测精度影响

土壤粒度是对土壤近红外光谱造成严重干扰的主要因素之一。通常在样本前处理阶段采用研磨和过筛土壤来降低土壤粒度干扰,在数据处理阶段通过对连续光谱微分法等数学方法消除土壤粒度干扰。但是对于近红外波段离散波长的建模,至今没有有效的方法消除土壤粒度干扰。为此,提出了土壤粒度修正法以解决土壤粒度干扰消除难题。首先建立土壤粒度修正模型,将农田采集的标准土壤在实验室烘干消除水分后,进行土样配置,得到4个土壤粒度（2.0, 0.9, 0.45, 0.2 mm）和6个全氮浓度等级（0, 0.04, 0.08, 0.12, 0.16, 0.2 g·kg-1）的96个土壤样本。采用MATRIX-Ⅰ型傅里叶变换近红外光谱仪采集土壤样本近红外光谱,计算四个不同粒度(每个粒度包含24个土壤样本)和全部土壤样本在每个波长处（850～2 500 nm）所有样本间吸光度的光谱标准偏差,分析得到土壤粒度的特征波段为1 361和1 870 nm。采用特征波段吸光度比值作为单一输入变量建立SVM土壤粒度分类模型,土壤粒度整体分类准确率为93.8%,表明对土壤粒度进行分类是可行的。选择本研究团队开发的基于近红外波段离散波长(1 070, 1 130, 1 245, 1 375, 1 550, 1 680 nm)吸光度的车载土壤全氮检测仪对提出的土壤粒度修正模型进行验证。结果表明修正后粒度为2.0,0.9和0.45 mm的吸光度和原始土壤吸光度分别降低了62%,74%,111%和61%。表明土壤粒度修正法可以显著减小土壤粒度干扰。最后采用BPNN建立不同吸光度的全氮模型,相较于原始吸光度模型,修正后的土壤吸光度模型R2_v提高了25%。表明提出的土壤粒度修正法可以显著减小土壤粒度对近红外光谱离散波长吸光度的干扰,提高车载土壤全氮检测仪的测量精度。     

基于不同模型的土壤有机质含量高光谱反演比较分析

以新疆奇台县为研究区域,选取该县40个土壤样本,采用多元线性逐步回归法和人工神经网络法两种方法分别建立了土壤有机质含量的反演模型,并对模型进行了检验。结果发现：不同模型的精度值各异,其拟合效果从高到低依次为人工神经网络(ANNs)集成模型＞单个人工神经网络(ANNs)模型＞多元逐步回归(MLSR)模型。人工神经网络的线性和非线性逼近能力较强,而其集成模型作为提高反演模型精度的重要手段,相关系数高达0.938,均方根误差和总均方根误差最小,分别仅为2.13和1.404,对土壤有机质含量的预测能力与实测光谱非常接近,分析结果达到了较实用的预测精度,为最优拟合模型。