利用改进自动编码器光谱法预测土壤有机质

提出一种改进自动编码器方法,用于利用近红外光谱预测大尺度下土壤有机质含量等级。首先,提出改进自动编码器算法框架,将传统的用于重建输出的自动编码器与分类器相结合;对改进自动编码器中的损失函数进行定义。然后,将改进自动编码器应用于预测土壤有机质含量等级的近红外光谱分析建模问题中,使用双层前馈神经网络实现了改进自动编码器的编码器、解码器和分类器。最后,使用大尺度土壤光谱数据集对模型进行训练,预测土壤有机质含量等级,并与主成分回归、支持向量机等方法的效果进行对比。实验结果表明,基于改进自动编码器的土壤有机质含量等级分类准确率为63.05%,高于其他方法。利用该模型预测大尺度下土壤有机质含量等级有较好的表现。     

水稻土可见-近红外-中红外光谱特性与有机质预测研究

土壤有机质是农田肥力评估的重要指标,要实现快速获取大面积土壤有机质的含量需要建立高效、稳健的预测模型。光谱技术能够快速诊断土壤有机质,以水稻土为例,从校正样本选择方法的对比,研究了可见-近红外、中红外和可见-近红外-中红外三种不同波段光谱对土壤有机质的预测能力。可见-近红外和中红外区域的光谱反射率转换成吸收率后通过Savitzky-Golay平滑法去噪,通过三种校正样本选择方法建立相应的偏最小二乘回归预测模型。通过Rank-KS法建立的三种波段的有机质预测模型均优于Rank法和KS法,中红外波段光谱的模型预测能力强于可见-近红外和可见-近红外-中红外波段的预测模型,基于Rank-KS法建立的中红外波段有机质预测模型取得了最好的预测效果,RMSE_P仅为3.25 g·kg-1,RPD达到4.24,依据VIP得分筛选出可见-近红外和中红外波段的水稻土有机质重要建模波段。因此,中红外光谱建模技术能够对水稻土有机质进行快速定量分析,Rank-KS法可提高模型的预测能力,为今后农田肥力评价和科学施肥提供技术支持。     

高光谱小波能量特征估测土壤有机质含量

土壤高光谱在采集过程中难以避免噪声干扰,造成高光谱数据信噪比较低,影响土壤有机质含量估测精度。尝试探究小波能量特征方法,降低高光谱噪声,提升土壤有机质含量高光谱估测模型性能。选取湖北省潜江市运粮湖管理区为试验区,于2016年9月采集80份深度为0~20 cm的水稻土样本;土壤样本经风干、碾磨、过筛等一系列处理后,在实验室内采集样本光谱,并通过重铬酸钾-外加热法测定土壤有机质含量;利用浓度梯度法,将总体样本集（80个样本）划分为建模集（54个样本）和验证集（26个样本）;以mexh为小波基函数进行连续小波变换（continuous wavelet transformation）,将土壤高光谱转换为10个分解尺度的小波系数（wavelet coefficients）;逐尺度计算小波系数的均方根作为小波能量特征（energy features）,将10个尺度的小波能量特征组成小波能量特征向量（energy features vector）;逐尺度逐波长计算小波系数与有机质含量的相关系数,将达到极显著水平（p<0.01）的小波系数作为敏感小波系数（sensitive wavelet coefficients）;利用主成分分析法（principal component analysis）分别计算土壤高光谱和小波能量特征向量的各主成分载荷,通过比较两者第一主成分贡献率的高低和两者前三个主成分得分的空间离散程度,判断小波能量特征转换前后建模自变量的主成分信息变化趋势;基于小波能量特征向量和敏感小波系数分别建立多元线性回归和偏最小二乘回归土壤有机质含量估测模型。结果表明,土壤有机质含量越高,全波段反射率越低,但不同土样的光谱反射率曲线特征相似,近红外部分的反射率（780~2 400 nm）高于可见光部分（400~780 nm）;敏感小波系数对应的波长为494,508,672,752,1 838和2 302 nm;土壤高光谱与小波能量特征向量的第一主成分贡献率分别为96.28%和99.13%,小波能量特征向量的前三个主成分散点较土壤高光谱的主成分散点在空间上更为聚集,表明小波能量特征方法有效减少了噪声影响;比较全部土壤有机质含量估测模型,以小波能量特征向量为自变量的多元线性回归模型具有最佳估测精度,其验证集决定系数（R2）、相对估测误差（RPD）和均方根误差（RMSE）分别为0.77,1.82和0.82。因此,小波能量特征方法既能够提高数据的信噪比,提升土壤有机质含量的估测精度,又实现了土壤高光谱数据降维,降低了模型复杂度,可用于土壤有机质含量快速测定和土壤肥力动态监测等研究。     

微分算法的艾比湖湿地自然保护区土壤有机质多光谱建模

针对以往利用高光谱数据来来反演土壤有机质（SOM）的可行性与可靠性,结合微分处理对光谱数据信息提取的高效性,提出了直接对多光谱遥感影像进行微分处理就可得出SOM建模研究,旨在为今后SOM速测提供参考。采用Landsat 8_OLI 多光谱遥感影像数据,对多光谱遥感影像进行辐射定标、几何校正、大气校正、镶嵌和裁剪,运用IDL软件对影像进行一阶微分处理和二阶微分处理,发现一阶微分图像能够更好地表达地物的真实情况,更好地区别水体与土壤。原始遥感影像包含大量的信息其中还包括噪声,通过微分处理后的遥感影像剔出了原始影像中反射率值突兀变化的部分。在研究区采用五点法采集土壤样品。室内实验用重铬酸钾氧化-容量法测得SOM数据。多光谱数据结合地面实测SOM数据,分析SOM与多光谱数据反射率的关系,发现一阶微分处理后的遥感数据与SOM含量的相关性存在敏感波段,说明一阶微分处理可以将原始遥感图像数据在多光谱范围内的一些隐含的土壤有机质信息释放出来。选取相关性高的数据建立基于原始遥感数据、一阶微分数据、二阶微分数据的单波段多光谱线性模型和多波段多光谱线性模型,选取最优模型来估算和反演土壤有机质含量。结论如下：（1）通过对原始影像进行微分处理发现,微分处理后的影像变化明显,一阶微分处理的影像噪声降低,更加突出了影像中土壤有机质隐藏的信息。二阶微分处理的影像抑制了土壤有机质信息。（2）原始遥感影像各波段数据对土壤有机质含量的相关性较低,一阶微分处理后的遥感影像数据反映出土壤有机质敏感波段即部分波段数据相关性明显高于原始数据,二阶微分处理后的遥感影像各波段数据对土壤有机质含量的相关性较弱。（3）多波段建模效果要优于单波段建模;一阶微分多波段模型预测精度最优,其模型的决定系数和模型拟合的决定系数分别为0.898和0.854,该模型对估算研究区内的SOM含量效果较好;综合比较了单波段模型和多波段模型的拟合精度,发现无论在单波段模型还是多波段模型一阶微分处理后的模型都具有更好的预测能力。（4）基于一阶微分多波段模型对研究区SOM进行反演,反演结果与实际情况相符合,对干旱区SOM含量制图提供了切实可行的方法和参考。     

不同粒径对土壤有机质含量可见—近红外光谱预测的影响

土壤有机质(SOM)是表征土壤肥力的重要指标,实现其快速准确检测可为精准农业区域管理提供有效的数据支撑。土壤粒径对SOM 的光谱预测及仪器开发有很大的影响,为了明确不同粒径对 SOM 预测的影响,分别制备了1～2,0.5～1,0.25～0.5,0.1～0.25和<0.1mm 五种均匀粒径及<1mm 混合粒径共计6种粒径土样并进行了可见-近红外(300～2 500nm)光谱数据采集。采用蒙特卡罗交叉验证分别剔除了不同粒径的异常样本,结合Savitzky-Golay卷积平滑法对光谱数据进行平滑去噪处理,比较了不同粒径样品的光谱反射率差异,并对平滑后的原始光谱 R进行倒数IR、对数 LR、一阶导数 FDR等3种光谱变换并分析与SOM 含量的相关性,基于竞争性自适应重加权算法(CARS)对光谱数据进行了特征波长提取,并结合偏最小二乘回归(PLSR)分别建立了相应的SOM 含量预测模型。结果表明,不同粒径土样的平均光谱反射率与变异系数随着粒径的减小逐渐增加,且在大于540nm 波长范围内,差异明显。随着粒径的减小,SOM含量与光谱反射率在全波段范围的相关性变化幅度愈加明显,FDR 变...     

水分对土壤有机质检测影响的光谱特性分析及抗水分干扰模型建立

土壤水分对光谱表现出很强的吸收性,且土壤水分与土壤有机质的吸收波段有重叠,因此土壤水分对土壤有机质的检测造成一定的干扰。为此做了以下工作：(1)采用可见近红外光谱仪在室内获取相同含水率下不同土壤动态光谱图;(2)通过对相同含水率下不同有机质含量的二维同步相关光谱图分析得出：当土壤为烘干土样时,600和1 660 nm左右表征土壤有机质的波段出现强的自相关峰,但随着含水率的增加,这两个波段逐渐消失,由于受水分的影响,1 931,2 200和1 480 nm均形成了强的自相关峰。说明水分会掩盖表征土壤有机质信息的波段,对土壤有机质检测造成干扰。(3)为了消除水分影响,提高模型对不同含水率下土壤有机质的预测精度,将田间近似最大含水率样本参与建模,采用偏最小二乘定量分析方法在550～650和1 610～1 710 nm波段内建立了抗水分干扰土壤有机质预测模型,并对不同含水率的土壤有机质进行预测,结果表明：预测样本的相关系数为0.954,标准偏差为0.744%,标准差为0.844%,预测效果明显提高,说明此方法可减少水分对土壤有机质检测的影响。     

基于高光谱的土壤有机质含量估算研究

高光谱遥感技术以其光谱分辨率高、波段连续性强、数据丰富的特点,因而在土壤养分研究中得到广泛应用.通过土壤钉机质的高光谱遥感分析,可以充分了解土壤养分的状况及动态变化,为指导农业生产及保护农业生态环境提供科学依据.本文基于江西省余江县和泰和县采集的34个红壤土样350～2 500 nm波段的光谱曲线,研究了土壤光谱与土壤有机质含量之间的关系.先对土壤反射率光谱进行两种变换:一阶微分(R')、倒数的对数log(1/R),然后在提取特征吸收波段的基础上,运用多元逐步线性回归法和偏最小二乘回归法建立相应的估算模型,并对模型进行检验.结果表明,偏最小二乘回归法优于多元逐步线性回归法,其建立的高光谱估算模型具有快速估算土壤中有机质含量的潜力.     

高光谱技术联合归一化光谱指数估算土壤有机质含量

随着近地高光谱遥感技术的发展,为快速、有效、非破坏性地获取土壤有机质(SOM)信息提供了可能。土壤高光谱波段数据众多,光谱数据变量之间存在较为严重的多重共线性,影响模型复杂结构,而构建归一化光谱指数(NDSI)可以有效去除冗余信息变量,放大光谱特征信息。以江汉平原公安县为研究区,采集56份耕层土样,在室内获取土壤光谱数据,采用“重铬酸钾-外加热法”测定SOM含量,对实测土壤光谱数据(Raw)进行倒数之对数(LR)、一阶微分(FDR)和连续统去除(CR)三种变换,计算四种变换的NDSI数值,分析SOM与NDSI的二维相关性,并对一维、二维相关系数进行全波段范围内的p=0.001水平上显著性检验,提取敏感波段和敏感光谱指数,结合偏最小二乘回归(PLSR)建立SOM的估算模型,探讨二维光谱指数用于建模的可行性。研究表明,二维相关系数相比一维相关系数有不同程度的提升,以LR最为显著,相关系数数值提升约0.26;基于二维相关性分析提取的敏感光谱指数的PLSR建模效果整体优于一维相关性分析提取的敏感波段,其中,NDSI_LR-PLSR模型的稳健性最优,验证集R2为0.82,模型验证RPD值为2.46,模型稳定可靠,可以满足SOM的精确监测需要,适合推广到区域范围内低分辨率的航空航天遥感(如ASTER,Landsat TM等),应用潜力较大。     

基于PCA-MLR和PCA-BPN的莱州湾南岸滨海平原土壤有机质高光谱预测研究

土壤有机质(SOM)含量是衡量土壤质量高低的重要指标,可以用高光谱快速测定。在以往研究中,估算模型多以特征波段与线性经验模型为基础进行构建,较少考虑波段间信息冗余和共线性,预测效果不很理想并难以进行推广。为最大化消除波段信息噪声,提高模型预测精度,选取莱州湾南岸滨海平原为研究区,系统采集了111个土壤样本和实测高光谱数据(325～1 075 nm),并测试了土壤样本的有机质含量作为因变量;通过主成分分析(PCA)将实测光谱信息降维为6个主成分,并提取水分、植被光谱特征指数(DI),以此作为自变量;最后建立多元逐步线性回归(MLR)和BP神经网络(BPN)预测模型,分析不同模型对土壤有机质预测的效果。结果表明：①经过主成分的波段信息分析判别提取出6个主成分,可以表征叶绿素残留物、盐分、腐殖酸、物化矿渣和微地貌的光谱特征。②基于6个主成分作为自变量所建立的BPN模型预测精度优于MLR模型,他们的R2分别为0.704和0.643。将水分和植被光谱特征指数作为自变量增加到预测模型后,MLR和BPN的预测精度分别提高了6.1%和5.2%,R2达到0.712和0.764;③将光谱主成分和光谱特征指数作为自变量的BPN模型进行土壤有机质预测可得到精度较高的预测结果,在土壤有机质的预测与制图中具有一定的应用潜力。     

砂壤潮土有机质含量可见-近红外光谱预测

土壤有机质（SOM）是影响播量的土壤关键参数,根据SOM信息对播量进行实时调控,投入最优化的种子量,充分利用地力资源挖掘产量潜力,节约良种,实现种植收益最大化,是目前播种领域最前沿的研究方向。以玉米主产区之一的华北平原为研究区域,对该区域砂壤潮土进行了可见-近红外（300～2 500 nm）光谱采集。采用蒙特卡罗交叉验证剔除了异常样本,结合Savitzky-Golay卷积平滑法对光谱数据进行平滑去噪处理。分别通过竞争性自适应重加权算法（CARS）、连续投影算法（SPA）、竞争性自适应重加权-连续投影（CARS-SPA）、无信息变量消除（UVE）及变量组合集群分析法（VCPA）等波长筛选方法提取有效变量,并结合偏最小二乘回归（PLSR）分别建立了全波长和特征波长的SOM含量预测模型。结果表明,不同方法筛选的波长数目及波长位置存在显著差异,CARS和SPA算法选择的光谱特征在整个光谱范围都有分布,UVE和VCPA筛选的波段较为集中,且基于CARS-SPA方法可以进一步优选特征变量,其特征波长仅为全波长数量的15%。通过对比不同模型的建模及预测效果,除UVE和VCPA算法外,其余算法构建的模型均能实现SOM含量的有效预测,其RPD值均大于2.0。基于CARS-SPA构建的PLSR模型效果最好,其R2_P和RPD分别0.901和3.188,均高于其他方法,不仅降低了无效信息对预测效果的干扰,且模型的运算效率得到了明显的提高,可以很好地实现该地区SOM含量的可靠预测。该研究可以为SOM含量快速预测及仪器设计提供方法参考。     

基于修正系数法的抗水分干扰土壤有机质近红外预测模型研究

土壤有机质（SOM）是植物生长必需的营养物质,也是土壤属性检测的重要参数。快速、高效地获取土壤有机质信息对精细农业的发展具有重要意义。近红外光谱技术具有快捷、低成本等优势,被广泛应用到土壤有机质的测量中,然而土壤水分在近红外光谱(780～2 500 nm)中具有很强的吸收特性,对土壤有机质的检测形成了一定的干扰。分析了50个土样在不同含水率（约17%,15%,10%,5%和干土）下的近红外吸光度谱图特性,利用水分敏感波段2 210, 1 415和1 929 nm构建了水分修正系数（MDI）,并在此基础上对不同含水率土样进行了重构,以消除水分对土壤有机质预测模型的影响。结果如下：（1）经MDI校正重构后的吸光度谱图与对应的干土土样吸光度谱图相近,能较好地反映其干土土样的吸光度谱图特性。（2）采用偏最小二乘（PLS）法建立了干土土样的有机质定量预测模型,并对重构后的不同含水率土样进行了预测,其统计参数分别为：预测相关系数（R_P）0.90,预测标准误差（SEP）0.802和预测均方根误差（RMSEP）1.09;与原始未经MDI校正的预测结果相比,相关系数上升了0.032,预测标准误差降低了0.113,预测均方根误差降低了0.25。结果表明,本研究提出的水分校正算法可以降低水分对土壤有机质预测的干扰,提高利用干土土样有机质定量预测模型预测不同含水率土样的精度,可为基于近红外光谱技术的土壤有机质实时测定技术的推广提供理论依据。     

基于野外Vis-NIR光谱的土壤有机质预测与制图

利用野外实时快速获取的土壤光谱进行土壤有机质(SOM)预测与制图是精确农业与土壤遥感制图的必然需要,利用ASD FieldSpec Pro FR野外型光谱仪实时快速获取的光谱数据,去除噪声较大的边缘波段后,进行倒数的对数转换(Log(1/R))为吸收光谱。在分析吸收光谱和光谱指数与SOM关系的基础上,采用偏最小二乘回归法进行SOM的建模预测并借助地统计学方法进行SOM空间变异制图研究。结果表明,建模效果好的指标分别为特征波段(R2=0.91,RPD=3.28),归一化光谱指数(R2=0.90,RPD=3.08),特征波段与3个光谱指数组合(R2=0.87,RPD=2.67),全波段(R2=0.95,RPD=4.36)。光谱指标的克里格制图与实测SOM制图表现出相同的空间变异趋势,不同的指标均达到了较好的预测效果。     

S/B和DS算法校正土壤水分对土壤有机质近红外光谱预测的影响

土壤水分对近红外光谱表现出强烈的吸收和对土壤有机质含量的预测造成干扰。研究选择41个样本作为校正集和9个样本作为预测集,所有样本做不同含水率（5%,10%,15%和17%）的处理。采用S/B和DS算法分别对预测结果和全光谱进行校正,消除土壤水分的影响。结果得出预测结果偏差减小和模型预测性能得到改善,R_p高于0.89和RMSEP低于0.885%。研究表明S/B和DS算法能有效消除土壤水分的影响和提高土壤有机质预测的准确性。     

可见-近红外光谱的滨海土壤“除水”盐分估测

滨海盐碱区土壤盐分的快速、准确监测对土地合理利用和保护具有重要意义。可见光近红外（Vis-NIR）光谱技术已广泛用于土壤属性的高效估测。然而,水分对含盐土壤光谱的干扰导致传统土壤盐分估测模型的精度降低。旨在探究分段直接标准化（PDS）和正交信号校正（OSC）在含水条件下土壤盐分估测中的应用,从而建立面向滨海盐碱区的“除水”Vis-NIR定量模型。为此,将获取的144份黄河三角洲滨海盐碱区表层（0~20 cm）土壤盐分数据划分为建模集（17个样本）和验证集（127个样本）。通过严格加水控制实验,测量10个含水率梯度（0%,1%,5%,10%,15%,20%,25%,30%,40%和50%）的建模集土壤光谱数据,验证集的土壤光谱则是根据生成的1~50随机整数,通过随机加水实验测量获取。采用PDS和OSC与偏最小二乘回归（PLSR）结合的建模策略,构建土壤盐分估测模型,并进行性能验证和比较。结果表明,OSC比PDS更能有效减轻水分在土壤盐分估测中的建模干扰。具体来说,光谱校正前后生成的所有PLSR模型均取得一定的成功（R2_P=0.79~0.91,RMSE_P=2.6~3.98 g·kg-1,RPD=1.98~2.37）。OSC-PLSR模型的土壤盐分估测精度提高,R2_P,RMSE_P和RPD分别为0.91和2.6 g·kg-1和2.37。而PDS-PLSR模型效果不理想,R2_P,RMSE_P和RPD分别为0.79,3.98 g·kg-1和1.98。模型整体表现出了OSC-PLSR>PLSR>PDS-PLSR的土壤盐分估测性能。此外,提出了变量投影重要性（VIP）和Spearman相关系数（r）结合的分析策略,进一步探究了模型的估测机理。模型的重要波长（VIP>1）与土壤盐分敏感波长（|r|>0.4）吻合,对估测模型有重要意义。比较而言,OSC-PLSR精确提炼了位于830,1 940和2 050 nm附近的模型估测的关键波长,而常规的PLSR和PDS-PLSR包含了大量的冗余信息。综合来看,OSC-PLSR模型在Vis-NIR土壤盐分估测中具有较好的除水效果,为土壤含水状态下的土壤盐分研究提供可靠方法。     

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究。采集浙江省文城地区农田土壤样品近红外光谱数据,土壤样品数为394个。为简化模型,采用遗传算法结合连续投影算法挑选出18个特征波长建模,应用偏最小二乘回归建立有机质预测模型,建模集的决定系数为0.81,均方根预测误差为0.22, 剩余预测偏差为2.31,预测集的决定系数为0.83,均方根预测误差为0.20,剩余预测偏差为2.45。研究发现,遗传算法结合连续投影算法在简化模型同时,模型的预测评价指标同采用全谱波长建模并没有明显降低。因此,遗传算法结合连续投影算法挑选的特征波长可以应用于近红外光谱检测土壤有机质含量。     

土壤有机质近红外预测FIR模型传递算法研究

针对近红外光谱检测中存在的模型传递问题,即在某一测试环境或仪器上建立的定性定量预测模型不适用于其他检测环境或仪器所采集的数据,该研究以土壤有机质为研究对象,采用FIR算法开展了此方面的研究工作。首先,在山西境内不同地方采集了59个壤土土壤样本,选用ASD公司的FieldSpec3光谱检测仪,分两批次对土壤样本进行了近红外光谱检测。第一批测试土样称为“源机样本”为50个,第二批测试土样称为“目标机样本”为9个;然后,随机选取“源机样本”中的41个样本作为校正样本,其余9个样本作为预测样本,采用偏最小二乘(PLS)定量预测方法建立了土壤有机质的定量预测模型,预测样本的预测相关系数为0.961,预测样本标准差(RMSEP)为0.600%,预测样本标准偏差(SEP)为0.597%,说明采用该方法可以很好地预测“源机样本”。当采用上述模型对9个“目标机样本”进行预测时,发现其预测相关系数为负值,表明采用该模型直接对“目标机样本”进行预测是不可行的。最后,采用FIR模型传递算法对“目标机样本”进行了处理,当窗口大小为p=516时预测效果提高,预测相关系数为0.706,RMSEP为0.662%,SEP为0.430%,说明FIR可以实现不同测试条件下获得谱图的传递,实现模型的共享。