基于NLMS自适应滤波的近红外光谱去噪处理方法研究

为了去除直接采集的近红外(NIR)光谱中含有的噪声,将归一化最小均方(NLMS)自适应滤波方法引入到NIR光谱去噪领域中。以51份土壤样品的NIR光谱为研究对象,探讨NLMS自适应滤波方法在NIR光谱预处理中的应用,并将处理后的结果与土壤中有机质的含量相关联,建立模型。结果表明,通过NLMS自适应滤波去噪后的光谱,预测集的相关系数r由处理前的0.8284提高至0.9654,预测均方根误差(RMSEP)由处理前的0.3385降至0.1606。由此可见,NLMS自适应滤波对NIR光谱的去噪有显著效果,可以有效地提高光谱的分析精度和模型的稳健性,为NIR光谱的预处理提供了一种新方法。     

表面粗糙度对近红外光谱分析木材密度的影响

近红外(NIR)光谱技术是一种基于多元统计分析建立预测模型的定量分析技术,应用十分广泛,然而,近红外光谱分析结果的准确性会受到多种因素的影响。文章分析了木材表面粗糙度对近红外光谱预测木材密度的影响。结果表明,当待预测样品的粗糙度和建模样品的粗糙度一致时,分析结果较好;二者不一致时,分析误差较大。采用不同粗糙度样品建立混合预测模型,可以显著提高模型对粗糙度的适应性和稳健性。     

水分对土壤有机质检测影响的光谱特性分析及抗水分干扰模型建立

土壤水分对光谱表现出很强的吸收性,且土壤水分与土壤有机质的吸收波段有重叠,因此土壤水分对土壤有机质的检测造成一定的干扰。为此做了以下工作：(1)采用可见近红外光谱仪在室内获取相同含水率下不同土壤动态光谱图;(2)通过对相同含水率下不同有机质含量的二维同步相关光谱图分析得出：当土壤为烘干土样时,600和1 660 nm左右表征土壤有机质的波段出现强的自相关峰,但随着含水率的增加,这两个波段逐渐消失,由于受水分的影响,1 931,2 200和1 480 nm均形成了强的自相关峰。说明水分会掩盖表征土壤有机质信息的波段,对土壤有机质检测造成干扰。(3)为了消除水分影响,提高模型对不同含水率下土壤有机质的预测精度,将田间近似最大含水率样本参与建模,采用偏最小二乘定量分析方法在550～650和1 610～1 710 nm波段内建立了抗水分干扰土壤有机质预测模型,并对不同含水率的土壤有机质进行预测,结果表明：预测样本的相关系数为0.954,标准偏差为0.744%,标准差为0.844%,预测效果明显提高,说明此方法可减少水分对土壤有机质检测的影响。     

基于高光谱成像技术的土壤水分机理研究及模型建立

为了研究宁夏地区土壤的水分迁移机理以及对土壤水分快速无损检测,利用高光谱成像(光谱范围900~1 700 nm)技术对土壤的含水率进行了研究。通过高光谱成像系统采集了208个土样,比较了不同天数下土壤含水率与光谱的变化、不同质量含水量光谱的差异。对采集到的土样进行PLSR模型建立,对比分析不同光谱预处理方法、不同方法提取特征波长(UVE、CARS、β系数、SPA)、不同建模方法(MLR、PCR、PLSR)建立的模型,优选出最佳模型。结果表明:在一定的土壤含水量范围内,光谱曲线的反射率与土壤含水率成反比;当增大到超过田间持水率时,光谱曲线的反射率与土壤含水率成正比。对比分析了不同预处理方法,优选出单位向量归一化预处理方法。对比不同的模型,优选出SPA提取的特征波长的MLR模型。最优的特征波长为987,1 386,1 466,1 568,1 636,1 645 nm,最优模型的预测相关系数Rp=0.984,预测均方根误差RMSEP为0.631。因此,今后可采用不同波段对土壤含水率进行定量分析。     

土壤铅污染光谱的HHT鉴别及BC-PLSR铅含量预测模型

土壤重金属污染问题一直备受关注,利用高光谱遥感对其进行研究取得了大量的成果,主要集中在利用土壤光谱的导数变换、连续统去除等常规方法预测土壤重金属含量上。土壤光谱数据与非线性非平稳的机电信号、医学信号等具有一定的相似性。通过希尔伯特黄变换(Hilbert-Huang transform, HHT),对土壤铅(Pb)污染光谱进行频率域分析,实现土壤Pb污染光谱的HHT鉴别,并建立土壤Pb含量预测模型。首先,进行土壤Pb污染实验,采集土壤Pb污染样品的光谱、含水率及有机质含量;其次,通过土壤Pb污染样品光谱的HHT时频分析和第二个本征模函数(intrinsic mode function, IMF)分量(IMF2)瞬时频率的二阶导数识别土壤Pb污染的特征波段;最后,选择合适的频率域参数、土壤光谱一阶导数、土壤有机质含量及土壤含水率作为参数,利用箱形图、聚类分析、偏最小二乘法建立土壤Pb含量预测模型。研究结果表明：土壤Pb污染的HHT时频分析图可以鉴别土壤Pb污染光谱,未受污染的土壤光谱HHT时频分析图在波段序列为250~430之间没有异常信号,Pb污染土壤的光谱HHT时频分析图在波段序列为250~430之间存在多个异常信号,并且随着浓度的升高,异常信号分布范围越来越广,当污染浓度达到800 μg·g-1时,土壤样品的光谱信号在波段序列为270处、频率为0.3 Hz之前出现了较强的异常信号;土壤Pb污染光谱经验模态分解(empirical mode decomposition, EMD)处理后,得到的未受污染的土壤光谱IMF2的瞬时频率的二阶导数的突变非常微弱,而Pb污染的土壤光谱IMF2的瞬时频率的二阶导数存在明显的突变点,根据突变点及土壤Pb污染光谱的IMF2的瞬时频率的二阶导数识别的土壤Pb污染光谱的特征波段区间为2 150~2 300 nm;利用不同浓度Pb污染下土壤光谱Hilbert能量谱峰值、EMD能量熵、一阶导数、有机质和含水率,通过箱形图去除了六组异常样品,然后利用聚类分析的方法将去除异常样品后的土壤Pb污染样品分为两类,最后将Hilbert能量谱峰值、EMD能量熵、2 134 nm波段一阶导数、790 nm波段一阶导数、1 276 nm波段一阶导数、2 482 nm波段一阶导数、有机质和含水率作为参数建立两类数据的BC-PLSR(boxplot cluster-partial least squares regression)模型预测土壤中Pb含量,经验证模型精度较高,相关系数分别为0.88和0.99。     

涤棉混纺织物近红外定量分析模型的建立及相关问题探讨（英文）

在废旧纺织品回收再利用中,纤维类型和含量的快速、准确测定是回收方案的关键部分。以598个废旧涤棉混纺织物为研究对象,采用便携式近红外(NIR)光谱仪测试了样品的原始近红外光谱。在1 400～1 700和1 900～2 200nm光谱区域,100%棉和100%聚酯样品的光谱存在明显差异,并且这些光谱差异存在于各种颜色纤维上。同时探讨了斜线光谱产生的原因可能是由于织物表面效果、着色方法及粘附在纤维表面的细小颗粒造成的。深色样品易造成其光谱基线在短波区发生漂移,经导数预处理后,基线漂移基本消除,斜线光谱呈现出正常光谱的特征。利用偏最小二乘(PLS)法结合一阶导数、S-G平滑、均值中心化和正交信号校正法,建立了废旧棉-涤混纺织物定量分析模型。为了验证模型的可靠性,选取346个样本采用内部交叉验证均方根误差(RMSECV)和预测样品集外部检验法对模型进行检验,模型的RMSECV值0.002、校正集相关系数RC=0.998、预测相关系数RP=0.997、预测标准差SEP=1.121,模型预测正确率可达97%。对模型进行匹配样本t检验结果显示,NIR方法与国家标准方法无显着性差异。NIR预测值与重量法测定值误差在±3%以内时,二者的一致性在90%以上,当误差在±5%以内,二者的一致性在95%以上,分析时间小于10s。因此,利用近红外技术结合所建模型可以快速、准确地预测废旧棉/涤混纺织物纤维成分的含量。     

卷积神经网络用于近红外光谱预测土壤含水率

近红外光谱分析技术在土壤含水率预测方面具有独特的优势,是一种便捷且有效的方法。卷积神经网络作为高性能的深度学习模型,能够从复杂光谱数据中自主提取有效特征结构进行学习,与传统的浅层学习模型相比具有更强的模型表达能力。将卷积神经网络用于近红外光谱预测土壤含水率,并提出了有效的卷积神经网络光谱回归建模方法,简化了光谱数据的预处理要求,且具有更高的光谱预测精度。首先对不同含水率下土壤样品的光谱反射率数据进行简单的预处理,通过主成分分析减少光谱数据量,并将处理后的光谱数据变换为二维光谱信息矩阵,以适应卷积神经网络特殊的学习结构。然后基于卷积神经网络算法,设置双层卷积和池化结构逐层提取光谱数据的内部特征信息,并采用局部连接和权值共享减少网络参数、提高泛化性能。通过试验优化网络结构和各项参数,最终获得针对土壤光谱数据的卷积神经网络土壤含水率预测模型,并与传统的BP,PLSR和LSSVM模型进行对比实验。结果表明在训练样本达到一定数量时,卷积神经网络的预测精度和回归拟合度均高于三种传统模型。在少量训练样本参与建模的情况下,模型预测表现高于BP神经网络,但略低于PLSR和LSSVM模型。随着参与训练样本量的增加,卷积神经网络的预测精度和回归拟合度也随之稳定提升,达到并显著优于传统模型水平。因此,卷积神经网络能够利用近红外光谱数据对土壤含水率做出有效预测,且在较多样本参与建模时取得更好效果。     

不同粒径对土壤有机质含量可见-近红外光谱预测的影响

土壤有机质（SOM）是表征土壤肥力的重要指标,实现其快速准确检测可为精准农业区域管理提供有效的数据支撑。土壤粒径对SOM的光谱预测及仪器开发有很大的影响,为了明确不同粒径对SOM预测的影响,分别制备了1~2,0.5~1,0.25~0.5,0.1~0.25和<0.1 mm五种均匀粒径及<1 mm混合粒径共计6种粒径土样并进行了可见-近红外（300~2 500 nm）光谱数据采集。采用蒙特卡罗交叉验证分别剔除了不同粒径的异常样本,结合Savitzky-Golay卷积平滑法对光谱数据进行平滑去噪处理,比较了不同粒径样品的光谱反射率差异,并对平滑后的原始光谱R进行倒数IR、对数LR、一阶导数FDR等3种光谱变换并分析与SOM含量的相关性,基于竞争性自适应重加权算法（CARS）对光谱数据进行了特征波长提取,并结合偏最小二乘回归（PLSR）分别建立了相应的SOM含量预测模型。结果表明,不同粒径土样的平均光谱反射率与变异系数随着粒径的减小逐渐增加,且在大于540 nm波长范围内,差异明显。随着粒径的减小,SOM含量与光谱反射率在全波段范围的相关性变化幅度愈加明显,FDR变换可明显改变全波段范围与SOM含量的相关性。通过CARS算法对FDR变换后的光谱数据进行特征波长提取,筛选出特征波长数为全波段数量的13.1%,降低了光谱数据重叠及无效信息干扰。对比不同SOM预测模型的结果,FDR变换光谱的建模精度较好,且粒径越小其模型的效果越好,特别在粒径<0.1 mm时,模型的R2_p达到0.91,RMSEP为2.20 g·kg-1,RPD为3.33。基于CARS特征变量构建的SOM含量预测模型中,粒径<0.1 mm预测模型的效果最好,R2_p为0.78,RMSEP为3.00 g·kg-1,RPD为2.00,可以实现SOM含量的可靠预测,且其他粒径下的模型仍有可优化的空间。该研究可以为实现SOM田间动态预测及仪器设计提供理论及模型参考。     

不同土壤物理性质下石油类污染物LIF发射特征研究

利用激光诱导荧光技术可对土壤中石油类污染物快速检测,不同土壤物理性质下,污染物荧光发射特征具有一定差异。为实现外场检测时快速制备合适的土壤样品,实验研究了土壤疏松度、颗粒度、湿度与土壤中石油类污染物荧光强度及光谱稳定性之间的关系。压片机压强大于2 MPa时土壤样品荧光光谱的稳定性较好,九种不同疏松度的土壤样品荧光强度的相对标准偏差为3.51%。不同粒径的机油土壤样品荧光强度差异较小,其中100目土壤样品的荧光光谱RSD值为2.25%。结果表明,土壤样品表面呈平整洁净时,所得样品荧光光谱的稳定性较好,土壤疏松度和颗粒度对荧光光谱的影响较小。湿度对土壤样品荧光发射的影响较大,当土壤湿度低于10%,荧光强度变化较小;湿度范围大于10%时,荧光强度变化较大。为利用LIF技术对外场土壤中石油类污染物检测时,快速有效制备土壤样品及准确测量提供参考。     

便携式X射线荧光光谱测定土壤中Cr,Cu,Zn,Pb和As的研究

应用便携式X射线荧光光谱对土壤中的重金属元素Cr,Cu,Zn,Pb和As进行测试,分析土壤粒径、含水量、土壤类型对检测结果的影响,并选用北京、新疆、黑龙江、云南和江苏的典型土壤研究重金属元素含量与X射线荧光光谱特征峰强的关系.实验表明,土壤粒径影响了测试的精密度,土壤粒径从40目降低到100目,检测的相对标准偏差从15.6%减少至6.9%;土壤含水量主要影响样品检测的特征峰强,土壤含水量从5%提高到25%,与无水样品相比的相对峰强从86%降低到69%,相对峰强与土壤含水量符合方程I=100e-0.015c,I为相对峰强,c为土壤含水量(R2=0.83,n=30).在0～1500 mg·kg-1区间,土壤中重金属元素含量与X射线荧光光谱特征峰强间有着良好的线性相关,但不同土壤类型间的线性方程有着较大的差异,云南土壤样品建立的线性方程有着较小的斜率.通过检测土壤标准样品,验证了便携式X射线荧光光谱检测土壤中重金属元素有着较好的准确度和精密度,适用于土壤中重金属的快速检测.     

利用近红外光谱技术建立土壤水分含量定标方程

应用近红外漫反射光谱技术（波长为1100—2498nm,分辨率为2nm）,以温县和郑州市郊的土壤为材料建立土壤水分含量分析系统。结果表明,优化各项参数后,光谱经过标准正态变换校正和一阶导数处理后,回归分析采用修正的偏最小二乘法（M PLS）得到的定标模型效果最佳。最终得到的预测方程定标相关系数（RSQ）、交叉验证标准误差（SECV）、交叉验证相关系数（1-VR）分别为0.98,0.92,0.97。数学模型经过验证样品集检验,预测相关系数达到0.96,达到了快速、准确分析土壤水分含量的要求。     

不同质量含水量的土壤反射率光谱模拟模型

土壤含水量的时空分布与变化情况对土壤温度变化、陆地—大气间热量平衡以及陆面大气环流产生显著的影响,因此,对大范围内土壤含水量进行实时动态监测,获得某段时间内土壤含水量的连续变化情况具有重要的意义。研究目的是借助高光谱遥感手段,通过构建不同质量含水量的土壤反射率光谱模拟模型,深入了解土壤质量含水量与土壤反射率光谱之间的关系,为监测土壤含水量提供有效手段。利用ASD Field Spectral FR野外光谱仪和加水称重法获得北京市8个采样点的土壤样品不同质量含水量下的土壤反射率光谱实测数据,利用其中2个土壤样品不同质量含水量下的光谱数据构建含水土壤反射率光谱模拟模型,并利用未参与建模的另外6个土壤样品数据对该模型的模拟效果进行了检验。通过数据验证发现,当土壤质量含水量小于田间持水量时,该模型的模拟精度较高;而且对于不同的土壤样品,模型的模拟效果都比较好。最后又利用北京大学校园内三个采样点的实地测量光谱数据对模型进行了验证,光谱的模拟值与实测值之间的均方根误差最小可达0.005 8。因此该模型可实现对质量含水量小于田间持水量的不同类型土壤的反射率光谱进行较高精度的模拟。     

去除土壤水分对高光谱估算土壤有机质含量的影响

土壤高光谱技术具有方便快捷、无破坏、成本低等优点,已被广泛应用于估算土壤有机质含量(SOMC)。然而,野外测量的土壤高光谱数据因受外部环境因素(土壤湿度、温度、表面粗糙度等)干扰,导致SOMC估算模型适用性有待提升。土壤含水率(SMC)是影响野外测量高光谱的最主要的障碍因素之一,它的变化严重影响可见-近红外(Vis-NIR)光谱反射率的观测结果。因此,消除SMC对高光谱数据的干扰是提高土壤高光谱估算SOMC模型预测精度的关键环节。以江汉平原潜江市潮土样本为研究对象,在室内人工加湿土样,分别获取6个SMC水平的土壤高光谱数据,采用标准正态变换(SNV)对光谱数据进行预处理,基于外部参数正交化法(EPO)去除土壤水分对高光谱的影响,利用偏最小二乘方法(PLSR)建立并对比EPO处理前、后不同SMC水平SOMC反演模型。结果表明,土壤水分对Vis-NIR光谱反射率有显著的影响,掩盖了SOMC的光谱吸收特征;EPO处理前不同SMC水平的光谱曲线之间的差异较为明显,而EPO处理后的各SMC水平的光谱曲线形态基本相似;采用EPO处理后的土壤高光谱数据建立SOMC估算模型,预测集的R2_p,RPD分别为0.84和2.50,其精度与EPO处理前所建模型相比有较大提升,表明EPO算法可以有效去除土壤水分的影响,从而提升SOMC的估算精度。对定向去除外部环境参数对土壤高光谱影响进行了实证,为完善野外原位获取SOMC信息技术提供理论基础。     

近红外反射技术开放式检测棉籽中水分和油含量的研究

研究了近红外漫反射分析技术在棉籽,尤其是毛棉籽的水分和油含量检测中的应用。建立了毛棉籽水分和油含量的近红外分析模型,并随机抽样验证了检测模型的检验精度。水分的相关系数为0.965,含油的相关系数0.953,定标标准偏差分别为0.226和0.391。检测结果达到了代替传统检测方法的要求。另外利用部分样品建立了仁含油和仁出率的近红外检验模型,证明近红外方法也可以应用于其检测。     

紫花苜蓿冠层反射光谱与叶片含水率关系研究

以呼图壁县草地生态站不同灌溉量下现蕾期紫花苜蓿冠层光谱反射率为研究对象,研究确定紫花苜蓿叶片含水率的光谱诊断模型。结果表明：（1）在近红外波段随着紫花苜蓿叶片含水率的增加冠层光谱反射率逐渐减小;（2）利用归一化反射光谱建立的苜蓿叶片含水率光谱反演模型优于原始反射光谱,并且在1 344～1 660 nm波段内所建立的苜蓿叶片含水率预测模型平均相对误差最低（7.8%）。（3）筛选建立的叶片含水率光谱诊断模型为：Y＝0.962-7.560X_{1 451}+5.295X_{1 473}。所建立的紫花苜蓿叶片含水率光谱预测模型可为苜蓿科学灌溉提供决策依据。     

土壤全氮田间Vis/NIR光谱测定方法研究

应用Vis/NIR光谱直接测定原始土壤属性具有重要的研究和应用价值。选取我国中部水稻土和潮土共103个土样,对比分析了两种土壤在田间环境下的湿态(R_w)和干态(R_d)光谱特征。采用相对变换光谱方法对湿态光谱进行了处理,结果表明该方法能够有效降低土壤水分的干扰和消除部分噪声,得到的变换光谱(R_n)与干态光谱在信息量和特征方面具有很高的相似度。以此建立了土壤TN的PLS回归估计模型,检验结果表明,R_n对水稻土和潮土TN的估计模型精度均高于R_w,修正判定系数分别从0.26和0.46提高到0.53和0.62。因此,相对光谱变换方法能够有效提高应用田间土壤光谱估计土壤参数的能力,建立的PLS模型可以用于测定TN含量,研究结果可作为实现田间实时分析土壤属性的工作基础。     

利用土壤的近红外光谱特征测定土壤含水量

以新疆玛纳斯县不同质地土壤(砂壤土、粉粘壤土和粘土)室内光谱反射率作为研究对象,采用包络线去除法对土壤光谱曲线进行处理,与土壤含水量进行相关分析并建立模型。结果表明：不同质地土壤光谱反射率大小依次为：粘土>粉粘壤土>砂壤土;砂壤土、粉粘壤土和粘土分别以田间持水量20.01%,24.10%和30.43%为临界点,在低于该临界点范围内含水量与反射率呈反比,在高于该临界点范围内含水量与反射率呈正比;在1 390～1 623 nm波段内,土壤含水量与光谱归一化反射率有较好的负相关,并达到显著水平,所建立的土壤含水量预测模型R2值达到0.8以上,模型平均相对误差为10%。结果表明,建立不同质地土壤含水量光谱预测模型可以较准确反映土壤含水量,其快速、无损、准确的优点,为测定土壤含水量提供了一种新方法。