近红外光谱技术结合递归偏最小二乘算法对土壤速效磷与速效钾含量测定研究

土壤速效磷与速效钾在近红外区没有直接与它们相关的吸收峰,只能借助与其他拥有直接吸收峰物质(有机质,碳酸盐,粘土矿物,水分等)之间的相关关系而被近红外光谱技术所预测。这种相关关系会随着土壤样品构成的不同而不断变化,因此采用固定结构的近红外光谱模型很难对速效磷与速效钾取得较好的预测效果。提出采用递归偏最小二乘法(RPLS)在预测过程中递归更新土壤速效磷与速效钾的回归系数,以提高模型的预测能力;比较了偏最小二乘法(PLS),局部加权PLS(LW-PLS),滑动窗口LW-PLS(LW-PLS2)和RPLS对于土壤速效磷与速效钾含量的预测结果。194份土壤样品根据土壤类型分为建模集与预测集：建模集包含120份人为土样品;预测集则包含29份铁铝土样品,23份人为土样品和22份初育土样品。结果表明：RPLS模型取得了最优的预测结果,获得的决定系数(R2)分别为0.61与0.76,预测相对分析误差 (RPD)分别为1.60与2.05。说明RPLS通过不断更新模型的回归系数,能够适应新加入建模集样品的信息。相比于其他方法,预测精度更高,适用范围更广。     

特征变量选择和回归方法相结合的土壤有机质含量估算

针对高光谱数据量大、信息冗余严重的现象,应用稳定竞争性自适应重加权采样(sCARS)、连续投影算法(SPA)、遗传算法(GA)、迭代保留有效信息变量(IRIV)和稳定竞争性自适应重加权采样结合连续投影算法(sCARS-SPA),从全波段光谱数据中筛选特征变量,并利用全波段和特征波段建立偏最小二乘回归(PLSR)、支持向量机(SVM)和随机森林(RF)模型预测土壤有机质含量。结果表明, PLSR和SVM模型结合特征变量选择,不仅提高了模型运算效率,而且模型预测能力较全波段均有一定提高;RF模型采用特征变量建模,对模型精度的提高不是十分明显,但其构建模型的变量数量却显著减少,大大提高建模效率。RF模型精度优于SVM和PLSR模型,IRIV结合RF建立的土壤有机质含量预测模型,变量数仅63个,校准集和验证集模型决定系数(R~2)分别为0.941和0.96,验证集相对分析误差(R_(PD))为4.8。与全波段建模相比,特征变量选择和回归方法相结合,在保证模型精度的同时,可有效提高建模效率。     

初烤完整烟叶总植物碱的近红外光谱测量方法研究

为了探讨近红外光谱分析技术检测完整烟叶化学成分的可行性,利用近红外光谱分析技术,对初烤完整烟叶的光谱采集方式及总植物碱定量分析建模方法进行了研究。以云南省昆明市不同乡镇、不同品种的初烤烟叶为研究对象,分别采用烟叶的叶尖、叶中、叶基光谱及其平均光谱建立初烤完整烟叶总植物碱近红外偏最小二乘法(PLS)定量分析模型以选择出代表完整烟叶信息的建模光谱;分别用KS和SPXY方法对样品的校正集进行选择,采用向后区间偏最小二乘法(BiPLS)、无信息变量消除法(UVE)、竞争适应性重加权采样法(CARS)等选择特征变量,对模型进一步优化。研究结果表明,采用叶尖、叶中、叶基3个部位的平均光谱建立的模型相比单独每个部位光谱所建立模型的预测精度提高了8.5%~9.5%,与全光谱建模相比,用KS-BiPLS建立模型能明显改善模型的预测能力,模型的预测精度约提高了10%,模型的校正集决定系数和均方根误差分别为0.917 4和0.226 1,检验集决定系数和预测均方根误差分别为0.902 0和0.200 7。本研究方法适用于完整的初烤烟叶,无需对样品进行预处理,对于大量的初烤烟叶,能够快速、无损测定烟叶总植物碱含量,可以节省大量的时间。同时,该研究为初烤烟叶分级、提高原料的品质提供技术支持,也将为卷烟生产的过程控制提供科学依据。     

基于可见/近红外光谱技术的林地土壤氮含量测定

提出一种利用可见/近红外光谱技术进行杉木林土壤全氮测定的方法.利用不同方法实现了土壤光谱的预处理,并以偏最小二乘回归算法(PLS)建立土壤氮含量估测模型对其进行比较分析,发现小波除噪结合多远散射校正能最有效地消除原始光谱的噪声与背景信息,此时PLS模型校正集与预测集R2分别为0.891与0.885.为优化模型,对预处理后的光谱数据采用主成分分析法(PCA)降维,以最小二乘支撑向量机回归算法(LS-SVR)建立了土壤氮含量估测模型,其校正集与预测集R2分别提高至0.921与0.917,具有比PLS算法更高的精度.结果表明:以可见/近红外光谱技术进行林地土壤氮含量快速监测是可行的,其中小波去噪结合多元散射校正系光谱预处理的优选方法,而LS-SVR则是建模的优选方法.     

基于RF-GABPSO混合选择算法的黑土有机质含量估测研究

针对土壤有机质含量高光谱估测研究中变量维数过高与特征谱段筛选问题,提出了一种结合随机森林和自适应搜索算法的混合特征选择方法。首先依据随机森林变量重要性原理获取初始优化集,然后利用遗传二进制粒子群封装算法对初始优化集进一步自适应筛选。对于土壤有机质含量估测建模问题,选择稳健性强且能有效处理高维变量的随机森林算法。以典型黑土区采集的土壤样品为研究对象,将ASD光谱仪获取的可见光-近红外区间光谱数据和经化学分析得到的土壤有机质含量为数据源,对原始光谱进行光谱变换和重采样处理后,采用随机森林-遗传二进制粒子群混合选择方法提取特征光谱区间,构建有机质含量随机森林估测模型。与利用全光谱、随机森林方法筛选的光谱和自适应搜索算法筛选的光谱构建随机森林模型得到的预测精度进行比较。结果表明,利用随机森林-遗传二进制粒子群混合特征选择算法筛选的波谱变量参与随机森林建模,预测决定系数,均方根误差和相对分析误差分别为0.838,0.54%,2.534。该方案应用最少的变量个数获得最高的预测精度,能够较高效地估测黑土有机质含量,也能为其他类型土壤在有机质含量估测研究的变量筛选与建模问题上提供参考。     

近红外光谱法在蛹虫草诱变筛选及其发酵条件优化中应用

应用近红外(NIR)光谱技术结合化学计量学法建立测定蛹虫草菌丝体中腺苷、蛋白、多糖和虫草酸4种主要有效成分含量的定量分析模型,可应用于蛹虫草高产突变株的筛选和发酵条件的优化。468株蛹虫草突变株在不同的摇瓶发酵条件下进行发酵,收集菌丝体粉末样品并采集NIR光谱,同时采用常规方法分别测定样品的4种有效成分含量。偏最小二乘法(PLS)用于建立NIR光谱与有效成分含量间相关模型。采用蒙特卡罗偏最小二乘法(MCPLS)识别异常样本和选择合适的校正集样本数;采用移动窗口偏最小二乘法(MWPLS)筛选波长变量;以逼近度(Da)为考察指标,选择最有效的光谱预处理方法和最适的PLS隐变量数,最终得到测定蛹虫草菌丝体中腺苷、蛋白、多糖和虫草酸含量的最优PLS模型,其校正集样本参考值与预测值间相关系数(Rc)分别为0.92943,0.98479,0.90785和0.85131;预测集误差(RMSEP)为0.66714,0.02065,0.01131和0.01159,表明模型具有很好的拟合度和预测性能,应用该方法进行蛹虫草诱变筛选和发酵条件的优化是可行的。     

河套蜜瓜糖度可见近红外光谱特征波长提取方法研究SCIEI北大核心CSCD

河套蜜瓜是我国西北河套地区独具特色的果品,一直深受消费者的喜爱。糖度(sugar content)是衡量蜜瓜品质和成熟度重要指标。采用Maya 2000pro便携式光谱仪和PR-101ɑ便携式数字折光仪获取"金红宝"蜜瓜光谱信息及糖度值,研究了不同特征波长提取方法:逐步多元线性回归(SMLR)、间隔偏最小二乘法(iPLS)、反向区间偏最小二乘法(biPLS)以及联合区间偏最小二乘法(siPLS))对蜜瓜样品模型精度和预测结果的影响。结果表明:采用biPLS特征波长提取方法将全波段光谱均匀分成20个子区间,PLS因子数为14,当剔除其中8个子区间,选择的波长变量数为218时,得到的biPLS模型最佳,对应的校正集和预测集的RMSE分别为0.996 1和1.18。采用biPLS光谱波长筛选方法可以有效地提取蜜瓜糖度的特征波长,提高建模预测能力,实现蜜瓜糖度的快速检测。     

河套蜜瓜糖度可见近红外光谱特征波长提取方法研究

河套蜜瓜是我国西北河套地区独具特色的果品,一直深受消费者的喜爱。糖度(sugar content)是衡量蜜瓜品质和成熟度重要指标。采用Maya 2000pro便携式光谱仪和PR-101ɑ便携式数字折光仪获取“金红宝”蜜瓜光谱信息及糖度值,研究了不同特征波长提取方法：逐步多元线性回归(SMLR)、间隔偏最小二乘法(iPLS)、反向区间偏最小二乘法(biPLS)以及联合区间偏最小二乘法(siPLS))对蜜瓜样品模型精度和预测结果的影响。结果表明：采用biPLS特征波长提取方法将全波段光谱均匀分成20个子区间,PLS因子数为14,当剔除其中8个子区间,选择的波长变量数为218时,得到的biPLS模型最佳,对应的校正集和预测集的RMSE分别为0.996 1和1.18。采用biPLS光谱波长筛选方法可以有效地提取蜜瓜糖度的特征波长,提高建模预测能力,实现蜜瓜糖度的快速检测。     

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、 维数高且原始光谱噪声明显、 散射严重等特征导致光谱建模时关键波长变量提取困难。 基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。 鸭梨作为研究对象。 采用决定系数r2、 预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。 基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2_pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。 进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。 结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。 从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。     

基于特征波段的黄酒近红外光谱检测模型递归更新方法

近红外光谱是一种快速、无损的定量分析工具。为了提高黄酒关键参数的检测水平,采用近红外光谱法进行定量分析。检测过程中,由于受环境波动、仪器老化、原料变化等因素的影响,基于旧样品所建的模型的精确度逐渐下降。为保持模型的预测精度,引入递归偏最小二乘(recursive partial least square, RPLS)对模型进行更新。以往此方法多使用全谱信息扩充建模集并进行递归计算,光谱的变量多,且包含环境影响等干扰信息,更新计算量大,且精度的提升效果不明显。考虑到黄酒生产过程中特征波段变化小的特性,提出了一种基于特征波段的黄酒近红外光谱检测模型递归更新方法。先采用相关系数法提取特征波段建立低维模型,在采集到新样品理化值后,再利用其特征波段光谱信息,使用递归偏最小二乘对低维模型进行更新。此方法被应用于黄酒总酸的近红外检测模型更新。模型评价使用相关系数r,预测标准偏差RMSEP和预测相对分析误差RPD三个指标。结果表明：采用本方法后,模型稳定性显著优化,计算效率有所提升,模型预测效果良好,三个评价指标分别达到0.965 7,0.184 3和3.736 2,较全谱PRLS时分别提高3%,24%和31%,在实际应用中有一定的参考价值。     

Quantitatively Determination of Available Phosphorus and Available Potassium in Soil by Near Infrared Spectroscopy Combining with Recursive Partial Least SquaresSCIEI北大核心CSCD

Soil available phosphorus (P) and available potassium (K) don't possess direct spectral response in the near infrared (NIR) region. They are predictable because of their correlation with spectrally active constituents (organic matter, carbonates, clays, water, etc.). Such correlation may of course differ between the soil sample sets. Therefore, the NIR calibration models with fixed structure are difficult to achieve good prediction performances for soil P and K. In this work, the method of recursive partial least squares (RPLS), which is able to update the model coefficients recursively during the prediction process, has been applied to improve the predictive abilities of calibration models. This work compared the performance of partial least squares regression (PLS), locally weighted PLS (LW-PLS), moving window LW-PLS (LW-PLS2) and RPLS for the measurement of soil P and K. The entire data set of 194 soil samples was split into calibration set and prediction set based on soil types. The calibration set was composed of 120 Anthrosols samples, while the prediction set included 29 Ferralsols samples, 23 Anthrosols samples and 22 Primarosols samples. The best prediction results were obtained by the RPLS model. The coefficient of determination (122) and residual prediction deviation (RPD) were respectively 0.61, 0.76 and 1.60, 2.05 for soil P and K. The results indicate that RPLS is able to learn the information from the latest modeling sample by recursively updating the model coefficients. The proposed method RPLS has the advantages of wider applicability and better performance for MR prediction of soil P and K compared with other methods in this work.     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

基于偏最小二乘增量式神经网络的近红外光谱定量分析模型

提出了一种基于偏最小二乘增量式神经网络的近红外光谱定量分析模型。该模型采用典型三层反向传播神经网络(BPNN),不同波长吸光度和成分浓度是模型的输入和输出。在使用历史样本训练之前先进行偏最小二乘(PLS)回归,所得自变量和因变量的历史负荷矩阵分别用于确定模型输入层和输出层的初始权值,且自变量的主成分个数作为隐层的节点数。当获得新的样本时,对新数据与历史负荷矩阵组合后进行PLS回归,将所得新的负荷矩阵与历史负荷矩阵融合后作为模型输入层和输出层新的初始权值,接着使用新样本对模型进行训练来实现增量式更新。将所提模型与PLS、BPNN、基于PLS的BPNN、递归PLS在天然气燃烧烟气近红外光谱数据上测定后比较。对于烟气中二氧化碳浓度的预测,所提模型的预测均方根误差(RMSEP)分别降低了27.27%,58.12%,19.24%和14.26%;对于烟气中一氧化碳浓度的预测,所提模型的RMSEP分别降低了20.65%,24.69%,18.54%和19.42%;对于烟气中甲烷浓度的预测,此模型的RMSEP分别降低了27.56%,37.76%,8.63%和3.20%。实验结果表明,所提模型不仅通过PLS对BPNN结构和初始权重的优化,使模型具有较强的预测能力,而且能在已建模型信息的基础上,不访问旧数据而用新增样本即可完成自身的增量式更新,从而使模型具有较好的稳健性和泛化性。     

基于可见近红外光谱技术的车蜡品牌无损鉴别方法研究

探讨了可见-近红外光谱技术快速无损识别不同品牌车蜡的可行性。实验一共获得104 样本,其中40个样本(建模集)用于建立模型,剩余64个样本(预测集)被用于独立验证建立好的模型。基于五种不同品牌车蜡的可见-近红外光谱分别建立了线性判别分析(linear Discriminant Analysis,LDA)和最小二乘支持向量机(least square-support vector machine, LS-SVM)模型。基于两个算法的全波段光谱模型的预测集正确率分别达到了84%和97%。进一步采用连续投影算法(successive projections algorithm, SPA)算法从751波段中选取了7个特征波段(351, 365, 401, 441, 605, 926和980 nm)。基于SPA选择的变量建立LS-SVM模型,准确率依然保持在97%。说明SPA选择的特征波段包含了对于车蜡品牌鉴别最重要的光谱信息,而大多数无用信息则被有效剔除。将SPA与LS-SVM算法的车蜡识别模型在保证正确率的基础上,还可以大大降低模型计算复杂程度,说明该模型能快速准确的从车蜡可见-近红外光谱中提取有效信息,并实现车蜡品牌的无损鉴别。     

拉曼光谱结合偏最小二乘的甲醇汽油甲醇含量快速定量分析方法研究

甲醇汽油是一种用以替代传统汽油的新型燃料,其品质受到甲醇含量的严重影响。因此,甲醇汽油中甲醇含量的快速分析对其品质把控具有深远意义。基于拉曼光谱（Raman）结合偏最小二乘（PLS）建立了一种甲醇汽油中甲醇含量快速定量分析方法。采用激光拉曼光谱仪对49组甲醇汽油样品的Raman光谱进行采集,并进行光谱解析。比较了五种光谱预处理方法对甲醇汽油原始Raman光谱的预处理效果,并采用变量重要性投影（VIP）对小波变换（WT）预处理后的甲醇汽油Raman光谱数据进行了特征变量提取。其次,采用五折交叉验证（5-flod cross-validation (CV)）对PLS校正模型的潜变量数目（LVs）及VIP阈值进行优化。在最优输入变量和模型参数下,分别构建了基于不同输入变量的PLS模型。研究表明,相较于原始光谱-偏最小二乘模型（RAW-PLS）和小波变换-偏最小二乘模型（WT-PLS）,变量重要性投影-偏最小二乘模型（VIP-PLS）可以获得更好的分析性能,其预测集决定系数（R2_p）为0.960 4,均方根误差（RMSEP）为0.0341。因此,Raman光谱结合PLS是一种快速准确的甲醇汽油中甲醇含量分析方法。     

基于可见-近红外光谱比较主成分回归、偏最小二乘回归和反向传播神经网络对土壤氮的预测研究

建模方法是影响可见-近红外光谱定量结果的主要因素之一。在470～1000nm波段的12个土壤剖面对48个剖面样经过风干、研磨、过筛后进行光谱采集。经一阶微分变换及Savizky-Golay平滑处理后,分别应用主成分回归(PCR)、偏最小二乘回归(PLSR)和反向传播神经网络(BPNN)3种方法建立土壤全氮(TN)的定量模型。PCR与PLSR两线性模型的决定系数(R2)分别为0.74和0.8,其剩余预测偏差(RPD)分别为2.23和2.22,但两模型仅能用于TN的粗略估计。由PCR提供主成分数,PLSR提供潜变量(LV)数分别作为BPNN的输入所构建的两个非线性模型均明显优于线性模型PCR和PLSR。其中以4个LV作为输入的BPNN-LV模型预测性能最优,R2以及RPD分别达到0.9和3.11。实验结果表明,提取可见-近红外光谱的PLSR LV因子作为BPNN的输入,所建定量模型可用于土壤氮纵向时空分布的快速准确预测。     

土壤有机质近红外预测FIR模型传递算法研究

针对近红外光谱检测中存在的模型传递问题,即在某一测试环境或仪器上建立的定性定量预测模型不适用于其他检测环境或仪器所采集的数据,该研究以土壤有机质为研究对象,采用FIR算法开展了此方面的研究工作。首先,在山西境内不同地方采集了59个壤土土壤样本,选用ASD公司的FieldSpec3光谱检测仪,分两批次对土壤样本进行了近红外光谱检测。第一批测试土样称为“源机样本”为50个,第二批测试土样称为“目标机样本”为9个;然后,随机选取“源机样本”中的41个样本作为校正样本,其余9个样本作为预测样本,采用偏最小二乘(PLS)定量预测方法建立了土壤有机质的定量预测模型,预测样本的预测相关系数为0.961,预测样本标准差(RMSEP)为0.600%,预测样本标准偏差(SEP)为0.597%,说明采用该方法可以很好地预测“源机样本”。当采用上述模型对9个“目标机样本”进行预测时,发现其预测相关系数为负值,表明采用该模型直接对“目标机样本”进行预测是不可行的。最后,采用FIR模型传递算法对“目标机样本”进行了处理,当窗口大小为p=516时预测效果提高,预测相关系数为0.706,RMSEP为0.662%,SEP为0.430%,说明FIR可以实现不同测试条件下获得谱图的传递,实现模型的共享。     

激光诱导击穿光谱联合UVE变量优选检测大豆油中的铬含量

利用激光诱导击穿光谱(LIBS)技术对大豆油中的重金属Cr进行检测研究。以松木木片对重金属Cr进行富集,采用AvaSpec双通道高精度光谱仪在206.28~481.77 nm波段范围内采集松木木片样本的LIBS光谱,利用无信息变量消除(UVE)方法筛选与重金属Cr相关的波长变量,应用偏最小二乘(PLS)回归建立大豆油中重金属Cr的定标模型,并与单变量及全波段PLS定标模型进行比较。结果表明,相比单变量及全波段PLS定标模型,UVE-PLS定标模型的性能更优,其相关系数、校正均方根误差、交互验证均方根误差及预测均方根误差分别为0.990,0.045,0.050及0.054 mg·g-1。经UVE变量筛选后,UVE-PLS定标模型所用的波长变量数仅为全波段PLS的2%。由此可见,UVE是一种有效的波长变量筛选方法,能有效筛选出与重金属Cr相关的波长变量。