基于近红外光谱和稀疏偏最小二乘回归的生物质工业分析

林木生物质能源作为一种新型可再生能源,具有非常广阔的发展前景。基于近红外光谱技术,首次引入稀疏偏最小二乘回归建立木屑生物质的工业分析模型,用于生物质燃料特性的快速分析测定。工业分析总共测定了80种木屑的水分、灰分、挥发分和固定碳含量百分比;按照样品种类和产地将其划分为训练集和测试集,利用近红外光谱仪采集光谱数据并进行小波滤波处理;再利用稀疏偏最小二乘回归建立木屑生物质的定量分析模型,并与主成分回归、偏最小二乘回归、最小绝对收敛及变量筛选方法的建模效果进行比较。结果证明,相对于以上三种建模方法,稀疏偏最小二乘回归能够挑选出有重要影响的波长群组,降低非目标波段的噪声干扰,从而增强数学模型的解释能力并提高定量分析的准确度。利用稀疏偏最小二乘回归算法挑选的波长区间基本覆盖了工业分析中水分的吸收峰,而对于灰分、挥发分和固定碳的吸收峰波段尚无准确定位,需要继续探讨。总体而言,稀疏偏最小二乘回归能够减少无关信息的干扰,提高模型定量分析的准确度,增强模型的解释能力,将会在近红外光谱技术应用领域内起到重要作用。     

基于可见-近红外光谱比较主成分回归、偏最小二乘回归和反向传播神经网络对土壤氮的预测研究

建模方法是影响可见-近红外光谱定量结果的主要因素之一。在470～1000nm波段的12个土壤剖面对48个剖面样经过风干、研磨、过筛后进行光谱采集。经一阶微分变换及Savizky-Golay平滑处理后,分别应用主成分回归(PCR)、偏最小二乘回归(PLSR)和反向传播神经网络(BPNN)3种方法建立土壤全氮(TN)的定量模型。PCR与PLSR两线性模型的决定系数(R2)分别为0.74和0.8,其剩余预测偏差(RPD)分别为2.23和2.22,但两模型仅能用于TN的粗略估计。由PCR提供主成分数,PLSR提供潜变量(LV)数分别作为BPNN的输入所构建的两个非线性模型均明显优于线性模型PCR和PLSR。其中以4个LV作为输入的BPNN-LV模型预测性能最优,R2以及RPD分别达到0.9和3.11。实验结果表明,提取可见-近红外光谱的PLSR LV因子作为BPNN的输入,所建定量模型可用于土壤氮纵向时空分布的快速准确预测。     

近红外光谱技术结合递归偏最小二乘算法对土壤速效磷与速效钾含量测定研究

土壤速效磷与速效钾在近红外区没有直接与它们相关的吸收峰,只能借助与其他拥有直接吸收峰物质(有机质,碳酸盐,粘土矿物,水分等)之间的相关关系而被近红外光谱技术所预测。这种相关关系会随着土壤样品构成的不同而不断变化,因此采用固定结构的近红外光谱模型很难对速效磷与速效钾取得较好的预测效果。提出采用递归偏最小二乘法(RPLS)在预测过程中递归更新土壤速效磷与速效钾的回归系数,以提高模型的预测能力;比较了偏最小二乘法(PLS),局部加权PLS(LW-PLS),滑动窗口LW-PLS(LW-PLS2)和RPLS对于土壤速效磷与速效钾含量的预测结果。194份土壤样品根据土壤类型分为建模集与预测集：建模集包含120份人为土样品;预测集则包含29份铁铝土样品,23份人为土样品和22份初育土样品。结果表明：RPLS模型取得了最优的预测结果,获得的决定系数(R2)分别为0.61与0.76,预测相对分析误差 (RPD)分别为1.60与2.05。说明RPLS通过不断更新模型的回归系数,能够适应新加入建模集样品的信息。相比于其他方法,预测精度更高,适用范围更广。     

基于偏最小二乘增量式神经网络的近红外光谱定量分析模型

提出了一种基于偏最小二乘增量式神经网络的近红外光谱定量分析模型。该模型采用典型三层反向传播神经网络(BPNN),不同波长吸光度和成分浓度是模型的输入和输出。在使用历史样本训练之前先进行偏最小二乘(PLS)回归,所得自变量和因变量的历史负荷矩阵分别用于确定模型输入层和输出层的初始权值,且自变量的主成分个数作为隐层的节点数。当获得新的样本时,对新数据与历史负荷矩阵组合后进行PLS回归,将所得新的负荷矩阵与历史负荷矩阵融合后作为模型输入层和输出层新的初始权值,接着使用新样本对模型进行训练来实现增量式更新。将所提模型与PLS、BPNN、基于PLS的BPNN、递归PLS在天然气燃烧烟气近红外光谱数据上测定后比较。对于烟气中二氧化碳浓度的预测,所提模型的预测均方根误差(RMSEP)分别降低了27.27%,58.12%,19.24%和14.26%;对于烟气中一氧化碳浓度的预测,所提模型的RMSEP分别降低了20.65%,24.69%,18.54%和19.42%;对于烟气中甲烷浓度的预测,此模型的RMSEP分别降低了27.56%,37.76%,8.63%和3.20%。实验结果表明,所提模型不仅通过PLS对BPNN结构和初始权重的优化,使模型具有较强的预测能力,而且能在已建模型信息的基础上,不访问旧数据而用新增样本即可完成自身的增量式更新,从而使模型具有较好的稳健性和泛化性。     

可见-近红外光谱技术结合递归变量选择算法对土壤全氮与有机质含量测定研究

应用可见-近红外光谱技术进行定量分析时,变量选择起着十分重要的作用。不同土壤样品之间的预测机制可能存在很大差异,当待测样品出现新的特征信息时,基于建模集选择的特征变量不一定能够很好地代表待测样品的有效信息,继续采用原有特征变量建模就易导致预测误差增大。该研究采用递归变量选择方法在预测过程中递归更新土壤全氮与有机质的特征变量,以保持预测模型的鲁棒性;比较了偏最小二乘法(PLS),递归偏最小二乘法(RPLS)和不同递归变量选择方法,如： 变量投影重要性与RPLS相结合(VIP-RPLS), VIP-RPLS, 无信息变量消除法与PLS相结合(UVE-PLS)对于土壤全氮与有机质含量的预测效果。所用195份土壤样品来自浙江省文成县8个乡镇的农田。土壤样品随机分成两部分,一部分作为建模集包含120份样品,另一部分作为预测集包含75份样品。结果表明： VIP-RPLS建立的模型对于预测土壤全氮与有机质含量取得了最优的结果,获得的决定系数(R2)分别为0.85与0.86,获得的预测相对分析误差(RPD)分别为2.6%与2.7%。说明VIP-RPLS通过不断更新模型的特征变量,能够捕获新加入到建模集样品的有效信息。相比于本研究中的其他方法,VIP-RPLS对于土壤全氮与有机质含量具有更高的预测精度。     

Ensemble-SISPLS近红外光谱变量选择方法

近红外光谱具有高维小样本的特点,变量选择是提高定量分析模型稳健性和可解释性的一种有效方法。确定独立筛选（SIS）是一种基于边际相关性的超高维数据变量选择方法,广泛用于基因微阵列数据的变量选择。SIS具有将数据维度降低至样本大小规模的能力,其降维能力与LASSO相当,在相当宽泛的近似条件下,由于具有安全筛选性质,所有重要变量被保留的概率趋于1。基于确定独立筛选偏最小二乘（SIS-SPLS）的变量选择是一种迭代式的SIS变量选择方法,首先利用SIS方法完成光谱重要变量的初选;然后根据重要变量的边际相关性大小进行逐步前向选择：建立偏最小二乘回归模型,依据贝叶斯信息准则（BIC）确定最终的变量选择结果。SIS-SPLS以逐步前向选择的方式实现对重要变量的增量式筛选,随着潜变量个数的增加及因变量残差的逐步减小,SIS-SPLS方法选择的变量个数将趋于稳定。然而仅以边际相关性对变量重要性进行评价,当光谱变量个数远大于样本数时,该方法也存在选择的变量过多、变量选择结果不够稳健等问题。为进一步提高小样本情况下变量选择的稳健性,将集成学习引入SIS-SPLS方法之中,提出了一种集成SIS-SPLS变量选择方法（Ensemble-SISPLS）。该方法首先对校正集样本进行自助重采样,对采样得到的每一个校正子集分别使用SIS-SPLS方法进行变量筛选,通过投票机制并设置频次阈值对所有校正子集的变量选择结果进行集成,选择出现频次大于给定阈值的变量并建立偏最小二乘回归模型,计算5折交叉验证均方根误差。对频次阈值和潜变量个数两个关键参数使用网格搜索法进行优选,根据子模型的交叉验证均方根误差和变量个数对子模型性能进行综合评价,以最优子模型包含的变量作为最终的变量选择结果。分别在Corn数据集和当归数据集上进行变量选择实验,比较Ensemble-SISPLS,SIS-SPLS和UVE-PLS三种变量选择方法的性能。其中当归数据集共77个样本,样本采自甘肃岷县和渭源县,使用Nicolet-6700型近红外光谱仪扫描得到所有样本的近红外光谱并对当归中的阿魏酸含量进行预测。Ensemble-SISPLS方法在Corn数据集上选择的变量个数、RMSEP和决定系数分别为22,0.000 8和0.999 8;SIS-SPLS方法在Corn数据集上选择的变量个数、RMSEP和决定系数分别为97,0.007 3和0.998 8。Ensemble-SISPLS方法在当归数据集上选择的变量个数、RMSEP和决定系数分别为24,0.018 1和0.996 3;SIS-SPLS方法在当归数据集上选择的变量个数、RMSEP和决定系数分别为38,0.022 6和0.994 3。结果表明,该方法进一步提高了变量选择结果的稳健性和预测能力。Ensemble-SISPLS变量选择方法有效结合了SIS-SPLS较强的变量选择能力和集成学习良好的泛化能力,提高了变量选择的稳健性。此外,由于在子模型的预测能力和变量个数之间进行了折中,一定程度上减少了选择变量的个数,提高了模型的可解释性。     

羊肉嫩度傅里叶变换近红外光谱偏最小二乘法定量分析研究

以从内蒙、宁夏、甘肃、新疆4个肉羊产区筛选的有代表性的98份羊肉样品为试材,应用傅里叶变换近红外光谱技术探讨了羊肉嫩度无损检测的方法。以模型决定系数(r2)、校正标准差(RMSECV)和预测标准差(RMSEP)为模型精度评价指标,采用偏最小二乘法(PLS)对近红外光谱信息与样品的质构仪剪切力值进行了拟合,确定了最佳的光谱预处理方法、主成分数和波段范围。结果表明：所选98个羊肉样品的剪切力值分布范围为1.673～6.631 kg,其中75%以上的样品剪切力值在2～5 kg,基本覆盖了我国现有的肉羊嫩度值分布;在11 995～5 446 cm-1和4 601～4 246 cm-1的波段范围内,最佳主成分数为10,光谱经矢量归一法处理后,建立的羊肉嫩度模型精度最高,r2达到86.2%,RMSECV为0.445;用此模型对预测集29个样品进行预测,预测值与实测值的相关系数r达到0.87,预测平均偏差为0.385,RMSEP为0.524。     

快速稳健偏最小二乘回归及其在近红外光谱分析中的应用

现代近红外光谱,作为一种间接分析技术,将建立校正模型,实现对未知样本的定量分析。针对近红外光谱分析灵敏度低、抗干扰性差的弱点,构建一种快速稳健的偏最小二乘回归(RRPLSR)算法。它运用峭度法快速识别离群点,排除它们后,再实施偏最小二乘回归,消除复共线性,建立稳健可靠的定量校正模型。将RRPLSR方法实际应用于鱼类物质的近红外光谱数据分析,实现脂肪含量的定量检测,效果良好。与已有的其他方法相比,它能准确识别离群点,所建模型预测性能良好,且计算省时,效率高,适用于快速检测。     

基于近红外光谱和偏最小二乘法的慈竹纤维素结晶度预测研究

将近红外光谱技术和化学计量学相结合分析慈竹纤维素结晶度。通过区间偏最小二乘法(iPLS)、联合区间偏最小二乘法(siPLS)和反向区间偏最小二乘法(biPLS)优化建模区域,建立经多元散射校正后光谱的结晶度分析模型,并与全光谱范围350～2 500nm建立的偏最小二乘(PLS)模型进行比较。结果表明,三种改进偏最小二乘法建立的结晶度模型预测效果均优于PLS模型,并且当采用联合区间偏最小二乘法将全光谱进行30个子区间划分,选择三个子区间[8 12 19]组合时,建立的siPLS模型预测效果最好,相关系数(r)达到0.88,预测标准差(RMSEP)为0.0117。因此,采用联合区间偏最小二乘法可以有效选择建模光谱区域,提高模型预测能力,实现慈竹纤维素结晶度的快速预测。     

局部偏最小二乘回归建模参数对近红外检测结果的影响研究

报道了在局部加权(LWR)回归方法基础上,自主改进的更简单、实用的局部偏最小二乘回归(LPLS)的原理和方法。并以云南优质烤烟为实验材料,在国产光栅漫反射型近红外仪器上,研究了主成分数以及局部建模样品数对检测结果的影响。结果表明：应用交叉验证方法推荐的尼古丁组分模型主成分数并不是最优,通过适当降低主成分数可提高检测效果;局部建模样品数为30～50个时总糖、总氮、尼古丁预测准确度的提高幅度可分别达7%,14%,10%以上。该方法能有效提高近红外数学模型的预测准确度,是建立具有高度适应性近红外数学模型的有效方法。     

田间行走式测定的红外光谱数据与土壤质地之间的相关性研究

近红外光谱是利用漫反射来分析物质的某些化学性质,已在农业及其他许多领域得到广泛应用。尽管在实验室条件下,研究证明可以应用近红外光谱分析技术来快速、方便地测定土壤参数,但在田间大范围内应用红外光谱快速测定来分析土壤性质,仍然缺乏研究;该研究以田间行走式设备获取的红外光谱数据为基础,分析和比较了不同数据处理技术下红外光谱信息与土壤质地之间的相关性,发现应用基于算术运算的波段组合技术可以明显地提高红外光谱信息与土壤质地之间的相关性,为田间光谱数据的分析处理与应用提供了依据。     

基于最小角回归与GA-PLS的NIR光谱变量选择方法

近红外(NIR)光谱一般具有较多的波长变量数,对其直接或间接地进行变量选择是提高模型稳定性能及预测性能的关键。最小角回归(LAR)是一种相对较新和有效的机器学习算法,常用于进行回归分析和变量选择。面向光谱建模应用,提出一种LAR结合遗传偏最小二乘法(GA-PLS)的变量选择方法,可有效筛选出少数特征波长点。首先在全光谱区利用LAR消除变量间的共线性得到初筛波长点,然后用GA-PLS对LAR筛选出的波长点进一步优选从而得到最终建模用的特征波长点。为验证本文方法的有效性,以药片和汽油的近红外光谱回归分析作为应用案例,对原光谱进行预处理后,采用该方法进行变量筛选,然后分别建模其中的活性成分含量和C10含量。结果显示,在这两个应用中,最终优化得到的特征波长点数均只需七个,而两者的预测决定系数R2_p分别达到0.933 9和0.951 9,与全光谱、无信息变量消除法(UVE)和连续投影算法(SPA)等方法相比,特征波长点更少,同时R2_p和预测均方根误差RMSEP值更优。因此,LAR结合GA-PLS,能有效地从近红外光谱中选择出信息变量从而减少建模波数,提高预测精度,拥有较好的模型解释性。该方法可为特定领域的专用光谱仪设计提供有效的波长筛选工具。     

基于偏最小二乘回归的荧光粉涂覆型白光LED的光谱预测研究

为了更便捷高效地对荧光粉涂覆型白光LED的发光光谱进行预测,利用GaN蓝光LED芯片与杭州萤鹤光电材料有限公司的YH-S525M绿色荧光粉和YH-C640E红色荧光粉进行实验样品的制备。分别测量其单色荧光光谱,测得蓝光芯片的发射峰波长为453 nm,选用的红色和绿色荧光粉的发射峰波长分别为631和526 nm。制备红色和绿色荧光粉通过AB胶混合并涂覆于蓝光芯片上的LED实验样品,红粉/绿粉质量比设置为1∶3,1.2∶3,1.4∶3,1.6∶3,1.8∶3,2∶3,红粉混胶后的浓度为7%,9%,11%,13%,15%,17%。每组质量比和混胶浓度条件下的样品制备3~5份,利用杭州远方色谱有限公司的HAAS-2000高精度快速光谱辐射计测试样品的发光光谱,并进行蓝峰归一化处理得到共36组光谱数据。将白光光谱视为蓝色,绿色和红色三种单色荧光光谱的线性叠加,蓝色和红色峰项直接选用对应的发射谱,而绿色峰项选用两个高斯线型方程拟合,系数均由强度决定。通过循环搜索算法,分别计算36组实验条件下的模型参数最优值,对拟合结果进行优度检验,R2的范围为99.33%~99.88%。然后运用偏最小二乘回归方法建立荧光粉质量比和浓度与模型参数间的回归方程,最终得到一种能够精确预测两种荧光粉混合涂覆的白光LED发光光谱的新方法。用一组新制备的样品测得的光谱功率分布进行预测效果检验,得到的预测光谱相对于实测光谱的拟合优度为99.62%,证明该方法的预测效果良好。该研究建立的预测模型从该类型的白光LED的发光机理出发,分析发光时两种荧光粉之间的相互作用,并引入绿色荧光谱线的展宽效应,更加简单有效地建立起两种荧光粉的质量比和混胶浓度与白光光谱间的数学关系。该方法具有更好的普适性,为荧光粉涂覆型LED的光源参数优化提供了一种新的思路。     

双包络去除和OPLS的土壤有机碳含量反演

土壤有机碳(SOC)对土壤肥力至关重要,可见-近红外光谱能对其实现快速反演,为区域监测和定量遥感提供基础。针对包络去除(CR)仅提供反射光谱的单向吸收特征,多元回归中预测信息缺失、拟合结果未充分反映波段特征,利用世界土壤数据库245份中国土样的可见-近红外光谱,首次提出双包络去除(BCR)与正交偏最小二乘(OPLS)结合的反演方法BCR-OPLS,同时纳入光谱反射率及上、下边包络去除量,讨论组分参考值偏态分布时幂函数或对数缩放在回归时的优化作用,建立多种土壤的综合与分类估计模型,并导出适用特定类型土壤的SOC指数。结果表明,对多种土壤有机碳含量反演,相较PLSR模型(决定系数R2和估计根均方误差RMSEE分别为0.69和0.45%),BCR-OPLS模型的预测能力明显改善(R2和RMSEE分别为0.9和0.26%);而对单一类型土壤的反演精度则进一步提升,根据载荷趋势和变量重要性建立的SOC指数,预测如黄色铁铝土的有机碳含量时(以400,590和920 nm),其反演结果R2达到0.94、RMSEE达到0.21%。双包络去除与OPLS相结合,增强了光谱特征诊断的鲁棒性,提高了不同类型土壤的综合与分类SOC全谱反演精度,基于直观的图谱表达可构建简单的波段预测关系,深化了物理经验吸收与统计多元回归之间的联系。     

FPXRF——偏最小二乘法定量分析土壤中的铅含量

在实验室条件下,利用NITON XLt920型便携式X射线荧光光谱(field portable X-ray fluorescence,FPXRF)仪获取土壤样品的X射线荧光光谱数据,并采用偏最小二乘法(PLS)建立土壤Pb含量的预测模型。模型所用的光谱范围为与土壤中Pb元素密切相关的两个波段:10.40～10.70 keV和12.41～12.80 keV;最佳主成分数为6。模型经交互验证,其预测结果与实测值之间的相关系数为0.966 6,预测均方根误差(RMSEP)为0.873 2。另外为了与偏最小二乘法做比较,还分别利用仪器直接获取的Pb含量读数以及X射线荧光光谱数据中Pb的Lα和Lβ线的强度与ICP测定值进行一元线性和多元线性回归,相关系数分别为0.680 5和0.730 2,均低于PLS模型的预测结果。研究表明,相比较传统的原子吸收等测试方法,便携式XRF仪在保证一定测试精度基础上,具有方便、快速、无损和耗费少等优势,可作为进一步分析前有力的筛选手段。     

土壤发射率光谱与土壤元素含量的关系研究

通过对全国十几个地区共26个土壤样品进行元素含量和红外光谱测定,分析了土壤中红外发射率光谱特征,研究了土壤发射率光谱与土壤的硝态氮(NO₃-N)、磷(P)、钾(K)、钙(Ca)、镁(Mg)、铜(Cu)、铁(Fe)、锰(Mn)、锌(Zn)等元素以及pH值和有机质(OM)含量的相关性,并利用偏最小二乘回归和多元逐步回归建立了利用发射率光谱估算土壤各种元素含量的回归模型。由此找到了土壤元素含量与土壤发射率相关性最大的特征波段,并遴选出了不同波段哪些土壤元素与发射率的相关性最紧密,为开展土壤发射率的影响因素研究和由土壤中红外光谱预测土壤元素含量奠定了理论基础。研究结果显示：(1)在8～10 μm波段范围内,土壤发射率与土壤元素相关性从高到低依次为Ca,Mg,Mn和Fe ,相关系数最高为0.85,最低为-0.5;另外K,Fe,NO₃-N和Zn与发射率的相关性在6～8 μm波段范围内依次减小,相关系数最高为0.75,最低为0.48;而在10～14 μm波段内,Mn和K与发射率有较强的相关性,相关系数约为0.5;(2)土壤发射率与土壤pH值之间大致呈抛物线关系,在土壤的pH值为7时,发射率最高,随着土壤越酸或越碱,发射率逐渐降低;(3)在建立土壤各元素含量的预测模型时发现,偏最小二乘回归估算土壤各元素含量的精度要高于多元逐步回归,尤其是Ca,Cu和Fe这些元素,建模和交叉验证的R2分别能达到0.9、0.8以上;利用观测的土壤发射率光谱根据传感器波谱响应函数模拟得到的MODIS和ASTER传感器红外波段的发射率数据,通过多元逐步回归模型对土壤各元素含量进行估算发现,利用ASTER的热红外波段发射率估算土壤Ca含量时建模和验证的决定系数为0.774和0.892;用MODIS的红外波段发射率估算土壤Ca和Fe含量的建模和验证的决定系数都在0.85以上,估算Mg和K的建模和验证的决定系数都在0.5以上;并且ASTER的第10和11波段和MODIS的第28,29和30波段对土壤各元素有较高的敏感性,更适合用于土壤各元素的估算。     

基于小波变换与偏最小二乘耦合模型估测北方潮土有机质含量

基于北京市通州、顺义两区52个潮土样品高光谱数据,利用离散小波多尺度分析技术对其进行处理分析。首先将光谱按六种尺度进行分解,然后将各尺度分解数据与土壤有机质含量进行相关性分析,并筛选敏感波段,最后利用偏最小二乘法构建土壤有机质含量估测模型。结果表明：土壤光谱反射率经小波变换后,在参与建模的特征波段中,近红外波段居多,即近红外波段估测有机质含量的贡献高于可见光波段;低频信息对有机质含量的估测能力优于高频信息;高频信息对土壤有机质含量的估测精度随光谱分辨率降低而降低;与常用光谱变换算法相比,小波变换分析法在一定程度上提高了土壤光谱对有机质含量的估测能力,其低频信息与高频信息构建的最优模型预测精度均较高,低频信息的R2=0.722,RMSE=0.221,高频信息的R2=0.670,RMSE=0.255。     

利用神经网络提高偏最小二乘法的NIR多组分分析精度

提出了一种神经网络(ANN)和偏最小二乘法(PLS)结合的新的近红外(NIR)多组分分析法。该方法首先把训练样本中待测组分涵盖的浓度区间分成若干个子区间,利用各个子区间的训练样本分别建立PLS校正模型,然后利用ANN对未知样本进行分类,判断其所属的浓度子区间,应用对应子区间上的校正模型计算预测样本的组分浓度。和传统的PLS比较,此方法改善了模型的适应性,显著地提高了预测精度。实验及数据处理结果证明了本方法的有效性。