有监督主成分回归法在近红外光谱定量分析中的应用研究

介绍了运用有监督主成分回归法建立近红外光谱定量分析模型的原理和方法.利用该方法先进行近红外光谱定量分析建模的波长信息选择,达到降低光谱数据维数的目的,然后建立数学模型,并用其分析预测集样品.文中以66个小麦样品为实验材料,随机选择其中40个样品建立小麦样品中蛋白质含量的近红外光谱定量分析模型,首先优选出4个波长点:4 632,4 636,5 994,5 997 cm-1,利用这4个波长点处光谱信息建立主成分回归模型预测26个样品的蛋白质含量,其结果与凯氏定氮法分析结果的相关系数为0.991,平均相对误差为1.5%.该方法从大量光谱数据中筛选出最重要的部分波长信息,实现了"少而精"的波长点选择,对建立抗共线性信息干扰的光谱定量分析模型,同时对指导专用近红外分析仪器设计中波长点的选择等方面都有一定的意义.     

岭回归在近红外光谱定量分析及最优波长选择中的应用研究

以66个小麦样品为试验材料,研究岭回归方法在近红外光谱定量分析中的应用。用44个小麦样品的近红外光谱数据建立测定蛋白质含量的近红外-岭回归模型,预测其余22个小麦样品的蛋白质含量。预测结果与凯氏定氮法分析结果(化学分析值)的平均相对误差为1.518%,与偏最小二乘法(PLS)预测结果进行比较,显示岭回归方法可用于近红外光谱定量分析;进一步,为了减少无关信息对定量分析模型预测能力的干扰,一种有效的方法就是进行波长信息的选择。从1297个波长点中优选出4个波长点,利用这4个波长点处的光谱信息建立近红外-岭回归模型预测22个样品的蛋白质含量,预测结果与凯氏定氮法分析结果之间的平均相对误差为1.37%,相关系数达到0.9817。结果表明岭回归方法从大量光谱信息中筛选出了最重要的波长信息、不仅简化了模型,有效的减少了光谱信息共线性的干扰,而且对特定分析选择出适用的波长对指导设计专用近红外定量分析仪器亦有实际意义。     

特征根回归法近红外光谱定量分析研究

本文以大豆样品为实验材料，研究了特征根回归法近红外光谱定量分析。用40个大豆样品的近红外光谱数据建立了测定大豆蛋白质含量的特征根回归模型，预测另外32个大豆样品的蛋白质含量，结果同PLS回归方法进行了比较，表明特征根回归模型可用于生物样品的近红外光谱定量分析。特征根回归法是对PCR建模方法改进的又一种化学计量学定量分析校正方法，该方法在对样品光谱提取主成份时考虑了待分析组分的作用，因此所建立的定量分析模型有好的分析效果。研究结果进一步表明，以样品近红外光谱建立定量分析模型，提取主成份时充分考虑被定量分析成份的作用是完全必要的。     

最小角回归结合竞争性自适应重加权采样的近红外光谱波长选择

近红外光谱分析技术对检测样品无损伤且检测速度快、精度高,因此被广泛应用在了药品检测、石油化工等领域,尤其近年来机器学习和深度学习建模方法的深入应用使其具备了更准确的检测性能。然而,样品的近红外光谱数据具有比较高的维度且存在谱间重合、共线性和噪声等问题,对近红外光谱模型的性能产生消极影响,此时样品有效特征波长的筛选极为重要。为了提高近红外光谱定量和定性分析模型的准确性和可靠性,提出了一种近红外光谱变量选择方法,其结合了最小角回归（LAR）和竞争性自适应重加权采样（CARS）的优点,具有更优的性能。该方法利用LAR初步筛选样品全谱区的特征波长,接着利用CARS对筛选出来的特征波长进一步选择,从而有效去除无关特征波长。为验证该方法的有效性,从定量和定性分析两个方面评价该方法。在定量分析实验中,以FULL,LAR,CARS,SPA和UVE作为对比方法,以药品样品数据集为实例建立PLS回归分析模型,经LAR-CARS筛选出的变量建立的PLS模型在药品数据集表现出较高的预测决定系数和较低的预测标准偏差。在定性分析实验中,以SVM,ELM,SWELM和BP作为对比方法、不同比例训练集的药品数据集为实例建立分类模型,经LAR-CARS筛选出的变量建立的SVM分类模型精度最高达100%。从实验结果可见,LAR-CARS可有效的筛选出表征样品特征的波长,利用其筛选出的波长建立的定量、定性分析模型具有更好的鲁棒性,可用于样品光谱的特征波长筛选。     

基于iPLS的血清胆固醇、甘油三酯近红外定量分析

为了建立血清样品胆固醇、甘油三酯近红外分析最优模型,利用近红外透射光谱技术结合间隔偏最小二乘法（iPLS）建立预测模型。结果表明,胆固醇最优建模波段是1700—1798nm,最优预测模型的相关系数Rp、预测均方差RMSEP分别为0.984、0.198mmol/L;甘油三酯最优建模波段是1654-1746nm,最优预测模型的Rp、RMSEP分别为0.967、0.157mmol/L。采用iPLS建立血清胆固醇、甘油三酯定量分析模型,不仅可以提高模型的预测精度,而且模型更加简洁、数据运算量也更少,优选出的特征谱区还可为设计小型专用近红外分析仪器提供依据。     

基于GA和SCMWPLS算法的NIR光谱信息变量提取研究

光谱数据压缩、信息变量提取是近红外应用研究的热点,是简化模型、提高预测精度的重要手段。本文以杏可见/近红外光谱为例,采用二阶导数、标准化和正交信号校正(OSC)处理以滤除光谱与浓度阵无关的信号;使用SCMWPLS选择出880,894～910和932 nm为建模区间建立PLS预测模型,其相关系数(R)、校正误差(SEC)和预测误差(SEP)分别为0.920,0.454和0.470;进行独立运行GA程序100次,依次选择入选频率较高的2个波长点888和900 nm作为回归变量,建立GA-MLR预测模型,其R, SEC, SEP分别为0.905,0.488和0.459,均优于全谱的偏最小二乘建模结果。结果显示,OSC可以滤除光谱与浓度阵无关的信号,减少建立模型所用的主因子数;SCMWPLS和GA可以寻找最优信息变量组合。该方法对于建立低维度、高精度近红外快速分析模型具有普遍参考意义。     

近红外光谱法分析油页岩含油率中波长选择方法的研究

波长选择是光谱建模分析的重要步骤。研究了近红外光谱法分析油页岩含油率过程中的波长选择方法,用以剔除光谱数据中的冗余信息和干扰信息,提高分析模型的建模效率和预测能力。分别采用相关系数法(CC)、移动窗口偏最小二乘法(MWPLS)和无信息变量消除法（UVE）对油页岩近红外漫反射光谱数据的波长区间进行了选择,研究了不同阈值、窗口宽度和噪声矩阵对上述方法的影响,建立了所选择波长处的反射率数据和样品含油率标准值间的偏最小二乘（PLS）分析模型,比较了上述方法的选择效果。结果表明：与使用全谱数据建模相比,采用上述方法筛选过的光谱数据均能提高模型的建模效率和预测能力,其中经UVE法筛选后的光谱数据仅占全谱数据总数的22.8%,模型的RMSECV却降低了9.3%,RMSEP降低了4.5%。     

基于最小角回归与GA-PLS的NIR光谱变量选择方法

近红外(NIR)光谱一般具有较多的波长变量数,对其直接或间接地进行变量选择是提高模型稳定性能及预测性能的关键。最小角回归(LAR)是一种相对较新和有效的机器学习算法,常用于进行回归分析和变量选择。面向光谱建模应用,提出一种LAR结合遗传偏最小二乘法(GA-PLS)的变量选择方法,可有效筛选出少数特征波长点。首先在全光谱区利用LAR消除变量间的共线性得到初筛波长点,然后用GA-PLS对LAR筛选出的波长点进一步优选从而得到最终建模用的特征波长点。为验证本文方法的有效性,以药片和汽油的近红外光谱回归分析作为应用案例,对原光谱进行预处理后,采用该方法进行变量筛选,然后分别建模其中的活性成分含量和C10含量。结果显示,在这两个应用中,最终优化得到的特征波长点数均只需七个,而两者的预测决定系数R2_p分别达到0.933 9和0.951 9,与全光谱、无信息变量消除法(UVE)和连续投影算法(SPA)等方法相比,特征波长点更少,同时R2_p和预测均方根误差RMSEP值更优。因此,LAR结合GA-PLS,能有效地从近红外光谱中选择出信息变量从而减少建模波数,提高预测精度,拥有较好的模型解释性。该方法可为特定领域的专用光谱仪设计提供有效的波长筛选工具。     

应用局部神经网络和可见/近红外光谱法估测土壤有效氮磷钾

要实现农田合理施肥,需要对土壤养分状况进行实时、准确地诊断,因而建立快速、稳定可靠的土壤养分定量分析方法是关键。光谱分析是一种有很大潜力的快速分析方法,从可见/近红外光谱建模的几个重要环节,即特征波段、预处理方法及回归模型方法的选择,研究了土壤有效氮、磷、钾含量快速估测的光谱建模方法。采用了多元散射校正加一阶导数进行光谱预处理,通过逐波段相关分析在可见-近红外区优选特征波段,并应用了局部非线性回归方法(BP神经网络局部回归法)建模,所建模型对土壤有效氮、磷、钾含量估测的相关系数r分别为0.90,0.82和0.94,BP神经网络局部建模比全局建模具有更好的精度和稳定性,估测精度提高幅度分别为40.63%,28.64%,22.90%。因此,采用局部BP神经网络回归建模法建立土壤有效氮、磷、钾的光谱定量分析模型,可实现对土壤养分状况的快速诊断。该研究的创新点是通过采用局部非线性回归方法提高了土壤光谱营养诊断模型的稳定性和可靠性,为作物生长过程中不同生长时期的土壤养分的动态监测和过程控制提供了技术支持。     

基于近红外光谱和稀疏偏最小二乘回归的生物质工业分析

林木生物质能源作为一种新型可再生能源,具有非常广阔的发展前景。基于近红外光谱技术,首次引入稀疏偏最小二乘回归建立木屑生物质的工业分析模型,用于生物质燃料特性的快速分析测定。工业分析总共测定了80种木屑的水分、灰分、挥发分和固定碳含量百分比;按照样品种类和产地将其划分为训练集和测试集,利用近红外光谱仪采集光谱数据并进行小波滤波处理;再利用稀疏偏最小二乘回归建立木屑生物质的定量分析模型,并与主成分回归、偏最小二乘回归、最小绝对收敛及变量筛选方法的建模效果进行比较。结果证明,相对于以上三种建模方法,稀疏偏最小二乘回归能够挑选出有重要影响的波长群组,降低非目标波段的噪声干扰,从而增强数学模型的解释能力并提高定量分析的准确度。利用稀疏偏最小二乘回归算法挑选的波长区间基本覆盖了工业分析中水分的吸收峰,而对于灰分、挥发分和固定碳的吸收峰波段尚无准确定位,需要继续探讨。总体而言,稀疏偏最小二乘回归能够减少无关信息的干扰,提高模型定量分析的准确度,增强模型的解释能力,将会在近红外光谱技术应用领域内起到重要作用。     

SVM回归法在近红外光谱定量分析中的应用研究

研究了基于统计学习理论的支持向量机（SVM）回归法在近红外光谱定量分析中的应用。以66个小麦样品为实验材料,由33个小麦样品作为校正样品,采用4种不同核函数方法对小麦样品蛋白质含量与小麦样品近红外光谱进行SVM回归建模。以所建4种不同SVM回归模型对33个小麦预测样品的蛋白质含量进行了预测;不同回归模型的预测结果与凯氏定氮法确定的蛋白质含量的标准化学值间的相关系数均在0．97以上,平均绝对误差小于0．32。为了考察SVM回归校正模型的预测效果,同所建PLS回归模型的预测结果进行了比较,表明所建预测小麦样品蛋白质含量的SVM回归模型亦可通过近红外光谱进行实际样品的定量分析,且有较好的分析效果。     

近红外光谱逆回归降维定量分析模型

在近红外光谱定量分析中,由近红外光谱数据的高维特点引起的复共线性,是利用化学计量方法建模经常遇到的问题,可利用一种新的逆回归方法处理这一问题.该方法首先利用自变量X和因变量Y的相关性质降维,找到真正与回归函数有关的X的线性组合,再利用新找到的低维变量估计回归函数.文中以103个玉米样品为实验材料,随机选择其中70个玉米...     

近红外光谱法快速测定新疆薰衣草精油主要组分

为建立快速测定新疆薰衣草精油中芳樟醇(linalool)、乙酸芳樟酯(linalyl acetate)含量的定量分析模型,采用近红外吸收光谱法(NIR)测定了165个精油样品,通过对近红外光谱吸收峰分析,在7 100～4 500 cm-1波数范围内化学信息量比较丰富且噪音低,可选择此波数段为分析区间。剔除8个异常样本后,通过聚类方法划分为105个校正集样本和52个验证集样本,结合气相色谱质谱(GC-MS)法测定的薰衣草精油linalool和linalyl acetate的含量,建立原始数据矩阵。对比不同的预处理方法对原始近红外光谱的过滤作用,其中正交信号变换(OSC)方法效果明显,对两种化合物的预测均方根误差(RMSEP) 分别为0.226和0.558,再用向前间隔偏最小二乘法(FiPLS)剔除与待测成分无关或呈非线性关系的波长点,最终得到8个间隔区间共160个波长点的数据子集。使用OSC-FiPLS优化处理的数据子集结合偏最小二乘法(PLS)建立新疆薰衣草精油中linalool和linalyl acetate的快速定量分析模型,在模型中二成分的隐变量数都为8。交互验证均方根误差(RMSECV)分别为0.170和0.416;预测均方根误差(RMSEP)分别为0.188和0.364。结果表明,经OSC和FiPLS预处理建立的PLS-NIR定量分析模型稳健性好,测定精度高,能快速测定薰衣草精油中linalool和linalyl acetate含量,并且具有良好的预测能力。可为新疆薰衣草精油主要成分的快速定量分析提供一种新的有效方法。     

Main Components of Xinjiang Lavender Essential Oil Determined by Partial Least Squares and Near Infrared SpectroscopySCIEI北大核心CSCD

This work was undertaken to establish a quantitative analysis model which can rapid determinate the content of linalool, linalyl acetate of Xinjiang lavender essential oil. Totally 165 lavender essential oil samples were measured by using near infrared absorption spectrum(NIR), after analyzing the near infrared spectral absorption peaks of all samples, lavender essential oil have abundant chemical information and the interference of random noise may be relatively low on the spectral intervals of 7100-4 500 cm(-1). Thus, the PLS models was constructed by using this interval for further analysis. 8 abnormal samples were eliminated. Through the clustering method, 157 lavender essential oil samples were divided into 105 calibration set samples and 52 validation set samples. Gas chromatography mass spectrometry (GC-MS) was used as a tool to determine the content of linalool and linalyl acetate in lavender essential oil. Then the matrix was established with the GC-MS raw data of two compounds in combination with the original NIR data. In order to optimize the model, different pretreatment methods were used to preprocess the raw NIR spectral to contrast the spectral filtering effect, after analysizing the quantitative model results of linalool and linalyl acetate, the root mean square error prediction(RMSEP) of orthogonal signal transformation (OSC) was 0.226, 0.558, spectrally, it was the optimum pretreatment method. In addition, forward interval partial least squares (FiPLS) method was used to exclude the wavelength points which has nothing to do with determination composition or present nonlinear correlation, finally 8 spectral intervals totally 160 wavelength points were obtained as the dataset. Combining the data sets which have optimized by OSC-FiPLS with partial least squares(PLS) to establish a rapid quantitative analysis model for determining the content of linalool and linalyl acetate in Xinjiang lavender essential oil, numbers of hidden variables of two components were 8 in the model. The performance of the model was evaluated according to root mean square error of cross-validation (RMSECV) 9 root mean square error of prediction (RMSEP). In the model, RESECV of linalool and linalyl acetate were 0.170 and 0.416, respectively; RMSEP were 0.188 and 0.364. The results indicated that raw data was pretreated by OSC and FiPLS, the NIR-PLS quantitative analysis model with good robustness, high measurement precision; it could quickly determine the content of linalool and linalyl acetate in lavender essential oil. In addition, the model has a favorable prediction ability. The study also provide a new effective method which could rapid quantitative analysis the major components of Xinjiang lavender essential oil.     

近红外光谱波段优化选择在驴奶成分分析中的应用

近年来,驴奶引起了越来越多研究者的注意.与牛奶相比,驴奶的营养成分更接近母乳,且有着许多独特的优势.由于驴奶与牛奶成分差别较大,适用于牛奶的模型无法直接应用于驴奶的成分分析中.但目前还未见将近红外光谱分析技术应用到驴奶成分分析中的研究报道.文章采用傅里叶变换近红外光谱法,快速测定了新疆疆岳驴奶中脂肪、蛋白质、能量和灰分的含量.其含量分布范围分别为:1.15%～2.54%,0.34%～2.67%,355.87～565.17 cal·kg-1,0.28%～0.57%.光谱扫描区为3 899.6～12 493.4 cm-1,扫描间隔1 cm-1.采用PLS回归算法对光谱信息阵X提取主成分时附加约束,使X的主成分与待分析组分Y相关.并利用优化波段和不同预处理方法优化组合,建立了PLS回归预测模型,并与PLS全谱区建模预测进行了比较.结果表明波段优化组合建模分析效果整体优于全谱区建模结果,驴奶样品中脂肪、蛋白质、能量和灰分的近红外光谱定量分析模型预测值与化学分析实测值在水平α=0.05下显著相关,其含量分析模型的校验集(RMSEP)值分别为0.18,0.117,23.5,0.040 6,表明预测值有较好的精度.结果表明建立近红外光谱定量分析模型用于驴奶样品成分分析是可行的,波段优化选择与全谱建模分析效果比较表明,建立定量分析模型对波段优化组合选择是必要的,当模型中包含了与组分无关的信息时,对模型定量分析将起干扰的作用,会影响模型的分析效果.因此进行谱段信息选择建立相应组分分析模型是数据预处理的有效环节.样品各组分标准值的测定结果的准确度和精确度都影响近红外定量分析的准确度.以近红外光谱法进行定量建模分析时,扩大组分含量的分布范围,提高标准数据的分析精度和准确度都是很必要的.     

近红外光谱谱线特性对物质浓度分析误差影响的研究

为解决近红外光谱法分析物质浓度过程中缺乏可测度分析而导致测量过程存在一定盲目性问题,研究在已知测量条件、样品种类、被测组分以及建模分析方法的条件下,利用近红外光谱谱线特性作为参数,在大量样品近红外光谱采集和标准法测得浓度数据等工作前,对被测物质浓度的分析误差做大致估算。经过大量尝试和试验提出等效信噪比（ESNR）和谱线重叠系数（OC）两个重要参数,其中ESNR反映待测组分吸光度占总吸光度的比重,而OC则反映待测组分近红外光谱曲线间的重叠程度。通过理论仿真得到光谱分析中用经典的偏最小二乘回归建立定量分析模型时谱线特性与物质浓度分析误差的关系,分别计算ESNR和OC与被测组分浓度分析误差（RMSE）的关系,并且研究两个谱线参数的独立性。利用理论分析得到结果对浓度为8%~12%乙醇水溶液进行可测度分析,并与近红外光谱法分析的实际结果进行比较。研究通过理论仿真得到使用光谱分析中经典的偏最小二乘回归建立定量分析模型时谱线特性与物质浓度分析误差的关系,其中ESNR与RMSE成反比关系,而OC与被测组分分析误差成非线性的单调关系,并且验证了ESNR和OC两个参数的独立性。通过理论计算和乙醇水溶液近红外光谱检测实验对等效信噪比和谱线重叠系数与光谱分析浓度误差的定量关系进行讨论,通过理论分析得到的乙醇浓度RMSE预估值为0.30%,近红外光谱分析实际RMSE为0.32%,相对误差6.67%,二者结果相符。实现了在测量条件、样品种类、被测组分以及建模分析方法已知的条件下基于近红外光谱分析的待测组分含量理论误差的定量计算和实验验证。该研究明确了对近红外光谱法分析物质浓度有明确定量关系的两个谱线参数,给出了使用光谱分析中经典的偏最小二乘回归建立定量分析模型时的分析误差经验曲线,以及利用曲线进行近红外光谱法待测组分浓度可测度分析方法。结果表明所提出的ESNR和OC两个谱线特性参数的有效性,以及分析误差预估方法的有效性。为近红外光谱法待测组分浓度定量分析提供了有效、快捷的预估方法,完善了近红外光谱法成分含量可测度分析理论,对近红外光谱法物质浓度定量分析研究具有一定指导意义。     

光程对黄酒金属元素近红外透射光谱分析精度的影响

应用近红外透射光谱分析技术开展了不同光程对黄酒中金属元素(钾、钙、镁、锌和铁)分析结果影响的研究。实验采用傅里叶变换近红外光谱仪(800～2 500 nm)及不同光程(1,2,5,10 mm),石英比色皿以空气为参比进行了光谱采集,并采用偏最小二乘法进行了数据分析。金属含量采用原子吸收光谱分析法测定。分析结果表明, 5 mm光程的分析结果最优,对于钾、钙、镁、锌和铁的相关系数(r2)分别为0.93,0.85,0.93,0.72,0.66,交互验证误差(RMSECV)分别为26.5,35.6,4.63,0.26,0.64 mg·L-1;而10 mm光程的光谱分析结果最差,其r2分别为0.61,0.65,0.63,0.09,0.25。通过实验说明, 光程对近红外透射光谱分析的影响,不是光程越长或越短越好,需要通过测试及对比分析确定。     

近红外光谱结合人工神经网络分析蔗汁的锤度和旋光度

应用中波近红外(NIR)光谱结合误差反传人工神经网络(BP-ANN)方法,建立蔗汁锤度、旋光度的定量分析模型。光谱范围为1 000～1 800 nm,采用2 mm光程透射方式获得蔗汁吸光度光谱。对蔗汁的吸光度光谱进行Savitzky-Golay求导和均值中心化处理,然后通过相关系数法结合样品特征吸收优化建模波长范围,再采用PLS降维获取主成分并输入BP-ANN建立校正模型,用验证样品对校正模型进行验证。结果显示,BP-ANN法建立的锤度和旋光度的预测相关系数(R2)分别为0.982,0.979,预测标准偏差(SEP)分别为0.159和0.137,均优于偏最小二乘(PLS)建模方法结果,可较好地用于蔗汁锤度、旋光度的快速测定。     

栀子药材提取工艺的近红外光谱实时控制方法研究

提出了用近红外光谱技术实时控制中药提取工艺的新方法。采用光纤近红外光谱法分析不同工艺条件下的栀子药材提取液样本,通过SIMCA方法建立了工艺稳态监控模型,用于评价26个未知样本的工艺状态,成功地判别了其中的全部异常工艺样本。结果表明,近红外光谱结合SIMCA分析方法是一种快速、方便、有效的工艺监测手段,该方法无需对指标成分进行定量,即可通过样品整体近红外光谱监控其工艺是否正常,从而为中药提取工艺的实时控制提供了一条新的思路。