基于Elastic net主成分优选的近红外光谱定量分析模型

Elastic net是对最小二乘方法的一种改进,在最小二乘法的基础上增加了L1和L2惩罚,具有变量选择和模型可提高预测精度的良好性质。此研究以89个小麦样品为实验材料,通过Elastic net方法优选光谱主成分,建立近红外光谱与小麦中蛋白质含量之间的定量分析模型,考证了Elastic net优选主成分建立定量分析模型的可行性。实验中将89个小麦样品随机分成两组,60个样品做建模集,其余29个做预测集。60个样品所建模型预测29个样品的蛋白质含量,预测值和化学测量值间的相关系数(r)为0.9849,平均相对误差为2.48%。为进一步考察该方法建模的可行性和稳定性,对89个样品分别进行5次随机划分,60个样品做为建模集,29个样品做为预测集,5次建模所选光谱的主成分基本一致;同时与PCR和PLS方法作对比,结果显示5次所建模型的预测效果明显好于PCR,且与PLS方法相近。鉴于Elastic net具有变量选择的功能,且所建模型具有较好的预测效果,表明该方法是一种可行的建立化学计量学定量分析模型的方法。     

SVM回归法在近红外光谱定量分析中的应用研究

研究了基于统计学习理论的支持向量机（SVM）回归法在近红外光谱定量分析中的应用。以66个小麦样品为实验材料,由33个小麦样品作为校正样品,采用4种不同核函数方法对小麦样品蛋白质含量与小麦样品近红外光谱进行SVM回归建模。以所建4种不同SVM回归模型对33个小麦预测样品的蛋白质含量进行了预测;不同回归模型的预测结果与凯氏定氮法确定的蛋白质含量的标准化学值间的相关系数均在0．97以上,平均绝对误差小于0．32。为了考察SVM回归校正模型的预测效果,同所建PLS回归模型的预测结果进行了比较,表明所建预测小麦样品蛋白质含量的SVM回归模型亦可通过近红外光谱进行实际样品的定量分析,且有较好的分析效果。     

近红外光谱与烟草样品总糖含量的非线性模型研究

针对烟草样品的近红外 (NIR)光谱与其总糖含量非线性相关的特点 ,提出了一种混合算法用于建立近红外光谱的非线性模型。该算法结合了偏最小二乘法 (PartialLeastSquare ,PLS)算法和人工神经网络(ArtificialNeuralNetwork ,ANN) ,把模型分成两个部分 :线性部分与非线性部分 ,并分别进行建模。与传统的多元校正算法PLS ,主成分回归 (PrincipleComponentRegression ,PCR) ,非线性PLS(NonlinearPLS ,NPLS)等相比 ,该混合算法所建的非线性参数模型的预测结果有明显的改善 ,从而为建立非线性模型提供了一种快速、准确的算法 ,可用于烟草样品总糖含量的定量分析。     

一种葡萄糖发酵液中乙醇含量的拉曼光谱分析方法

拉曼光谱法可实现样品的快速定量分析,但发酵液等复杂体系中样品的拉曼强度与被测组分含量之间的良好线性关系难以直接得到。本实验中将待测样品与纯被测组分的拉曼光谱均视为向量,并按照向量点积公式计算向量之间的夹角。在被测组分的拉曼光谱特征峰波段,对多组样品在不同光谱区间的向量夹角矩阵和被测组分含量进行偏最小二乘回归,建立定量分析数学模型,从而以光谱向量之间的夹角作为定量指标实现葡萄糖发酵液中乙醇含量的快速测定。选取的主成分数为6时,所建模型校正集和预测集中预测值与实测值的线性相关系数分别为0.9993和0.9933;校正集均方根误差为0.2171。其建模所用样本数量少、对样品无损坏,方法适用于发酵在线监测和过程分析。     

一种改进的随机检验法用于主成分选择以避免光谱分析校正模型的过拟合或欠拟合

为了避免主成分个数选择不当引起的校正模型过拟合或欠拟合,提出了一种改进的随机检验法,应用该方法对样品复杂程度递增的三组近红外光谱数据进行了实验研究,并与交互验证法进行了比较,分析了模型复杂程度对光谱定量校正模型预测能力的影响,讨论了该方法对复杂样品的适用性问题。结果显示,该方法可避免交互验证法剔除样本的过程,考虑了全部训练样本的信息,可客观地选择主成分,有助于避免过拟合或欠拟合,提高校正模型的预测精度;该方法不同于一般随机检验法的统计检验过程,简化了判据,易实现,选择过程可视化、可交互;在三组实验中,分别选择4,5和8个主成分建模,其外部独立预测集的预测结果最优;该方法适用于小样本复杂样品建模。     

不同土壤类型的有机质含量的可见-近红外光谱检测模型传递方法研究

利用可见-近红外光谱分析技术可以准确快速的获取土壤养分含量,但不同类型土壤间养分含量校正模型的普适性是亟待解决的关键问题。为提高有机质含量光谱校正模型在多类型土壤之间的普适性和农田在线检测有机质含量速度,利用美国M107B区66个样品建立基于可见-近红外光谱的土壤有机质含量的粒子群-最小二乘支持向量机（PSO-LSSVM）校正模型,预测M107B区的23个验证集样品的决定系数R2=0.859,相对分析误差RPD=2.660;将M107B区89个土壤样品作为校正集建模后对N116B区20个验证集样品的有机质含量预测,预测R2=0.562,预测RPD=0.952,模型的预测R2和预测RPD分别降低34.6%和64.2%,表明M107B区土壤有机质含量的可见-近红外光谱校正模型直接用于N116B区时,预测精度显著降低;将N116B区部分土壤样品加入到M107B区样品集后重新建模,并预测N116B区20个验证集样品的有机质含量,当加入的N116B区土壤样品数量达到35以上,预测R2>0.80,预测RPD>2.0;加入到校正集的N116B区土壤样品数量从0增加到50,模型预测R2从0.562增加到0.811,预测RPD从0.952增加到2.274,精度逐渐提高。结果表明,在M107B区校正模型中加入N116B区部分土壤样品建模,能够有效提高M107B区土壤校正模型对N116B区土壤有机质含量的预测精度;加入的N116B区土壤样品数量达到50以上,模型预测性能趋于稳定,预测精度达到实用要求,成功将M107B区土壤有机质含量校正模型传递给N116B区土壤;优先选择与M107B区土壤样品的有机质含量或光谱曲线差异较大的N116B区土壤样品参与建模,可有效避免模型传递时模型性能出现突变。提出的方法能够有效提高M107B区土壤的有机质校正模型对N116B区土壤的预测精度,为基于可见-近红外光谱的农田土壤有机质含量实时检测提供一种新的经济可行的模型传递方法,为提高多类型土壤的有机质含量检测模型的普适性提供一种有效的解决方案。     

基于系统建模思想的脑心通胶囊中丹酚酸B近红外定量建模

近红外定量建模过程常以模型评价指标对样本集选择、光谱预处理方法、潜变量因子数、变量选择等参数进行逐步优选,然后采用优选参数建立模型,此建模过程并未充分考虑参数间的协同作用对模型的影响,导致模型的质量存在风险。系统建模思想将定量建模过程看作一个整体,将样本集选择、光谱预处理、变量筛选、校正等作为要素,基于要素间的关联性进行参数轨迹全局优化,优选出一组最佳建模参数来建立模型,从而保障模型质量。该研究基于系统建模思想开展了脑心通胶囊中丹酚酸B的近红外定量建模。采用高效液相色谱法对56份丹参样品中的丹酚酸B进行含量测定,同时采集其近红外光谱,采用D-最优设计样本集划分方法、光谱预处理方法、潜变量因子数及变量筛选方法作为自变量,以模型评价指标为因变量优选最佳建模参数轨迹并建立定量分析模型。结果表明,采用Kennard-Stone(K-S)算法从56份样本中选择3∶1的校正集样本、建模光谱波段为4 000～10 000 cm~(-1)、预处理方法为二阶求导和标准正则变量变换校正,潜变量因子数为7时所建立的定量分析模型效果最优。模型的校正标准偏差(RMSEC)、预测标准偏差(RMSEP)均为0.001 8,表明模型稳健且预测准确度高。校正决定系数(R~2_(cal))为0.994 0,预测决定系数(R~2_(pre))为0.995 2,相对分析误差(RPD)为9.19,表明模型可用于高质量的定量分析和预测。本研究基于系统建模思想,采用D-最优设计实现了建模参数轨迹全局优化,建立了丹酚酸B的定量分析模型并且显著提升了模型的稳健性和预测性,为高效、快速测定脑心通胶囊中丹酚酸B含量提供了方法,对脑心通胶囊中间体及成品的质量控制具有重要意义。     

近红外光谱法预测云南香料烟中总糖、还原糖和总氮

应用近红外光谱法预测云南香料烟的总糖、还原糖和总氮。250份样品作为建模样品,41份作为验证样品,结果表明:总糖、还原糖和总氮的近红外预测值与化学测定值之间的最大绝对误差分别为1.07%、0.90%、0.10%;两测定值配对t检验结果显示近红外光谱法(预测值)与行标法(实测值)之间差异不显著;从验证样品中选择一个样品,进行总糖、还原糖和总氮含量的重复性测定,RSD均小于1%,所建模型能进行香料烟中总糖、还原糖和总氮含量的快速测定并可作为实验室质量控制的一种方式。     

毛竹化学成分光谱分析的快速建模方法研究

研究了毛竹综纤维素和木质素含量近红外光谱定量分析方法的建立。选用不同竹龄、纵向和横向部位的54个竹材粉末样品,用湿化学方法测定其综纤维素和木质素含量。在综纤维素和木质素含量的分布范围内,从低值、中间值和高值中挑选11个代表性样品,11个样品按预定比例混合得到21个混合样品,混合样品的综纤维素和木质素含量计算得到,再挑选22个目标成分含量不同的样品组成54个样品的校正集。用偏最小二乘法分别建立样品综纤维素含量、木质素含量和近红外漫发射光谱之间的相关模型。结果表明,综纤维素含量的预测模型的相关系数(R_p)为0.92,标准偏差(SEP)为1.04％;木质素含量的预测模型的R_p为0.93,SEP为0.91％,与常规方法建立的模型预测精度相似。说明利用样品混合的方式可快速增加校正集样品的数量、改善校正集样品的分布状况,继而建立稳定可靠的近红外定量分析模型。     

傅里叶变换红外光谱的水泥生料在线分析

及时获取水泥原料中的关键成分的含量,对水泥产品的品质控制至关重要。而当前的主流分析方法需要现场人工采样和样品制备,存在时效性问题。利用傅里叶变换红外光谱技术对水泥生料样品中的Fe_2O_3, SiO_2, CaO, Al_2O_3四种关键氧化物成分的漫反射光谱进行了快速定量分析。首先探讨了傅里叶变换红外光谱技术检测水泥原料成分的理论基础。水泥原料是一种复杂混合体系,主要由铁质原料(如褐铁矿),硅质原料(如石英),钙质原料(如方解石)及铝质原料(如绿柱石)等矿物岩石组成。而这些矿物岩石在可见近红外光谱波段的特征谱带较宽,强度较低,且存在重叠的部分。因此,使用了多元校正进行定量分析。其次,设计并搭建了对应的实验系统进行水泥生料样品的成分含量分析。样品选用水泥厂家提供的60种关键成分含量各异的磨匀的水泥生料样品,成分覆盖了Fe_2O_3, SiO_2, CaO, Al_2O_3四种关键氧化物。使用搭建的实验平台采集样品的漫反射光谱。并使用了X射线荧光分析法方法测定样品中各氧化物成分含量作为参考值。之后,结合了偏最小二乘法建立了Fe_2O_3, SiO_2, CaO, Al_2O_3四种成分的定量分析模型。使用了Kennard-Stone算法将样品集按7∶3的比例分为校正集和预测集。PLS建模波段选择了4 000～5 000 cm~(-1)波数范围,总计包含520个谱元。建立了校正集中42个样品光谱与其Fe_2O_3, SiO_2, CaO, Al_2O_3成分含量的回归模型。依据交叉有效性因子Q■≥0.009 75的条件,选择了7个因子来建立最终的定量分析模型。在建立的Fe_2O_3, SiO_2, CaO, Al_2O_3四种氧化物的FTIR定量分析模型中,其校正的4种氧化物含量与X射线荧光分析法测量的含量之间的相关系数分别为98.49%, 98.03%, 98.18%, 99.24%,均方根误差分别为0.04, 0.22, 0.26, 0.08。模型的校正准确度比较高。最后使用该定量分析模型对预测集样品中的Fe_2O_3, SiO_2, CaO, Al_2O_3的含量进行预测,并与X射线荧光分析法测量的参考值进行比较。最终模型预测的相关系数分别为91.35%, 91.50%, 91.57%, 94.67%,预测的均方根误差分别为0.08, 0.45, 0.54, 0.26,表明了模型预测准确度较高。所建基于傅里叶变换红外光谱的定量分析模型为实现水泥生产控制中水泥原料成分的快速定量分析建立了基础。     

平均分布差异最小化的NIR标定迁移方法研究

凭借高效、无损和环保的优点,近红外光谱在多个领域广泛用作物质快速分析方法的同时,仍面临着光谱标定模型生命周期短,构建仪器标定迁移方法的标准样品难以获得和保存等问题。在化学计量学文献中,迁移方法通常能够矫正主从仪器之间的光谱差异,但绝大多数方法都需要在两台仪器相同条件下测量一组迁移标准样品。虽然样品数目不必过多,但总体上表明,必须对其进行很好的选择才能保证成功迁移。对于在主从仪器中选择代表性的样本子集,现有Kennard-Stone算法作为样本选择的主要算法。在标准样本的确定问题中,假设主仪器已找到标准样本,选择的样本集需要在从仪器中进行测量,仅当迁移样本足够稳定时才有可能,但现有近红外光谱技术无法保证这一点。如果假设使用从仪器的样本作为标准样本,考虑到新工业应用中光谱光源的变更,主仪器被从仪器代替,因此不再可用。基于目前存在的这些问题,提出了一种平均分布差异最小化的NIR标定迁移方法（MCT）, 此方法可以在不考虑从仪器标准样本（即标准样本自由）的情况下,针对近红外光谱数据的多重共线性,首先假设存在一个主从仪器光谱的共同偏最小二乘子空间,并将主从仪器光谱数据分别投影到该公共子空间;然后,引入平均分布差异最小化算法,即分别给出主从光谱数据在子空间的平均分布中心表示函数,在最小化两个光谱平均分布（中心点）的差异的同时,最大化投影后主仪器光谱的协方差,推导求解出最佳子空间;最后,将主光谱样本和从光谱预测样本分别投影到该偏最小二乘子空间中,利用主光谱数据得到回归模型,该模型可用于预测从光谱浓度。通过对玉米数据集和小麦数据集的测试研究,证明的预测效果与SBC,PDS,CCACT,TCR和MSC相比有所改善,该方法可以实现更低的预测误差。     

基于中温黑体的近红外光纤光谱仪辐射定标的方法研究

中温黑体是红外谱段常用的高精度辐射标尺设备,而近红外是处于其有效辐射范围边缘的谱段,所以该谱段的定标研究相对较少。研究了基于中温黑体的近红外光纤光谱仪辐射定标方法,主旨是探讨定标精度如何受定标模型的结构参数选择的影响,进而为近红外光谱辐射计量溯源提供技术参考。采用50～1 050 ℃的可调中温黑体对近红外光纤光谱仪(950～1 700 nm)进行辐射定标。针对定标的关键环节重点讨论了两个内容,首先是辐射传输模型的几何因子匹配问题,比较分析了传统的双圆盘辐射传输模型和光纤直接耦合模型。对于光纤光谱仪的辐射定标来讲,采用光纤直接耦合形式的辐射传输模型,结构上更简单,耦合效率更高。其次重点分析了辐射定标中模型的结构参数对定标精度的影响,其影响的原因是定标数据本身属性中的尺度结构特征,即通常所说的非线性问题。因此对于定标精度要求较高时,需要采用非线性定标模型进行校正,并尽可能保证测试点采样的尺度均衡,这是小样本数据解释非线性结构关系时无法回避的样本选择问题。数据分析结果表明,定标方程的不同结构参数的选择策略对定标精度有显著影响,校正方程的样本残差标准差带变化范围为±0.1%～±1%。     

局部建模方法用于烟草样品的近红外光谱定量分析

采用近红外光谱在主成分空间的距离作为样本相似性的判据,建立了一种用于近红外光谱定量分析的局部建模方法。该方法首先对校正集的光谱进行主成分分析(PCA),然后基于主成分空间中预测样本与校正集样本的距离选择校正子集并建立局部偏最小二乘(PLS)回归模型。对欧氏距离和马氏距离的比较表明,欧氏距离可以更好地表达样本之间的相似性。将所建立的方法用于烟草样品中氯和尼古丁含量的测定,结果表明局部建模方法比常用的全局建模方法具有更好的预测准确性,特别是在低含量成分的预测中具有明显优势。     

特征根回归法近红外光谱定量分析研究

本文以大豆样品为实验材料，研究了特征根回归法近红外光谱定量分析。用40个大豆样品的近红外光谱数据建立了测定大豆蛋白质含量的特征根回归模型，预测另外32个大豆样品的蛋白质含量，结果同PLS回归方法进行了比较，表明特征根回归模型可用于生物样品的近红外光谱定量分析。特征根回归法是对PCR建模方法改进的又一种化学计量学定量分析校正方法，该方法在对样品光谱提取主成份时考虑了待分析组分的作用，因此所建立的定量分析模型有好的分析效果。研究结果进一步表明，以样品近红外光谱建立定量分析模型，提取主成份时充分考虑被定量分析成份的作用是完全必要的。     

花生种子品质的可见-近红外光谱分析

利用600～1 100 nm波段研究花生品种的可见-近红外反射光谱,对选取的三种具有代表性的花生种子进行实验。使用近红外光纤光谱仪采集光谱数据,对原始光谱进行小波分析以提取光谱特征,再用主成分分析方法进行聚类分析,最后把每一个样品的前4个主成分得分作为识别模型的输入,品种类别作为模型的输出,以马氏距离作为判别函数,建立了线性判别分析模型。对于每个品种的50个样品,随机挑选30个样本作为训练集,剩余的20个样本作为预测集。该识别模型对3个花生品种的平均正确识别率为95%。表明该方法能有效的识别花生种子,得到较好的分类效果,为花生种子品质的区分和鉴别提供了一种新方法。     

应用可见-近红外光谱技术进行白醋品牌和pH值的快速检测

提出了一种基于可见-近红外透射光谱技术快速判别白醋品牌和测定pH值的方法。应用可见-近红外透射光谱获取不同品牌白醋的透射光谱曲线,并对获得的原始光谱数据进行平滑、变量标准化以及一阶导数等预处理,然后利用主成分分析对原始光谱数据进行聚类分析,根据主成分的累计贡献率选取主成分数,并将所选取的主成分作为三层BP神经网络的输入。通过定标集样本对BP神经网络进行训练,得到三层优化神经网络结构：5输入层节点,6隐含层节点和2输出层节点,各层传递函数均采用Sigmoid函数。利用该模型对预测集样本进行预测。实验结果表明在阈值设定为±0.1的情况下该模型对预测集样本品牌鉴别准确率达到了100%,pH预测值与实际测量值偏差小于5%,得到了理想的结果。所以利用可见-近红外光谱技术结合主成分分析和神经网络算法能够快速准确的判定白醋品牌和pH值。     

利用近红外光谱技术预测粗皮桉木材弹性模量

采用近红外光谱分析技术,对粗皮桉木材弹性模量进行了快速预测研究.使用快速傅里叶变换(FFT)分析法和常规力学测试方法测定了粗皮桉木材无疵小试样的弹性模量,并用近红外光谱仪采集试样径切面和弦切面的近红外漫反射光谱,对原始光谱进行二阶导数预处理,并选择410～2 480 nm光谱段建立回归模型.以2/3的试样作为校正集建立弹性模量的偏最小二乘法校正模型,以1/3/的试样作为预测集对模型进行验证.结果表明,粗皮桉木材的弹性模量与近红外光谱之间有较好的相关性,纵向弹性模量和抗弯弹性模量的预测模型的相关系数分别为0.93和0.81,相对分析误差分别为2.70和1.71.利用近红外光谱分析方法可以实现对粗皮桉木材无疵小试样弹性模量的快速预测.     

基于离散萤火虫算法的近红外波长优选方法研究

近红外光谱数据量大,需要进行压缩,以降低建立光谱校正模型的计算复杂度,提高模型精度和稳健性。为此,提出了一种基于离散萤火虫算法(discrete firefly algorithm)的近红外光谱波长变量筛选方法。首先采用蒙特卡罗方法剔除异常值,并应用Kennard-Stone法进行校正样本的选择。对通用萤火虫算法进行离散化处理,改进了吸引度的自适应公式,在移动公式中增加了牵引权重,以适应离散化处理的影响和优化算法,并在离散萤火虫算法中加入精英保留策略,加快算法的收敛速度。实验中找到DFA算法中的各项参数中的最佳值。通过离散萤火虫算法优选波长变量,建立发酵液中丁二酸含量的近红外光谱偏最小二乘回归(partial least squares regression)校正模型。与标准遗传算法(genetic algorithm)优选波长方法进行了比较。结果显示,基于离散萤火虫算法的波长优选方法所建立的PLS校正模型,其校正集的相关系数(R2_c)为0.986,RMSEC为0.409,预测集的相关系数(R2_p)为0.969,RMSEP为0.458,模型稳健性和精度都要优于全光谱建模以及遗传算法波长优选方法。显示了DFA在近红外光谱数据筛选方面的优越性。     

NIR光谱结合稳定等效MW-PLS方法用于高脂血症指标分析

基于稳定性、等效性对移动窗口偏最小二乘(MW-PLS)方法进行改进,应用于高脂血症指标总胆固醇(TC)、甘油三酯(TG)无试剂近红外光谱分析的波长优化。提出兼顾随机性、稳定性的定标、预测、检验框架。从全体人血清样品(阴性145、阳性158,共303)中,随机选取103个为检验集(阴性44、阳性59),余下为建模集(阴性101、阳性99,共200),再将建模集随机划分为定标集(阴性51、阳性49,共100)、预测集(阴性50、阳性50,共100)共50次;基于所有划分的平均预测效果优选模型参数,使得模型具有稳定性;采用样品优选的模型进行检验。TC,TG最优MW-PLS波段分别为1 556～1 852,1 542～1 866 nm;为了解决由于材料性能、成本的因素对仪器分光系统设计的制约,提出等效模型集,并得到TC和TG等效模型集的唯一公共波段1 542～1 852 nm。检验结果表明：采用最优MW-PLS波段,检验样品的TC和TG预测均方根误差(V_SEP)分别为0.177和0.100 mmol L-1、相关系数(V_R_P)分别为0.988和0.996,高脂血症的灵敏度、特异性分别为95.0%和90.5%;基于公共等效波段,TC和TG的V_SEP值分别为0.177和0.101 mmol·L-1、V_R_P值分别为0.988和0.996,灵敏度、特异性分别为92.7%和90.3%。结论：近红外光谱结合稳定等效MW-PLS方法提供了一种有潜力的大人群血脂检测工具。      

基于遗传算法的苹果糖度近红外光谱分析

遗传算法(GA)应用在偏最小二乘法(PLS)校正模型的波段优化选择中具有显著的效果。将遗传算法用于波段选择, 能更快达到最优解, 有效提高测量精度,减少建模所用变量。文章研究了在近红外苹果糖度无损检测中,遗传算法作为模块进行波段选择,建立了GA-PLS模型;为了说明遗传算法优选波段可行性,另外建立了全谱和经验谱区的PLS定量模型,并评价了模型的稳健性。首先对傅里叶变换近红外光谱进行多元散射校正、Savitky-Golay卷积平滑后,用遗传算法优选波段(R-SGA),参与建模数据点从原始1 550减少到434个。然后采用一阶导数光谱建立GA-PLS模型,相比全谱PLS(1 550个数据点)和经验谱区PLS(717个数据点)模型具有更高的预测精度,其建模结果为R_C=0.966,RMSEC=0.469,R_P=0.954,RMSEP=0.797。结果表明, 遗传算法可用于PLS法建立苹果糖度校正模型前的数据优化筛选, 有效提高测量精度, 并减少建模变量。