基于Adaptive Elastic Net方法的近红外光谱建模技术

当近红外光谱信息远远大于样本量时,对光谱信息进行自动变量选择进而建立光谱与微量成分含量之间的稀疏线性模型重要且具有挑战性。针对聚苯醚生产过程中微量成分邻甲酚难以测量的问题,将变量选择方法Adaptive Elastic Net用于建立近红外光谱与邻甲酚含量之间的定量校正模型,并将其模型性能与ElasticNet方法进行对比。在变量数目远远大于样本量的情形下,ElasticNet方法虽可以实现变量选择,但由于其系数估计不具备Oracle性质,使得模型的可解释性和预测精度受到影响,而Adaptive Elastic Net方法通过对L1惩罚项施加自适应权重从而很好的解决了上述问题并提高了模型性能。为了验证Adaptive Elastic Net方法的模型性能指标,用最终被选中的自变量数目来评价模型复杂度;利用复相关系数R2来评价模型的可解释性,利用平均相对预测误差MRPE(mean relative prediction error)和预测相关系数R_p来评价模型的预测精度。Elastic Net方法建立的模型性能指标为：NSIV=529,R2=0.96, MRPE=3.22％, R_p=0.97; Adaptive Elastic Net方法的性能指标为：NSIV=139, R2=0.99, MRPE=2.00％, R_p=0.99。结果表明：Adaptive Elastic Net所建立模型的性能指标优于Elastic Net方法,可以得到更加简单且具有较强可解释性和较高预测精度的稀疏线性模型。     

基于Elastic net主成分优选的近红外光谱定量分析模型

Elastic net是对最小二乘方法的一种改进,在最小二乘法的基础上增加了L1和L2惩罚,具有变量选择和模型可提高预测精度的良好性质。此研究以89个小麦样品为实验材料,通过Elastic net方法优选光谱主成分,建立近红外光谱与小麦中蛋白质含量之间的定量分析模型,考证了Elastic net优选主成分建立定量分析模型的可行性。实验中将89个小麦样品随机分成两组,60个样品做建模集,其余29个做预测集。60个样品所建模型预测29个样品的蛋白质含量,预测值和化学测量值间的相关系数(r)为0.9849,平均相对误差为2.48%。为进一步考察该方法建模的可行性和稳定性,对89个样品分别进行5次随机划分,60个样品做为建模集,29个样品做为预测集,5次建模所选光谱的主成分基本一致;同时与PCR和PLS方法作对比,结果显示5次所建模型的预测效果明显好于PCR,且与PLS方法相近。鉴于Elastic net具有变量选择的功能,且所建模型具有较好的预测效果,表明该方法是一种可行的建立化学计量学定量分析模型的方法。     

近红外光谱建模样本选择方法研究

针对小麦品种多分类问题,使用近红外光谱进行定性分析。建模样本增加能够使模型包含信息增多,但同时也会导致信息冗余,增加建模时间和存储空间,所以需要通过样本选择降低数据量。如果盲目选择必然会使信息丢失,模型效果将大打折扣,因此,在传统选择方法基础上,提出k近邻-密度样本选择方法。使用多天采集的小麦种子近红外漫反射光谱,在对其原始光谱进行预处理和特征提取后,分别使用随机抽样、k近邻和k近邻-密度三种方法进行建模样本选择,然后建立仿生模式识别模型和改进的仿生模式识别模型。实验结果显示,在建立的仿生模式识别模型中,使用k近邻-密度样本选择方法的模型识别效果优于另两种方法,且建模样本量大大降低;而在改进的仿生模式识别模型中,使用k近邻-密度样本选择方法识别效果明显优于随机抽样,略好于k近邻方法,但使用k近邻-密度方法所选择的样本数量远少于k近邻方法。结果证明k近邻-密度样本选择方法不仅能够大大降低建模样本量,而且保证了模型质量,对解决小麦品种多分类问题有明显效果。     

人参总皂甙近红外光谱及定标建模分析

采用近红外光谱分析技术对人参进行了光谱及定量分析。对人参的原始漫反射吸收光谱采用二阶导数、散射校正、相关分析等多种光谱解析手段,研究了人参中的主要成分总皂甙的光谱吸收特性,并结合偏最小二乘回归法对人参总皂甙进行了定标建模分析。分析结果精度高,定标标准差(RMSEC)为0.154％,相关系数为0.982 8。     

Lasso算法的油砂钠元素近红外建模

以油砂中钠元素为研究对象,首次应用近红外光谱,结合Lasso(least absolute shrinkage and selection operator)建模方法,建立了油砂金属钠含量的近红外光谱定量校正模型,并与传统的PLS建模方法进行比较。结果表明,两种方法建立的油砂金属钠含量校正模型都具有很高的精度,预测性能方面略有差异。在实验验证集与预测集中,PLS与Lasso算法的相关系数分别是：R_v=0.878 8,R_p=0.857 9和R_v=0.887 4,R_p=0.860 0。实验验证了使用近红外光谱快速测定油砂金属钠含量的有效性,并分析了PLS与Lasso算法的适用范围。     

基于Adaptive Elastic Net方法的近红外光谱建模技术（英文）

当近红外光谱信息远远大于样本量时,对光谱信息进行自动变量选择进而建立光谱与微量成分含量之间的稀疏线性模型重要且具有挑战性。针对聚苯醚生产过程中微量成分邻甲酚难以测量的问题,将变量选择方法 Adaptive Elastic Net用于建立近红外光谱与邻甲酚含量之间的定量校正模型,并将其模型性能与ElasticNet方法进行对比。在变量数目远远大于样本量的情形下,ElasticNet方法虽可以实现变量选择,但由于其系数估计不具备Oracle性质,使得模型的可解释性和预测精度受到影响,而Adaptive Elastic Net方法通过对L1惩罚项施加自适应权重从而很好的解决了上述问题并提高了模型性能。为了验证Adaptive Elastic Net方法的模型性能指标,用最终被选中的自变量数目来评价模型复杂度;利用复相关系数R~2来评价模型的可解释性,利用平均相对预测误差MRPE(mean relative prediction error)和预测相关系数Rp来评价模型的预测精度。Elastic Net方法建立的模型性能指标为:NSIV=529,R~2=0.96,MRPE=3.22%,Rp=0.97;Adaptive Elastic Net方法的性能指标为:NSIV=139,R~2=0.99,MRPE=2.00%,Rp=0.99。结果表明:Adaptive Elastic Net所建立模型的性能指标优于Elastic Net方法,可以得到更加简单且具有较强可解释性和较高预测精度的稀疏线性模型。     

CCD近红外光谱谱图预处理方法研究

研究讨论了多通道电荷偶合器件（ＣＣＤ）检测器测量的近红外光谱谱图预处理方法及处理参数对光谱信噪比及校正模型质量的影响。对７００～１ １００ｎｍ范围内采用２０４８像素ＣＣＤ测定的近红外光谱,为获得较高的信噪比建议平滑一阶微分处理的窗口参数为９,二阶微分的窗口参数为１９。     

近红外光谱技术在水果产业中的最新应用

综述了近红外光谱技术在水果产业中的最新应用,系统阐述了NIR在果树栽培调控、果实品质检测、果实贮藏三方面的最新研究进展,并对其发展前景提出了展望。     

现代近红外光谱技术及应用进展

简要介绍了现代近红外光谱的发展、技术特点和测量原理 ,对近年来近红外光谱仪器、化学计量学方法及软件和应用的进展情况及我们在这几个方面开展的工作进行了简要介绍     

NIR光谱的Isomap-PLS非线性建模方法

针对样品的近红外(NIR)光谱与其物理化学性质之间存在的非线性关系,提出了一种结合等距映射(Isomap)和偏最小二乘(PLS)的非线性建模新方法。Isomap是一种新的非线性降维方法,属于流形学习方法,能有效地发现高维数据中的本真低维结构。Isomap-PLS建模方法首先用Isomap对高维NIR光谱数据作非线性降维,再用PLS降维并建立校正模型。将Isomap-PLS建模方法分别应用于两个公开的NIR光谱标准数据集,并与PLS单独建模进行比较。结果表明,在两个数据集上,用Isomap-PLS方法建立的校正模型比单独用PLS算法建立的校正模型具有更小的交叉验证均方根误差(RMSECV);对某些性质数据,Isomap-PLS模型比PLS模型的RMSECV值要小2～5倍。因此,Isomap能够有效反映NIR光谱中存在的非线性结构,Isomap-PLS比PLS具有更好的建模与预测能力。     

木材不同切面的近红外光谱信息与密度快速预测

用近红外光谱对木材密度进行了研究。发现木材三个不同切面(横切面、径切面、弦切面)的近红外光谱有较大的差异;结合偏最小二乘法(PLS),根据三个切面采集到的光谱数据与木材密度建立了校正模型,横切面预测集的相关系数r为0.94,径切面和弦切面分别为0.85和0.81。结果表明,从横切面采集到的光谱建立的预测模型效果最好。用该模型对随机抽取、未参与建模的15个样品的密度进行了预测,r2=0.977, 标准偏差：STDEV=0.006。     

NIR光谱的LLE-PLS非线性建模方法及应用

传统的偏最小二乘(PLS)建模方法不能有效反映近红外(NIR)光谱与分析样本的物理化学性质之间存在的非线性关系。局部线性嵌入(LLE)是一种新的非线性降维方法,属于流形学习方法,它能有效地发现高维数据中的本真低维结构。结合LLE和PLS,提出一种近红外光谱非线性建模的新方法,并用于建立丹参多酚酸盐柱层析过程中丹酚酸B含量的回归校正模型。该方法首先用LLE对NIR光谱数据降维,再用PLS建立校正模型。结果表明,与多元散射校正、一阶导等预处理方法结合PLS建模比较,参数优化后的LLE-PLS方法能更准确地预测丹酚酸B的含量,其交叉验证均方根误差为0.128 mg·mL-1、决定系数为0.998 8。基于NIR光谱及LLE-PLS建模,可实现丹参多酚酸盐柱层析过程的在线检测。     

基于近红外光谱的腐乳白坯硬度检测研究

考察了硬度与腐乳白坯中水分含量和蛋白质含量的相关关系,探讨了利用近红外光谱技术检测白坯硬度的可行性。通过水分以及蛋白质的相关吸收峰建立预测白坯硬度的数学模型;在建模过程中重点讨论了多元散射校正(MSC)、一阶求导和波段选择等优化处理对建模的影响,利用偏最小二乘法得到的最优模型的建模相关系数r=0.935,建模标准差RMSEC＝0.019 3,预测标准差RMSEP=0.023 6,其分级正确率达到94.72%;利用主成分分析法结合判别分析法建立的定性判别模型,分级正确率也达到了90.12%。上述分级结果均好于感观评价的方法,表明近红外技术可以实现白坯硬度的快速无损检测。     

小波变换在近红外光谱分析中的应用进展

小波变换(WT)具有很好的时频分离特征,信息处理能力强,已广泛用于分析化学领域;本文就小波变换在近红外光谱领域的应用进行简述。小波变换用于近红外预处理,提取有用信息,消除背景干扰,可以提高近红外的分析精度和模型稳健性;用于数据压缩可以减少数据库存储空间,提高建模速度;小波系数用于模型传递,具有传递速度快,稳健性强,所需标样少等特点;小波变换可以与神经网络、遗传算法等结合,在近红外分析领域呈现出良好的发展前景。     

近红外光谱分析中的变量选择算法研究进展

随着人们对近红外光谱分析技术了解的深入,人们发现通过剔除近红外光谱中的冗余变量不仅可以简化近红外光谱分析模型,提高模型的可解读性,通常还可以提高模型的预测效果及稳健性。变量选择的有效性已经在各种近红外光谱应用体系中得到了广泛的验证,发展成为了近红外光谱分析建模过程中一个越来越重要的步骤。为此,化学计量学家们近些年来开发了大量原理不同的新型变量选择算法,基于各种原理的衍生算法也层出不穷。为了让近红外光谱分析研究人员能够较为迅速地对这些算法的特点有所认识,对目前常见的各种变量选择算法的算法原理和优缺点进行了梳理。根据各种算法依据的原理不同,将目前近红外光谱领域常见的变量选择算法大致分为基于偏最小二乘模型参数,基于智能优化算法,基于连续投影策略,基于模型集群分析策略和基于变量区间等五类。在梳理的过程中,我们发现变量选择算法的发展趋势目前主要集中在以下两点：第一,算法的复杂程度不断提高;第二,不同变量选择算法之间的联用开始逐渐增多。此外,作者结合自身在应用变量选择算法时的体会和思考,还总结了变量选择算法在应用层面上存在的一些问题。例如光谱预处理方法对变量选择算法使用效果的影响,以及部分算法存在的稳定性较差,选择变量的可靠性存疑等。     

红木的近红外光谱分析

红木珍贵、种类多,大多数人对红木种类及真伪难以或无法鉴别。利用近红外光谱技术对国家标准中八类红木的近红外光谱进行分析,研究结果表明:(1)近红外光谱与红木色度学参数(L*,a*和b*)之间存在非常高的相关性,预测值与实测红木L*,a*和b*值的相关性分别达到0.988,0.991和0.993;(2)利用化学计量学中的主成分分析(PCA)方法可以将八类红木清楚地区分成八个相应的类别,利用三个主成份信息绘制的三维PCA得分图比二维图更能直观地展现八类红木的区别。研究结果说明应用近红外光谱技术识别红木类别具有可行性,这为开发红木的鉴定或识别提供新的方法和研究思路。     

近红外光谱用于盐酸左氧氟沙星针剂的定量分析

目前常用的盐酸左氧氟沙星注射液含量的测定方法是高效液相色谱法,但此法不能应用于在线分析。文章利用近红外光谱分析技术分别与偏最小二乘(PLS)以及人工神经网络(ANN)的方法相结合,对同一厂家的35个不同批号的针剂样品分别建立了定量校正模型,并对随机抽取的12个样品进行了预测。首先,利用PLS的方法建立模型,得出模型的决定系数 (R2)和预测集样本的标准偏差(RMSEP)分别为0.964和0.242 8,同时利用小波变换技术对光谱变量进行了高效的压缩,并利用了前馈神经网络建立了盐酸左氧氟沙星针剂的定量分析模型, 利用该模型所得的R2和RMSEP分别为0.944和0.572 2。文章详细比较了两种方法的建模过程,相关参数选取的优化方法,实验结果令人满意,从比较结果来看,PLS方法略优于ANN方法,可以快速准确的给出该针剂的含量,具有无损,简单,快捷的特点,为近红外光谱技术应用于针剂的定量检测提供了一个新的有效方法。     

近红外光谱在线测量技术在聚合物加工中的应用研究进展

聚合物材料制品的性能与成型加工过程有着密切的联系,因此在线监控加工过程中材料的状态至关重要。根据在线监控实时反馈的数据,能够实现加工工艺参数的及时调整,确保生产过程的稳定性,从而保证产品质量、减少能源浪费、提高生产效益。近红外光谱在线测量技术是一种成本低、实时性强,可以准确定量分析的技术,已在很多生产领域得到了应用,然而在聚合物加工领域仍处于研究阶段。本文从测量聚合物中的组分含量、熔融指数、熔体密度、填充物的分散性四个方面概述了近红外光谱在线测量技术在聚合物加工中的应用研究进展,指出了近红外光谱在线测量技术尚存在的问题,给出了几点建议,最后对近红外光谱在线测量技术未来的发展进行了展望。指出在未来几十年里,随着光纤光谱仪器科学、计算机科学以及化学计量学方法的发展,近红外光谱在线测量技术在原始数据稳定性、预处理方法、建模方法及模型的稳健性与准确性上将会有长足的进步,将会在更多的领域推广应用,产生巨大的经济与环保价值。