近红外水分稳健分析模型研究

样品水分含量差异对近红外光谱分析模型的稳健性影响最为严重。文章以全籽粒小麦蛋白质含量为研究对象,分析了光谱预处理、有效波数区间的选取和全局校正模型应用对建立近红外水分稳健分析模型的可行性。结果表明,仅通过光谱预处理方法不能减少样品水分差异对预测结果的影响;选择有效波数区间和建立全局校正模型对消除水分的影响均有效,建立全局校正模型的效果最佳。并从理论上初步分析了各种方法的作用机理。     

用多维校正法提高近红外牛奶成分校正模型稳健性的研究

乳品质量问题是制约乳品工业发展的瓶颈。近红外光谱技术以其快速、简便等优越性广泛应用于各个领域,在乳品检测中有巨大的应用潜力和前景。但样品温度对近红外分析模型的稳健性和检测结果会产生较大影响,为获得较好的分析准确度,文章提出了抑制温度影响的新方法——多维正交校正(NOSC)结合多维偏最小二乘(NPLS)法。它将温度作为建模元素组成含温度信息的三维光谱矩阵,先将三维光谱阵进行预处理,运用NOSC方法滤除无关信息的干扰,再采用NPLS方法建立牛奶成分与透射光谱的校正模型。文章在25,30,35和40 ℃四个温度点处做了研究,波长范围为1 100～1 700 nm。通过常规法和多维校正法来减小温度的影响。实验结果表明,常规法无法抑制温度的影响,而与其他方法相比,NOSC-NPLS法建立的校正模型具有更好的预测能力和稳健性,能更有效地消除温度的影响。     

应用数字傅里叶滤波方法提高近红外光谱多元校正模型稳健性的研究

在近红外光谱多元校正方法实际应用中,经常遇到这样的情况,近红外光谱校正模型仅适用于建模时的测量条件,而在测量条件稍有变化时就无法实现样品的准确预测。文章主要研究采用数字傅里叶滤波预处理方法提高近红外光谱多元校正模型稳健性。文章将数字傅里叶滤波预处理方法应用于葡萄糖水溶液的温度实验,实验1和实验2分别在恒温25 ℃和恒温30 ℃进行光谱测量;实验3在未控温的室内环境下进行光谱测量。采用实验1和实验2的样品作为训练集进行模型训练和优化,模型建立完毕之后,采用实验3的样品作为验证集进行模型预测能力评价。结果表明,如果训练集样品未经过预处理而直接建立偏最小二乘(PLS)多元校正模型,则验证集样品均方根预测误差(RMSEP)为664.47 mg·dL-1。而训练集和验证集样品经过傅里叶滤波预处理之后分别进行PLS建模和预测,验证集样品均方根预测误差(RMSEP)降低为58.43 mg·dL-1,样品预测值与参考值的相关性也得到提高。可见,采用数字傅里叶滤波预处理方法可以提高多元校正模型的稳健性。     

近红外光谱分析中的高斯过程回归方法

将高斯过程算法引入化学计量学领域,用于挖掘近红外光谱与被测物组分之间的复杂关系.为增加模型的稳健性,首先采用了蒙特卡罗交叉验证方法以去除异常样本,而后多元散射校正、平滑、导数等方法被用于模型的预处理.近红外光谱在经过无信息变量去除算法处理后,在保留有用信息的基础上大大缩减了波长点数,以这些特征波长点作为输入建立的分析模型更具有解释能力和稳健性.为验证算法的有效性,使用了一组公开的数据集,它包含了80个玉米样品的近红外光谱以及油、淀粉、蛋白质的含量值.GP回归算法被用于分析这三种组分的含量,所得模型的评价指标分别采用校正、校正集交叉验证均方根误差、预测均方根误差以及各自的相关系数.结果显示,模型的校正相关系数r达到0.99以上,预测时的相关系数r也在0.96以上,验证了该算法的有效性.     

波长漂移对近红外光谱PLSR分析模型的影响

在近红外光谱分析过程中,单台仪器在不同时间的波长变化及多台仪器间的波长一致与否会对化学计量学定标模型的校正及传递效果产生影响,上述问题可以统一为波长漂移对定标模型的影响。以分析小麦粉中粗蛋白含量为例,首先结合不同谱区光谱数据,利用偏最小二乘回归（PLSR）方法建立了两个定标模型。再由计算机生成不同类型、不同幅度的波长漂移信息,并叠加至验证集样品光谱中,使新光谱相对于定标集光谱产生波长漂移信息。通过考察原定标模型对新光谱的预测与校正情况,研究了波长漂移对PLSR定标模型的影响。结果表明：相对于定标集样品光谱,验证集光谱中无波长漂移信息时,模型的预测标准差（RMSEP）不超过0.3%,预测相关系数不小于0.98;验证集样品光谱在不同波长处的波长漂移信息为一恒定值时,模型的RMSEP会随波长漂移幅度的增大而增大,波长漂移量为-32 cm-1时对应RMSEP为3.69%,预测相关系数变化不大;当验证集样品光谱在不同波长处的波长漂移信息随机变化时,基于长波区光谱所得原始模型的预测结果几乎不受影响;当含有不同波长漂移信息的一系列样品光谱加入到定标集对长波区PLSR分析模型进行校正时,校正后模型的RMSEP为0.3%,几乎不受波长漂移信息的影响,但模型的回归因子数从3显著增大到8,其稳健性变弱;总的来说,当仪器存在波长漂移且幅度不大时,模型预测相关系数几乎不受影响,可通过对预测结果的校正来改善RMSEP,以保证分析结果的准确性。该研究为确定仪器设计参数及分析方法的操作规程,提高近红外光谱分析结果的可靠性提供了实验依据。     

基于CARS-MIV-SVR的库尔勒香梨可溶性固体含量预测方法

为了实现库尔勒香梨依据可溶性固体含量（SSC）分级定等和按质论价,推动采后处理向标准化、产业化方向健康发展,利用高光谱成像技术研究出了一种快速、有效、无损检测库尔勒香梨SSC的方法。以表面无损伤的157个库尔勒香梨作为研究样本,应用高光谱成像采集系统获取400~1 000 nm波长范围内高光谱图像并用ENVI5.3软件提取感兴趣区域（ROI）,获得高光谱数据。采用Kennard-Stone（KS）样本集划分方法将全部样本按照2∶1的比例划分为校正集（105）和预测集（52）。对比标准变量变换（SNV）、多元散射校正（MSC）、一阶导数（FD）和二阶导数（SD）等数据预处理方法对建模精度的影响,最终选用SNV方法对光谱曲线进行平滑去噪。该研究提出竞争性自适应重加权算法与平均影响值算法的组合算法（CARS-MIV）选择特征波长。在竞争性自适应重加权算法（CARS）方法中,建模样本由蒙特卡罗算法随机选择生成,变量回归系数会随之发生变化,因而回归系数的绝对值不能全面反映变量重要性,从而影响模型检测精度。为降低这种影响,应用平均影响值（MIV）算法对选出的自变量进行二次筛选,筛选出相关性较大的变量用以建模分析,并与CARS、连续投影算法（SPA）、蒙特卡罗无信息变量消除算法（MCUVE）等经典特征波长选择算法进行比较。最后分别以全波长（FS）光谱信息和四种特征波长选择方法得出的光谱信息作为输入矢量,应用支持向量回归（SVR）建立库尔勒香梨可溶性固体含量定量预测数学模型,以校正集相关系数（R_c）、校正集均方根误差（RMSEC）、预测集相关系数（R_p）和预测集均方根误差（RMSEP）四个参数来评估模型的预测精度。比较分析发现,CARS-MIV-SVR模型效果最佳,校正集相关系数（R_c）为0.985 94,预测集相关系数（R_p）达到0.946 31,校正集和预测集均方根误差分别为0.185 85和0.403 33。结果证明：CARS-MIV特征波长选择方法能够有效增强库尔勒香梨光谱数据特征波长选择的稳定性和精确性,提高模型的预测精度。利用高光谱技术结合CARS-MIV-SVR模型能够满足库尔勒香梨可溶性固体含量测定需求,实现库尔勒香梨的分级定等和按质论价。     

近红外漫反射光谱中散射对化学定量分析模型的影响

结合国内外研究发展现状,分析了近红外光谱分析与检测技术中影响模型稳健性及预测模型精度的原因,特别是散射的影响。阐述了近红外光与样品组织之间的相互作用机理,及近红外光谱法定量分析模型中散射对漫反射光的影响,总结了光学方法中光学特性参数(散射系数、吸收系数)的主要检测技术的研究进展。探讨了近红外光谱检测与分析技术为基础的定量模型中为改善、增强模型稳健性所用的方法及效果,如中心化、附加散射校正(MSC)等预处理算法;偏最小二乘法(PLS)、主成分回归方法(PCA)等不同的多元校正方法。采用现有的数据预处理方法,可以改善散射对模型的稳健性的影响,但要在浓度范围较大、样品物理状态复杂的情况下消除散射引起的模型预测误差仍需要探索新的方法。     

基于离散萤火虫算法的近红外波长优选方法研究

近红外光谱数据量大,需要进行压缩,以降低建立光谱校正模型的计算复杂度,提高模型精度和稳健性。为此,提出了一种基于离散萤火虫算法(discrete firefly algorithm)的近红外光谱波长变量筛选方法。首先采用蒙特卡罗方法剔除异常值,并应用Kennard-Stone法进行校正样本的选择。对通用萤火虫算法进行离散化处理,改进了吸引度的自适应公式,在移动公式中增加了牵引权重,以适应离散化处理的影响和优化算法,并在离散萤火虫算法中加入精英保留策略,加快算法的收敛速度。实验中找到DFA算法中的各项参数中的最佳值。通过离散萤火虫算法优选波长变量,建立发酵液中丁二酸含量的近红外光谱偏最小二乘回归(partial least squares regression)校正模型。与标准遗传算法(genetic algorithm)优选波长方法进行了比较。结果显示,基于离散萤火虫算法的波长优选方法所建立的PLS校正模型,其校正集的相关系数(R2_c)为0.986,RMSEC为0.409,预测集的相关系数(R2_p)为0.969,RMSEP为0.458,模型稳健性和精度都要优于全光谱建模以及遗传算法波长优选方法。显示了DFA在近红外光谱数据筛选方面的优越性。     

基于OSC-PLS算法对大麦蛋白质含量进行定量分析的研究

用色散扫描型仪器采集大麦样品的近红外光谱,扫描出的光谱携带了大量样品化学值信息,采用正交信号校正(OSC)预处理方法对这些原始光谱进行处理,剔除噪声等不相关因子以后建立偏最小二乘(PLS)近红外光谱分析模型(OSC-PLS),预测大麦蛋白质的含量,并与传统PLS建模方法进行对比。基于OSC-PLS算法的蛋白质含量近红外光谱分析模型的测定系数R2为0.901,检验集的化学值与模型预测值的相关系数r达到0.971 7,分析模型的预测标准偏差SD为0.545 0,相对标准偏差RSD为4.2%。结果表明,OSC-PLS回归方法能在较大程度上消除无关因素的影响,在简化模型的同时提高了模型的可解释性,能够建立准确的大麦蛋白质含量近红外预测模型,可代替经典分析方法,满足农产品快速分析的需要。     

高光谱成像技术结合化学计量学可视化花生中蛋白质含量分布

花生中蛋白质含量与分布能够显著影响花生制品品质。利用高光谱图像结合化学计量学研究可视化花生中蛋白质含量分布的可行性。从校正后的花生图像的感兴趣区域(region of interest, ROI)中提取光谱信息,通过传统化学方法测定蛋白质含量。比对了不同光谱预处理和回归算法,以二阶导数(the second derivative, 2nd-der)为最佳的光谱预处理方法,偏最小二乘法(partial least squares, PLS)为最佳的回归算法。基于预处理后的光谱和花生蛋白质的化学值,建立全波长PLS模型,全波长模型具有良好的性能(校正集相关系数为0.91,校正集标准偏差0.86;预测集相关系数为0.86,预测集标准偏差为0.69)。利用回归系数法(regression coefficient, RC)从全波长模型中选择14个特征波长,建立2nd-der-RC-PLS特征波长模型,模型性能(校正集相关系数为0.86,校正集标准偏差1.03;预测集相关系数为0.80,预测集标准偏差为0.77)与全波长模型相当。采用2nd-der-RC-PLS算法将花生高光谱图像转变成蛋白质含量分布图。成对t检验判断凯氏定氮法与高光谱法无显著性差异。结果表明结合化学计量学的高光谱成像技术为测定花生中蛋白质含量分布提供了一种高效非破坏性方法。     

小波多尺度正交校正在近红外牛奶成分测量中的应用

光谱分析中,干扰信号的存在直接影响所建分析模型的质量。基于信号和干扰的不同特性,提出了一种扣除背景和噪声干扰的新方法——小波多尺度正交校正(WMOSC)法。首先将原始光谱进行小波变换(DWT),消除噪声及背景信息,然后采用正交信号校正(OSC)滤除与待测组分浓度无关的全部信息。与单纯的小波变换及正交信号校正相比,WMOSC能有效地扣除背景和噪声干扰,使模型具有更强的抗干扰能力,提高了模型的预测精度。利用该方法对牛奶样品的近红外光谱进行处理,采用偏最小二乘法建立校正模型,其牛奶中脂肪、蛋白质和乳糖的预测均方根误差(RMSEP)分别为0.101 6%,0.087 1%和0.110 7%。实验结果表明该方法能有效地去除干扰,保留有用信息。     

基于近红外漫反射光谱的烃源岩生烃潜量的确定

对比了近红外光谱和中红外光谱对烃源岩样品生烃潜量的定量分析能力.由于近红外光谱受样品的颗粒度、密度、表面粗糙度等造成的光散射的影响更大,使得其漫反射光谱数据的信噪比很低,背景干扰很大,很难直接应用于定量分析.因此需要一种有效的方法对近红外漫反射数据进行预处理来消除散射的影响.本文对比了正交信号校正算法(OSC)及其两种...     

近红外光谱(NIRS)技术快速测定湖泊沉积物营养组分研究

湖泊沉积物保存了湖泊环境演化的重要信息,但目前还没有建立起快速、准确的湖泊沉积物营养组分组合分析方法。该文利用近红外光谱(NIRS)技术,采用一阶导数、小波滤噪、正交信号校正、小波滤噪+正交信号校正、一阶导数+正交信号校正、正交信号校正+小波压缩6种光谱预处理技术和偏最小二乘(PLS)法相结合在国内建立了NIR光谱测定湖泊沉积物柱芯样品中总碳(TC),总氨(TN),总有机碳(TOC)和总磷(TP)的校正模型,结果表明虽然NIR光谱校正模型对TOC的预测效果不理想,但一阶导数+正交信号校正光谱校正模型对TC和TN,正交信号校正光谱校正模型对TP的预测效果较好,预测相关系数分别为0.759 7(TC),0.865 0(TN)和0.811 2(TP),预测误差(RMSEP)分别为0.13%(TC),0.008 2%(TN)和0.012%(TP)。该研究对于推动我国湖泊沉积物的光谱学特性研究具有重要意义。     

PLS和SMLR建模方法在水蜜桃糖度无损检测中的比较研究

在实际应用中,一些实验条件往往不能严格控制而存在变化,从而影响近红外光谱检测模型的稳健性。文章以50个常温和50个冷藏后的奉化水蜜桃样品组成温度混合样品集,经光谱杠杆值和狄克松检验法进行异常光谱剔除后,采用偏最小二乘法(PLS)和逐步多元线性回归(SMLR)对水蜜桃糖度进行建模分析。PLS的建模结果：校正集相关系数R_C=0.965, 校正均方根标准误差RMSEC=0.301°Brix,交叉验证R_CV=0.812,交叉验证均方根标准误差RMSECV=0.67°Brix,标准偏差与交叉验证均方根标准误差的比值RPD=1.72;SMLR的建模结果：校正集R_C=0.929,RMSEC=0.424°Brix, 交叉验证R_CV=0.887, RMSECV=0.532°Brix, RPD=2.16。SMLR的预测结果要优于PLS的预测结果,在SMLR分析中,在3个不同的光谱区域4 290～7 817,7 817～10 725,4 290～10 725 cm-1的RPD值分别为1.97,1.89,2.16。试验结果表明,将不同温度条件下的样品组成温度混合样品集,用PLS和SMLR建立的模型具有较好的预测效果。     

基于近红外光谱法的沉积物间隙水化学组分快速测量

通过对巢湖柱状沉积物剖面间.隙水样品的近红外光谱(NIR)分析,采用OSC+WC和WC+OSC光谱预处理方法,结合偏最小二乘法(PLS)回归,建立了分层沉积物间隙水中TN,NH3-N,PO33-,TOC和SiO3的校正模型,该模型的TN,NH3-N,PO33-,TOC和SiO-3的预测值与实测值的校正相关系数分别为0....     

POSC-PLS方法及其在电子吸收光谱定量分析中的应用

针对光谱数据局部效应显著,变量个数多,彼此间常存在严重的复共线性,构建了一种基于分段正交信号校正(piecewise OSC)的偏最小二乘(PLS)回归,即POSC-PLS方法。它以近邻分段方式进行逐个波长点的正交信号校正,剔除光谱矩阵中所含的各种噪声信号,将去噪后的光谱矩阵作为新的自变量矩阵,再利用偏最小二乘方法建立校正模型。将该法应用于多环芳香烃电子吸收光谱的多组分定量关系建模,效果良好。所建模型的预报性能优于其他方法,而且模型所需PLS成分数减少,模型更简洁。     

基于UV-Vis检测养殖水体中化学需氧量含量研究

采用紫外可见光谱(UV-Vis)与极限学习机算法检测水体化学需氧量(chemical oxygen demand,COD)含量研究。采集135份水样进行紫外可见波段全光谱扫描,结合变量标准化(standard normal variate,SNV),多元散射校正(MSC)和一阶微分(1st D)对原始数据进行预处理,然后采用竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)、随机青蛙(Random frog)算法和遗传算法进行特征波长选择。基于全光谱建立了偏最小二乘回归(partial least squares,PLS)和基于特征波长建立了极限学习机算法(extreme learning machine,ELM)模型。结果表明：使用CARS提取的9个特征波长建立的ELM模型的预测效果最优,决定系数R2为0.82,预测均方根误差RMSEP为 14.48 mg·L-1,RPD值为2.34。说明使用CARS变量选择算法获取UV-Vis光谱特征波长,应用极限学习机建模,可以准确、快速的检测养殖水体中COD含量,为实现养殖水体COD的动态快速检测以及水体其他微量物质含量参数检测打下基础。     

小波包熵的复杂体系近红外光谱信息提取

有用信息提取是复杂体系近红外检测的重点和难点之一。由于复杂体系光谱中存在各种噪声、基线漂移、谱带重叠及复杂背景的干扰,常规方法不能准确地从光谱中获得有用信息。为此,将小波包变换(DWPT)和信息熵理论相结合--小波包熵(EWPIE)提取复杂体系光谱中的有用信息。思路是采用小波包变换对光谱信号进行多频带分解,根据有用信号与噪声的频带分布特点,基于信息熵理论滤除干扰的频率分量,采用正交校正法(OSC)剔除与被测组分无关的信息,然后对处理后的频率分量进行重构,从而实现复杂体系有用信息的准确提取。通过对复杂体系光谱数据建立多元校正模型来验证该方法的效果。采用牛奶的近红外光谱数据,以牛奶中脂肪和蛋白质浓度为研究对象,建立了偏最小二乘法(PLS)模型。结果显示,牛奶中脂肪和蛋白质的预测均方根误差(RMSEP)分别为0.132%和0.121%,与单纯的DWPT和OSC相比,EWPIE能够有效地提取有用信息,避免了无用信息的干扰,明显提高了模型的预测精度,对复杂体系的准确检测具有一定的理论意义和实际应用价值。     

基于可见-近红外光谱技术的水稻穗颈瘟染病程度分级方法研究

采用Vis-NIR技术对水稻穗颈瘟染病程度分级方法进行了研究。分别基于原始光谱,变量标准化(SNV)预处理后和多元散射校正(MSC)预处理后的光谱,应用无信息变量消除法(UVE)结合连续投影算法(SPA)对Vis-NIR光谱区进行有效波长的选择。选择后的波长作为输入变量建立最小二乘-支持向量机(LS-SVM)模型。结果表明SNV-UVE-SPA建立的LS-SVM模型预测效果最好。通过SNV-UVE-SPA从全波段600个波长中选择了6个最能够反应光谱信息的波长(459, 546, 569, 590, 775和981 nm)。SNV-UVE-SPA-LS-SVM组合模型对预测集样本预测得到的确定系数(R2_p),预测集的预测标准差(RMSEP)和剩余预测偏差(RPD)分别达到了0.979,0.507和6.580。结果表明,采用Vis-NIR光谱技术对水稻穗颈瘟染病程度进行分级是可行的。通过UVE-SPA得到的有效波长能够很好地代替全波长。