多元散射校正技术用于近红外定标波长组合的优选研究

在近红外光谱定量分析技术中,多元散射校正(MSC)算法可以有效地剔除由于样品颗粒度、装填密度、湿度等物理因素所导致的散射影响,有效地提高了光谱的信噪比。相关光谱法反映了样品待测成分光谱信息和浓度信息之间的线性相关性,在定标波长优选过程中发挥了重要作用。然而采用单一波长通道一元线性回归计算得到的相关光谱极易受到散射的影响,掩盖了待测成分的特征线性信息,将多元散射校正技术用于相关光谱的信息提取和噪声压制,克服了上述的困难, 并通过人参样品的定标实验验证,得到了良好的效果和满意的定标结果。     

近红外光谱谱线特性对物质浓度分析误差影响的研究

为解决近红外光谱法分析物质浓度过程中缺乏可测度分析而导致测量过程存在一定盲目性问题,研究在已知测量条件、样品种类、被测组分以及建模分析方法的条件下,利用近红外光谱谱线特性作为参数,在大量样品近红外光谱采集和标准法测得浓度数据等工作前,对被测物质浓度的分析误差做大致估算。经过大量尝试和试验提出等效信噪比（ESNR）和谱线重叠系数（OC）两个重要参数,其中ESNR反映待测组分吸光度占总吸光度的比重,而OC则反映待测组分近红外光谱曲线间的重叠程度。通过理论仿真得到光谱分析中用经典的偏最小二乘回归建立定量分析模型时谱线特性与物质浓度分析误差的关系,分别计算ESNR和OC与被测组分浓度分析误差（RMSE）的关系,并且研究两个谱线参数的独立性。利用理论分析得到结果对浓度为8%~12%乙醇水溶液进行可测度分析,并与近红外光谱法分析的实际结果进行比较。研究通过理论仿真得到使用光谱分析中经典的偏最小二乘回归建立定量分析模型时谱线特性与物质浓度分析误差的关系,其中ESNR与RMSE成反比关系,而OC与被测组分分析误差成非线性的单调关系,并且验证了ESNR和OC两个参数的独立性。通过理论计算和乙醇水溶液近红外光谱检测实验对等效信噪比和谱线重叠系数与光谱分析浓度误差的定量关系进行讨论,通过理论分析得到的乙醇浓度RMSE预估值为0.30%,近红外光谱分析实际RMSE为0.32%,相对误差6.67%,二者结果相符。实现了在测量条件、样品种类、被测组分以及建模分析方法已知的条件下基于近红外光谱分析的待测组分含量理论误差的定量计算和实验验证。该研究明确了对近红外光谱法分析物质浓度有明确定量关系的两个谱线参数,给出了使用光谱分析中经典的偏最小二乘回归建立定量分析模型时的分析误差经验曲线,以及利用曲线进行近红外光谱法待测组分浓度可测度分析方法。结果表明所提出的ESNR和OC两个谱线特性参数的有效性,以及分析误差预估方法的有效性。为近红外光谱法待测组分浓度定量分析提供了有效、快捷的预估方法,完善了近红外光谱法成分含量可测度分析理论,对近红外光谱法物质浓度定量分析研究具有一定指导意义。     

近红外漫反射光谱中散射对化学定量分析模型的影响

结合国内外研究发展现状,分析了近红外光谱分析与检测技术中影响模型稳健性及预测模型精度的原因,特别是散射的影响。阐述了近红外光与样品组织之间的相互作用机理,及近红外光谱法定量分析模型中散射对漫反射光的影响,总结了光学方法中光学特性参数(散射系数、吸收系数)的主要检测技术的研究进展。探讨了近红外光谱检测与分析技术为基础的定量模型中为改善、增强模型稳健性所用的方法及效果,如中心化、附加散射校正(MSC)等预处理算法;偏最小二乘法(PLS)、主成分回归方法(PCA)等不同的多元校正方法。采用现有的数据预处理方法,可以改善散射对模型的稳健性的影响,但要在浓度范围较大、样品物理状态复杂的情况下消除散射引起的模型预测误差仍需要探索新的方法。     

响应量转换近红外检测技术在强散射介质中的应用研究

在近红外光谱定量分析中,由于散射作用的存在使得光谱变化复杂,从而导致校正模型的预测精度较低。消除散射干扰是提高测量精度的有效处理手段之一。为了消除散射对测量结果的影响,文章提出了响应量转换法,即根据被测介质在空间不同位置的光强随被测物浓度的变化率,通过逆倍增模型推出被测介质的吸收系数作为新的响应变量,从而建立校正模型。以牛奶样品为例,分析了脂肪和蛋白质浓度与吸收系数之间的关系,利用蒙特卡罗模拟研究了散射对近红外牛奶成分测量结果的影响,并通过传统预处理方法和响应量转换法进行散射干扰的消除。实验结果表明,响应量转换法能够有效消除散射干扰,与传统MSC和SNV预处理方法相比,脂肪预测精度分别提高了33.9%和55.9%,蛋白质预测精度分别提高了46.5%和33.7%。     

净信号的局部建模算法及其在近红外光谱分析中的应用

提出了一种基于净信号分析的局部建模算法,以克服光谱定量分析中样本间差异性过大和样本待测性质与光谱之间存在非线性等问题。首先利用净信号分析方法得到校正样本和待测样本的净信号,然后用待测样本净信号和校正样本净信号之间的欧式距离作为样本相似性判据,选取一定数量的与待测样本最相似的校正样本组成局部校正子集,建立局部PLS回归模型。针对一组猪肉近红外光谱数据集的实验结果表明,该方法的预测精度显著优于全局建模方法和基于光谱欧式距离的局部建模方法。     

一种植物叶片生化成分光谱无损检测的光程长校正方法

利用可见/近红外光谱分析技术定量分析叶片生化参数含量时,由光散射效应和叶片厚度等引起的样本间光程长差异会影响校正模型的预测精度。文章提出了一种改进的扩展多元散射校正(EMSC)光程长方法,利用差谱矩阵的主成分代替物质纯谱,对实测光谱精确建模,根据实际需要,减去相应干扰因子,得到校正光谱。选择叶绿素含量基本相同,厚度不同的16个叶片样本以及叶绿素含量和厚度均不同的32个样本分别使用改进的EMSC方法校正,对处理前后光谱变异系数和主成分贡献率进行比较和分析,并比较了预处理前后的模型预测精度。结果表明,采用改进的EMSC预处理方法能够有效地校正光散射效应和叶片厚度差异导致的光程长差异引起的光谱误差,增强光谱数据对浓度的灵敏度,可提高预测模型的精度。     

基于近红外漫反射光谱的烃源岩生烃潜量的确定

对比了近红外光谱和中红外光谱对烃源岩样品生烃潜量的定量分析能力.由于近红外光谱受样品的颗粒度、密度、表面粗糙度等造成的光散射的影响更大,使得其漫反射光谱数据的信噪比很低,背景干扰很大,很难直接应用于定量分析.因此需要一种有效的方法对近红外漫反射数据进行预处理来消除散射的影响.本文对比了正交信号校正算法(OSC)及其两种...     

多元散射校正在荧光谱分析中的应用研究

针对废水中氨基酸荧光分析过程中光谱数据去噪声处理过程,提出了基于多元散射校正思想建立相对荧光强度与浓度关系模型的方法,建立了荧光测量中多波段波谱系列线性模型。研究结果表明,实验数据进行线性拟合,色氨酸呈现出良好线性关系,通过多元散射校正方法进行光谱数据处理,有效降低了散射及测量环境噪声的影响,提高了光谱数据的信噪比,校正后数据更加准确的表征了色氨酸相对荧光强度与浓度数据之间的线性相关性。建立的多波段波谱系列线性模型为现场检测仪器研制过程中滤波片的选择及混合溶液的在线解析提供了理论依据。     

两种近红外光谱仪的番茄可溶性固形物含量定量模型比较研究

以番茄可溶性固形物含量(SSC)的无损速测为例,分别采用线性渐变分光(LVF)、数字光处理(DLP)近红外光谱仪对大、小番茄采集近红外光谱数据;分别基于两种近红外光谱仪数据计算大、小番茄平均光谱及差谱,并比较两种近红外光谱仪所采集大、小番茄近红外光谱数据的特征;对两种近红外光谱仪的数据分别进行主成分分析(PCA),并比较了大、小番茄前3主成分的得分分布;按SSC梯度对数据进行分级,采用偏最小二乘(PLS)回归结合全交互验证算法分别基于两种近红外光谱仪数据建立番茄SSC定量校正模型。结果表明：(1)大、小番茄LVF近红外光谱的平均光谱及其差谱的光谱特征分别与DLP近红外光谱的平均光谱及其差谱的光谱特征相似。(2)大、小番茄LVF近红外光谱数据PCA前3主成分得分散点分离趋势不明显,而DLP近红外光谱数据PCA前3主成分得分散点基本上不具有分离趋势。(3)基于LVF近红外光谱数据所建各模型的相对预测性能(RPD)皆不低于2.11,其中标准化预处理所建模型具有最佳性能,模型维数(N_f)、校正测定系数(R_C²)、校正均方根误差(...     

小波变换提高动态光谱法血液成分无创检测的精度

光谱采集过程中的各种时变噪声影响了动态光谱法血液成分无创检测定量校正模型的精度。该文采用小波变换法,在脉搏频段内对指端投射光谱的时域吸光度波形聚焦,提高了动态光谱数据的信噪比和血液成分含量定量校正模型的精度。对同一个体连续采集10次光谱数据,引入小波变换去噪后动态光谱数据的平均相关系数r自0.979 6提升至0.990 3。对110名志愿者进行血常规体检和指端透射光谱采集,建立动态光谱数据与血糖浓度生化分析值之间的神经网络模型,在引入小波变换去噪后,预测集相关系数自0.6774提升至0.846 8,平均相对误差自15.8%下降至5.3%。实验表明,引入小波变换可以有效地去除动态光谱数据中的噪声,提高定量校正模型的精度,推动了动态光谱法无创血液成分检测的发展。     

利用多元散射校正提高油菜籽脂肪酸近红外分析精度

近红外光谱技术可对完整油菜籽进行快速无损检测分析,但因受样品装填密度、颗粒大小及分布不均匀等物理因素的影响,光谱测量散射误差较大.本文利用MSC技术、相关分析和微分预处理光谱数据,结合PLS回归建模和交叉验证方法,建立了油菜籽脂肪酸近红外光谱分析模型.研究表明,MSC校正和其它光谱预处理方法相结合显著地提高了模型的分析精度,减少了模型的PLS主因子数.     

基于可见近红外光谱分析技术的马铃薯品种鉴别方法

基于可见-近红外光谱分析技术,提出了一种快速鉴别马铃薯品种的方法。以三种不同品种共计352个样本的马铃薯作为主要研究对象,随机将其分为建模集(307个样本)和预测集(45个样本)。对其中的建模集样品进行可见-近红外光谱分析,将获取的光谱图像通过多元散射校正(MSC)和窗口大小为9的Savitzky-Golay(S-G)一阶卷积求导方法预处理,消除颗粒大小、表面散射及光程变化对漫反射光谱影响,降低原始光谱曲线的随机噪声影响。然后用偏最小二乘法(PLS)对数据进行降维、压缩,使用主成分分析方法(PCA)获得的前4个主成分累计贡献率达到96%以上,并从前4个主成分图谱中提取20个吸收峰作为输入变量,经过试验,得到一个20(输入)-12(隐含)-3(输出)结构的3层BP神经网络。最后利用该模型对预测集样本进行品种鉴别,识别正确率达到100%。此方法能较为快速、准确地鉴别马铃薯的品种,为马铃薯品质检测与鉴别提供了新思路。     

近红外光谱分析技术在茶叶鉴别中的应用研究

茶叶快速准确鉴别方法研究是当前茶叶行业亟待解决的一个重要课题。该研究采用近红外光谱结合主成分-马氏距离模式识别方法鉴别了龙井、碧螺春、毛峰和铁观音4种中国名茶。研究结果表明,在6 500～5 300 cm-1波数范围内的光谱,通过MSC预处理方法,用8个主成分建立的模型最好,模型对校正集样本和预测集样本的鉴别率分别达到98.75%和95%。该研究为快速准确鉴别茶叶提供了一种新思路。     

茶多酚中咖啡因的近红外光谱分析

采用近红外光谱分析技术对茶多酚中咖啡因进行了光谱及定量分析,原始光谱表明咖啡因在近红外波段有着很强且较为明显的吸收峰。通过对样品的漫反射原始吸光度光谱进行导数、散射校正及相关分析更清晰地给出了咖啡因在近红外光谱波段的光谱特性,为建立快速稳健的定标模型创造了条件。该技术能够解析出咖啡因中各主要基团在近红外波段的吸收特性,结合定标过程定量快速检测咖啡因在茶多酚中的含量,定标分析结果显示在很大的浓度范围内有很好的线性相关性,定标标准差SEC为0．49％,相关系数（r）为0．993,证实了近红外光谱分析技术作为一种新的快速分析茶多酚中咖啡因含量手段的可行性及优越性。     

近红外光谱技术鉴别花椒产地

采集四川、重庆、云南、贵州、陕西五省市8个不同产地205个花椒样品的近红外光谱,使用主成分分析(principal component analysis, PCA)、判别偏最小二乘法(discriminant partial least squares, DPLS)分析了花椒产地的分类鉴别。结果表明：在12 500～3 800 cm-1波数范围内,采用不同的光谱预处理方法可以建立较为稳健的DPLS模式识别模型,对不同产地的花椒有较好的分类鉴别。其校正集交叉验证除了经一阶微分预处理的模型识别率为99.39%外,其他预处理方法识别率均为100%,独立验证集总体识别正确率在85.37%~97.56%之间,其中经标准正态变量变换(standard normal variate, SNV)、多元散射校正(multiplicative scatter correction, MSC)预处理后的DPLS判别模型效果最好,误判数仅分别为1个,表示该方法在花椒产地识别中具有可行性。     

红外光谱法与荧光光谱成像技术结合神经网络对正毛化橘红的快速鉴别

为探究一种快速、可靠的化橘红检测方法,本实验分别采用傅里叶变换衰减全反射红外光谱法和荧光光谱成像技术结合多层感知器(MLP)神经网络所构建的模式识别方法,对化橘红进行鉴别,并对两种方法进行了比较。实验以81个正毛化橘红,37个其他品种橘红共118个样品为研究对象,采集所有样品的红外光谱和荧光光谱图像。根据光谱曲线中不同样品间的差异,取红外光谱中550-1800 cm-1区段范围内的光谱数据和荧光光谱曲线中的400～720 nm区段的光谱数据进行分析,应用主成分分析法(PCA)对化橘红的光谱数据进行降维处理,再结合MLP神经网络对化橘红样品进行判别分析。实验中分别使用多元散射校正(MSC)、标准正态变量校正(SNV)、一阶导(FD)、二阶导(SD)以及Savitzky-Golay(SG)平滑数据预处理方法,并比较他们对鉴别模型的影响。分析结果表明：利用红外光谱法(FTIR/ATR),经由Savitzky-Golay(SG)平滑预处理得到的数据,通过隐层函数为sigmoid的三层MLP模型,能够得到最优正毛化橘红识别率,其结果训练集和测试集的识别率都为100%;利用荧光光谱成像技术,由多元散射(MSC)预处理的结果是最理想的。经过预处理的数据,通过隐层函数为sigmoid函数的三层MLP模型,训练集识别率达到100%,测试集识别率达到96.7%。由此可见,衰减全反射红外光谱法(FTIR/ATR)和荧光光谱成像技术分别与MLP神经网络构建的识别模式,均可对化橘红的判别达到快速、可靠的效果。     

波长优选对土壤有机质含量可见光/近红外光谱模型的优化

可见光/近红外光谱模型是土壤属性预测的有效工具。波长优选在光谱建模过程中起着重要作用。文中首先利用从安徽省涡阳县采集的130个砂姜黑土土壤样本获得可见光/近红外光谱,然后利用平滑与多重散射校正联合的光谱预处理方式消除光谱中的无关变量和冗余信息以提高模型预测结果的相关性,再利用SPXY方法挑选建模集样本,分别利用连续投影算法和遗传算法进行波长优选,最后利用留一法进行交互验证建立有机质含量的主成分回归模型。研究结果显示：连续投影算法和遗传算法都可以有效地减少参与建模的波长数并提高模型的准确度,尤其是遗传算法能够更好地提高土壤有机质含量预测精度,其相关系数、预测均方根误差和相对分析误差分别达到0.9316,0.2142和2.3195。通过合适的特征波长选取,不仅计算量可以大大减少,预测精度也会有效提高。     

基于可见-近红外光谱技术的水稻穗颈瘟染病程度分级方法研究

采用Vis-NIR技术对水稻穗颈瘟染病程度分级方法进行了研究。分别基于原始光谱,变量标准化(SNV)预处理后和多元散射校正(MSC)预处理后的光谱,应用无信息变量消除法(UVE)结合连续投影算法(SPA)对Vis-NIR光谱区进行有效波长的选择。选择后的波长作为输入变量建立最小二乘-支持向量机(LS-SVM)模型。结果表明SNV-UVE-SPA建立的LS-SVM模型预测效果最好。通过SNV-UVE-SPA从全波段600个波长中选择了6个最能够反应光谱信息的波长(459, 546, 569, 590, 775和981 nm)。SNV-UVE-SPA-LS-SVM组合模型对预测集样本预测得到的确定系数(R2_p),预测集的预测标准差(RMSEP)和剩余预测偏差(RPD)分别达到了0.979,0.507和6.580。结果表明,采用Vis-NIR光谱技术对水稻穗颈瘟染病程度进行分级是可行的。通过UVE-SPA得到的有效波长能够很好地代替全波长。     

南疆沙尘区骏枣叶片水分含量检测的近红外光谱预处理方法对比

南疆地区沙尘多、灰尘大,枣树叶片表面经常覆盖一定程度的粗颗粒度沙尘,为了有效去除沙尘、灰尘在枣树叶片水分光谱测量过程中产生的散射噪声和基线漂移,研究一种适用于风沙较大地区的枣树叶片水分含量的快速检测方法,以不同灌溉梯度下的枣树叶片为研究对象,通过近红外光谱仪获取120个叶片样本的1 000～1 800 nm的光谱数据,并同步测量叶片水分含量,采用归一化、移动窗口平滑、SavitZky-Golay（SG）卷积平滑、SG求导、标准正态变量校正(SNV)和多元散射校正(MSC)等方法对原始光谱进行预处理,分析对比不同方法对散射噪声的处理能力,采用偏最小二乘回归分析方法筛选了敏感波段和建立预测模型。实验结果表明,枣树叶片水分含量强吸收峰为1 443 nm,波谷为1 661 nm;归一化光谱并未消除1 000～1 400 nm波段的散射噪声;移动窗口平滑和SG卷积平滑并未改进光谱曲线,散射噪声仍然存在;SG导数光谱的光谱特征峰和特征谷明显左移,光谱曲线不够平滑,噪声明显;SNV和MSC方法具有较好的散射噪声消除能力。偏最小回归分析方法筛选特征波长的结果表明（设置筛选波长数量为5）,基于原始光谱未筛选到1 443 nm的强波峰和1 661 nm的波谷附近的波段;基于归一化光谱在1 450 nm波峰附近筛选的波长有一定的偏差,在1 661 nm波谷附近的筛选的波长明显高于1 700 nm;基于移动窗口和SG卷积平滑光谱在1 443 nm具有一定的筛选能力,但并未筛选到1 661 nm附近的波长;导数光谱并未筛选到1 443和1 661 nm波段;SNV和MSC在波峰和波谷位置附近均筛选了敏感的光谱波段,其中MSC略优于SNV方法恰好在波峰和波谷位置,共筛选了1 002, 1 383, 1 411, 1 443和1 661 nm五个特征波段,也证明了MSC方法散射噪声和基线漂移处理能力最优,提高了敏感波长的筛选能力。偏最小二乘回归模型结果表明,不同预处理方法的RMSE值均较低,SNV和MSC方法改进了模型的预测结果,R2高于0.7,其中基于MSC方法的模型具有最高的R2和最低的RMSEP和RMSEPCV,R2=0.750 4,RMSEP=0.034 3,RMSECV=0.021 5,预测结果较优。证明MSC方法对沙尘和颗粒度引入的散射噪声具有较好的去除能力,可改进波长的筛选、提高预测模型精度,为南疆沙尘区的枣树叶片水分含量的无损检测提供了有效方法。