南疆沙尘区骏枣叶片水分含量检测的近红外光谱预处理方法对比

南疆地区沙尘多、灰尘大,枣树叶片表面经常覆盖一定程度的粗颗粒度沙尘,为了有效去除沙尘、灰尘在枣树叶片水分光谱测量过程中产生的散射噪声和基线漂移,研究一种适用于风沙较大地区的枣树叶片水分含量的快速检测方法,以不同灌溉梯度下的枣树叶片为研究对象,通过近红外光谱仪获取120个叶片样本的1 000～1 800 nm的光谱数据,并同步测量叶片水分含量,采用归一化、移动窗口平滑、SavitZky-Golay（SG）卷积平滑、SG求导、标准正态变量校正(SNV)和多元散射校正(MSC)等方法对原始光谱进行预处理,分析对比不同方法对散射噪声的处理能力,采用偏最小二乘回归分析方法筛选了敏感波段和建立预测模型。实验结果表明,枣树叶片水分含量强吸收峰为1 443 nm,波谷为1 661 nm;归一化光谱并未消除1 000～1 400 nm波段的散射噪声;移动窗口平滑和SG卷积平滑并未改进光谱曲线,散射噪声仍然存在;SG导数光谱的光谱特征峰和特征谷明显左移,光谱曲线不够平滑,噪声明显;SNV和MSC方法具有较好的散射噪声消除能力。偏最小回归分析方法筛选特征波长的结果表明（设置筛选波长数量为5）,基于原始光谱未筛选到1 443 nm的强波峰和1 661 nm的波谷附近的波段;基于归一化光谱在1 450 nm波峰附近筛选的波长有一定的偏差,在1 661 nm波谷附近的筛选的波长明显高于1 700 nm;基于移动窗口和SG卷积平滑光谱在1 443 nm具有一定的筛选能力,但并未筛选到1 661 nm附近的波长;导数光谱并未筛选到1 443和1 661 nm波段;SNV和MSC在波峰和波谷位置附近均筛选了敏感的光谱波段,其中MSC略优于SNV方法恰好在波峰和波谷位置,共筛选了1 002, 1 383, 1 411, 1 443和1 661 nm五个特征波段,也证明了MSC方法散射噪声和基线漂移处理能力最优,提高了敏感波长的筛选能力。偏最小二乘回归模型结果表明,不同预处理方法的RMSE值均较低,SNV和MSC方法改进了模型的预测结果,R2高于0.7,其中基于MSC方法的模型具有最高的R2和最低的RMSEP和RMSEPCV,R2=0.750 4,RMSEP=0.034 3,RMSECV=0.021 5,预测结果较优。证明MSC方法对沙尘和颗粒度引入的散射噪声具有较好的去除能力,可改进波长的筛选、提高预测模型精度,为南疆沙尘区的枣树叶片水分含量的无损检测提供了有效方法。     

近红外光谱检测蜂蜜中可溶性固形物含量和水分的应用研究

提出了一种利用近红外光谱技术定量分析蜂蜜中可溶性同形物含量(SSC)的新方法,同时对蜂蜜中的水分也进行了研究.在不同光谱范围内,通过对原始光谱的不同预处理,用偏最小二乘法分别建立了SSC和水分的近红外透反射光谱校正模型,所有模型都有高的的预测精度和水分的最优模型都为在全谱范围内,光谱预处理采用Norris平滑+一阶微分+多元信号校正,SSC模型的交互验证决定系数(RCV2)、交互验证误差均方根(RMSECV)、验证集决定系数(RP2)、验证误差均方根(RMSEP).SSC模型分别为0.998 6,0.190,0.998 5和0.127,水分模型分别为0.998 4,0.187.0.998 6和0.125.近红外光谱能实现蜂蜜中SSC和水分的准确测定.水分模型预测结果略好于相关文献的报道.     

稻谷有害霉菌侵染的近红外光谱快速检测

稻谷是我国主要储粮品种。为快速、准确鉴定稻谷霉变状态,建立了一种基于近红外光谱的稻谷霉菌污染定性、定量分析方法。首先,将四种谷物中常见有害霉菌(黄曲霉3.17、黄曲霉3.3950、寄生曲霉3.3950、灰绿曲霉3.0100)分别接种在灭菌稻谷样品上。其次,将接种霉菌样品进行人工模拟储藏(28 ℃、RH 80%),并采集不同储藏时间(0,2,4,7和10 d)稻谷的近红外漫反射光谱信号。最后,利用主成分分析(PCA)、判别分析(DA)和偏最小二乘回归(PLSR)方法建立稻谷霉菌污染的快速分析模型。结果显示,近红外光谱可有效区分感染不同霉菌的稻谷样品,平均判别正确率达87.5%。稻谷霉变随储藏时间逐渐加深,近红外光谱对感染单一霉菌稻谷样品霉变状态的判别正确率达92.5%,多种霉菌的判别正确率达87.5%。稻谷中的菌落总数的PLSR模型定量结果为：有效决定系数(R2_P)为0.882 3、验证均方根误差(RMSEP)为0.339 Lg CFU·g-1,相对标准偏差(RPD)为2.93。结果表明,近红外光谱法可以作为一种快速、无损的分析方法来判定稻谷霉菌侵染状况,确保稻谷储运安全。     

基于互信息的含水岩石近红外光谱特征选择

传统的相关分析方法无法准确刻画含水岩石的近红外光谱与其含水量之间的非线性关系.针对这个问题,首先进行了莫高窟崖壁砾岩水分运移的室内试验,分别采集了砾岩样品3个不同位置从初始干燥状态到饱和状态的全过程,共计51条近红外光谱信息;然后采用多点平滑与基线校正相结合(N PS+B-corr)的方法对原始近红外光谱进行预处理,根...     

胡杨叶片水分含量的近红外光谱检测

胡杨叶片水分含量是评价胡杨健康状况的重要指标。光谱检测法是一种常用的手段,但在近红外光谱的测量过程中,在一定程度上必然受到仪器噪声、摆放形态差异和环境的干扰,为避免噪声、散射对近红外光谱的影响,减少数据维数,采用多元散射校正(MSC)算法对原始光谱数据进行预处理,去除散射和基线漂移的影响,增加了光谱数据的信噪比,使有效光谱信息较为明显,谱带特征得到加强,有利于特征波长的选择。为降低模型的复杂度,防止过拟合现象,减小共线性影响,利用连续投影算法(SPA)进行特征变量选择,并通过多元线性回归模型,分析各个波长模拟的残差平方,评价各个波长的贡献,剔除贡献较小的波长,最终获得用于建模的特征波长,改善建模条件。最后使用偏最小二乘回归算法建立胡杨叶片水分含量检测模型。实验表明,直接使用原始光谱,利用SPA算法筛选变量个数为6个,模型预测精度为90.144%,相关系数r=0.674 24,RMSE=0.021 434,MSC处理后,利用SPA算法选定最终变量数为5个,预测精度为97.734%,相关系数r=0.781 63,RMSE=0.016 776。MSC和SPA算法有效的消除了散射噪声、减小了共线性干扰,模型的预测精度和相关性增加,误差减小,可用于胡杨叶片水分的快速无损检测,而且对其他作物叶片水分检测也具有一定的借鉴意义。     

应用近红外高光谱成像预测三文鱼肉的水分含量

应用近红外高光谱成像技术实现三文鱼肉水分含量的快速无损检测。采集来自不同部位的三文鱼肉共90个样本的高光谱图像, 提取样本感兴趣区域(ROI)的平均光谱。随机取60个样本作为建模集, 其余30个样本作为预测集。分别采用偏最小二乘回归(PLSR)和最小二乘支持向量机(LS-SVM)对全波段和水分含量建立相关性模型, 并对预测集样本的水分含量进行预测。再用一种新的变量提取方法random frog选择特征波长, 并基于特征波长分别建立水分检测的PLSR和LS-SVM模型。特征波长模型的预测精度虽然稍逊于全波段模型, 但是仅用12个变量代替了全波段的151个变量, 大大简化了模型, 更便于实际应用。PLSR和LS-SVM特征波长模型的预测相关系数(Rp)分别为0.92和0.93, 预测均方根误差(RMSEP)分别为1.31%和1.18%, 取得了满意的结果。研究表明, 近红外高光谱成像与化学计量学方法结合可以准确预测三文鱼肉的水分含量, 为鱼肉品质的快速监测提供重要的参考。     

近红外水分稳健分析模型研究

样品水分含量差异对近红外光谱分析模型的稳健性影响最为严重。文章以全籽粒小麦蛋白质含量为研究对象,分析了光谱预处理、有效波数区间的选取和全局校正模型应用对建立近红外水分稳健分析模型的可行性。结果表明,仅通过光谱预处理方法不能减少样品水分差异对预测结果的影响;选择有效波数区间和建立全局校正模型对消除水分的影响均有效,建立全局校正模型的效果最佳。并从理论上初步分析了各种方法的作用机理。     

砂岩的近红外光谱特征及其含水量反演

沉积岩石的强度往往会受到水的影响,含水量不同其影响程度也不相同。因此,沉积岩石的含水量测定对于后续评估其物理力学特性具有重要的价值。在岩石含水量测定方面,传统的方法往往费时、费力,而且破坏了工程结构的完整性。近红外光谱分析技术是一种非常有潜力的方法,具有实时、无损等优点。基于近红外光谱分析技术对砂岩的光谱特征以及含水量的反演进行了研究。首先,通过室内试验获取了砂岩试样不同饱和度的近红外光谱曲线;然后,对原始光谱曲线进行了异常曲线剔除以及一阶导数预处理,消除噪声、环境等因素的影响;其次,对R1（1 400 nm）和R2（1 900 nm）附近的两个吸收峰进行光谱特征变量提取以及归一化处理,消除量纲和域值的影响;接着,基于最大信息系数对提取的光谱特征变量进行分析和筛选;最后,基于筛选后的光谱特征变量采用自行搭建的BP神经网分类器对砂岩的含水量进行了反演。结果表明：（1）含水砂岩的近红外光谱吸收曲线在1 400和1 900 nm附近有着明显的吸收峰,位于1 400 nm附近的吸收峰,谱带比较宽缓,位于1 900 nm附近的吸收峰,谱带比较尖锐;随着含水量的增加,近红外光谱曲线在1 400和1 900 nm附近吸收峰的吸收强度也在增加,具有明显的正相关性,可作为砂岩含水量分析、反演的主要谱段。（2）根据计算的最大信息系数值,1 400 nm附近的峰高与含水量的相关性最强,同样1 900 nm附近的峰高与含水量的相关性最强;1 400 nm附近的峰面积、峰高和1 900 nm附近的峰高、峰面积、半高宽、右肩宽,共6个光谱特征变量,其最大信息系数值＞0.9,可作为BP神经网络反演砂岩含水量的特征变量。（3）利用最大信息系数筛选出1 400和1 900 nm附近两个吸收峰的特征变量进行BP神经网络建模,所建立的砂岩含水量反演模型训练集准确率为90.3%,测试集的准确率为83.9%,说明基于近红外光谱分析技术砂石含水量的反演方法是可行的。     

近红外光谱分析测定鱼丸中的水分和淀粉含量

用近红外光谱技术分析了草鱼鱼丸中水分和淀粉的含量,并建立了数学模型.以定标集和验证集的相关系数(rc,rv)及预测标准误差(SEC,SEP)作为模型优劣的判定依据.结果表明,采用偏最小二乘法(PLS)建立的数学模型效果最佳,具有较高的相关系数和较低的预测标准误差.水分和淀粉模型中,定标集样本的相关系数rc分别为0.9834,0.9634;预测标准误差分别为0.6293,0.8875;验证集样本的相关系数rv为0.9841,0.9699;预测标准误差分别为0.6358,0.8850.该研究说明利用近红外光谱分析技术测定鱼丸中水分和淀粉的含量是可行的.     

应用近红外高光谱成像预测三文鱼肉的水分含量

应用近红外高光谱成像技术实现三文鱼肉水分含量的快速无损检测。采集来自不同部位的三文鱼肉共90个样本的高光谱图像,提取样本感兴趣区域(ROI)的平均光谱。随机取60个样本作为建模集,其余30个样本作为预测集。分别采用偏最小二乘回归(PLSR)和最小二乘支持向量机(LS-SVM)对全波段和水分含量建立相关性模型,并对预测集样本的水分含量进行预测。再用一种新的变量提取方法random frog选择特征波长,并基于特征波长分别建立水分检测的PLSR和LS-SVM模型。特征波长模型的预测精度虽然稍逊于全波段模型,但是仅用12个变量代替了全波段的151个变量,大大简化了模型,更便于实际应用。PLSR和LS-SVM特征波长模型的预测相关系数(R_p)分别为0.92和0.93,预测均方根误差(RMSEP)分别为1.31%和1.18%,取得了满意的结果。研究表明,近红外高光谱成像与化学计量学方法结合可以准确预测三文鱼肉的水分含量,为鱼肉品质的快速监测提供重要的参考。     

基于离散萤火虫算法的近红外波长优选方法研究

近红外光谱数据量大,需要进行压缩,以降低建立光谱校正模型的计算复杂度,提高模型精度和稳健性。为此,提出了一种基于离散萤火虫算法(discrete firefly algorithm)的近红外光谱波长变量筛选方法。首先采用蒙特卡罗方法剔除异常值,并应用Kennard-Stone法进行校正样本的选择。对通用萤火虫算法进行离散化处理,改进了吸引度的自适应公式,在移动公式中增加了牵引权重,以适应离散化处理的影响和优化算法,并在离散萤火虫算法中加入精英保留策略,加快算法的收敛速度。实验中找到DFA算法中的各项参数中的最佳值。通过离散萤火虫算法优选波长变量,建立发酵液中丁二酸含量的近红外光谱偏最小二乘回归(partial least squares regression)校正模型。与标准遗传算法(genetic algorithm)优选波长方法进行了比较。结果显示,基于离散萤火虫算法的波长优选方法所建立的PLS校正模型,其校正集的相关系数(R2_c)为0.986,RMSEC为0.409,预测集的相关系数(R2_p)为0.969,RMSEP为0.458,模型稳健性和精度都要优于全光谱建模以及遗传算法波长优选方法。显示了DFA在近红外光谱数据筛选方面的优越性。     

一种基于SCARS策略的近红外特征波长选择方法及其应用

针对近红外光谱数据的内在特点,提出了一种基于稳定性竞争自适应重加权采样(stability competitive adaptive reweighted sampling, SCARS)策略的近红外特征波长优选方法。该方法以PLS模型回归系数的稳定性作为变量选择的依据,其过程包含多次循环迭代,每次循环均首先计算相应变量的稳定性,而后通过强制变量筛选以及自适应重加权采样技术(ARS)进行变量筛选;最后对每次循环后所得变量子集建立PLS模型并计算交互验证均方根误差(RMSECV),将RMSECV值最小的集合作为最优变量子集。利用饲料蛋白固态发酵过程近红外光谱数据集对所提方法进行了验证,并与基于PLS的蒙特卡罗无信息变量消除法(MC-UVE)和竞争自适应重加权采样(CARS)方法所得结果进行了比较。试验结果显示： 建立在SCARS方法优选的21个特征波长变量基础上的PLS模型预测效果更好,其预测均方根误差(RMSEP)和相关系数(R_p)分别为0.054 3和0.990 8;该优选策略能有效地增强固态发酵光谱数据特征波长变量选择的准确性和稳定性,提高了模型的预测精度,具有一定的应用价值。     

近红外光谱分析中的变量选择算法研究进展

随着人们对近红外光谱分析技术了解的深入,人们发现通过剔除近红外光谱中的冗余变量不仅可以简化近红外光谱分析模型,提高模型的可解读性,通常还可以提高模型的预测效果及稳健性。变量选择的有效性已经在各种近红外光谱应用体系中得到了广泛的验证,发展成为了近红外光谱分析建模过程中一个越来越重要的步骤。为此,化学计量学家们近些年来开发了大量原理不同的新型变量选择算法,基于各种原理的衍生算法也层出不穷。为了让近红外光谱分析研究人员能够较为迅速地对这些算法的特点有所认识,对目前常见的各种变量选择算法的算法原理和优缺点进行了梳理。根据各种算法依据的原理不同,将目前近红外光谱领域常见的变量选择算法大致分为基于偏最小二乘模型参数,基于智能优化算法,基于连续投影策略,基于模型集群分析策略和基于变量区间等五类。在梳理的过程中,我们发现变量选择算法的发展趋势目前主要集中在以下两点：第一,算法的复杂程度不断提高;第二,不同变量选择算法之间的联用开始逐渐增多。此外,作者结合自身在应用变量选择算法时的体会和思考,还总结了变量选择算法在应用层面上存在的一些问题。例如光谱预处理方法对变量选择算法使用效果的影响,以及部分算法存在的稳定性较差,选择变量的可靠性存疑等。     

LSSVM模型下的近红外光谱联合区间波长筛选方法

针对传统近红外光谱波长选择方法忽略模型中非线性因素的缺陷,采用具有非线性处理能力的最小二乘支持向量机,结合间隔策略的波长选择方法和联合区间的思想,提出了一种非线性模型下的波长筛选算法—联合区间最小二乘支持向量机(synergy interval least squares support vector machines, siLSSVM)。以苹果糖度近红外光谱数据为例,与传统siPLS波长筛选方法相比,新算法的预测集均方根误差(RMSEP)在PLS模型和LSSVM模型预测时分别提高了37.43%和47.88%,预测集相关系数(RP)在PLS模型和LSSVM模型预测时分别增加了6.04%和7.31%。实例表明,对于存在非线性因素较强的光谱数据,siLSSVM算法能够有效的挑选最优波长区间与提高模型的预测精度和鲁棒性,为近红外光谱在非线性因素下筛选波长提供了新前景。     

改进团队进步算法的近红外光谱波长筛选

针对近红外光谱波长选择问题,在团队进步算法(TPA)的基础上,提出一种改进团队进步算法(iTPA)的波长变量选择方法,将分子光谱的波段按照与其相应的理化值建模得到的评价值函数大小降序排列,顺序分为精英组、普通组和垃圾回收组。当新生波段选择学习行为时,若其产生于普通组,则需要向精英组样板的方向调节;若其产生于精英组,则需要改进其更新方向,向垃圾回收组样板的反方向调节。垃圾回收组成员的评价值不像精英组和普通组随着更新的过程一直上升,而是一直处于极低的状态,为产生于精英组的新生波段在学习时提供一个准确的更新方向,从而提升算法的全局寻优能力。通过不断的迭代更新,逐步提升整体评价值,最终选取评价值最高的波段作为筛选波段。该算法对玉米的淀粉和蛋白质含量数据集进行了实验测试,并与TPA、遗传算法(GA)、主成分分析(PCA)以及全谱方法进行了对比。实验结果表明,所提算法能够找出全谱范围内波长的最优组合,并且可以解释各含量的化学特性。玉米淀粉数据集运行的效果相比于全光谱,变量个数从700个减少到17.55个左右（50次试验求平均）,模型的RMSEC从0.335 7降到0.260 9,校正集预测精度提升了22.3%,模型的RMSEP从0.391 4下降到0.334 4左右,预测集预测精度提升了14.6%;在玉米蛋白质数据集运行的效果相比于全光谱,变量个数从700个减少到19.6个左右（50次试验求平均）,模型的RMSEC从0.147 4降到0.101 9,校正集预测精度提升了30.1%,模型的RMSEP从0.178 9下降到0.117 7,预测集预测精度提升了34.2%。     

基于近红外漫反射光谱的农田原位表层土壤含水量定量建模方法比较

在农田尺度下,土壤表层因理化性状、粗糙度、作物根系和秸秆残茬等引起的空间异质性较为明显,样点间含水量差别相对较小,这对基于近红外漫反射光谱技术的表层土壤含水量原位测定带来极大的挑战。本研究分别利用基于单一波长(1 200,1 400,1 450,1 820,1 940,2 000和2 250 nm)反射率构建的指数衰减模型、基于归一化土壤湿度指数(NSMI)和相对吸收深度(RAD)构建的线性模型、基于土壤含水量高斯模型(SMGM)所得的拐点宽度(σ)、函数中心振幅(R_d)和高斯曲线面积(A)三个参数构建的线性或二次模型,以及基于波长区间反射率构建的偏最小二乘模型(PLS),对土壤体积含水量(VMC)进行定量分析。结果表明：(1)在单一波长反射率构建的所有指数衰减模型中,2 000 nm波长显示出最佳验证效果,RMSEp最低(2.463),RPD最大(1.06);(2)与RAD相比,NSMI的验证精度更令人满意,R2(0.312)和RPD(1.224)更高,RMSEp(2.133)更低;(3)在SMGM模型参数以及PLS模型拟合VMC的验证结果中,R_d具有最佳拟合精度,其R2(0.253)和RPD(1.175)最高,RMSEp(2.222)最低;(4)总的来看,NSMI指标构建的线性模型是所有方法中精度最高的,而且计算过程简单,易于操作,可作为表层土壤含水量原位测定的首选方法。     

近红外光谱法的甜菜糖度快速测定

为了实现甜菜依据含糖量定等分级,甜菜收购环节的按质论价,促进甜菜制糖行业的良好健康发展,应用近红外光谱技术对甜菜糖度的快速检测进行了系统研究,确定了一种快速、无损、准确的测量甜菜糖度的方法。采集具有代表性的28个甜菜品种,820个甜菜样品作为校正集,70个样品作为预测集,扫描得到甜菜校正集样品的近红外原始光谱,选择合适的光谱预处理方法,采用偏最小二乘法建立甜菜糖度的定量预测数学模型,以校正模型的内部交互验证均方根误差(RMSECV)、决定系数(R2)和外部预测标准误差(SEP)为指标对模型的性能进行评价,并对模型的预测效果进行了比较。采用一阶导数和标准正态变量变换对光谱进行预处理并结合偏最小二乘法所建立的定量预测数学模型的预测能力较好。甜菜糖度定量校正数学模型的模型决定系数为0.908 3,内部交互验证预测均方根误差为0.376 7。用此数学模型对预测集70个样品进行预测,预测值与实测值的相关系数达到0.921 4,预测标准误差为0.439,预测值和实测值之间不存在显著性差异(p＞0.05)。结果表明：近红外光谱法作为一种简单、快速、无损、环保的检测方法,能够良好的评价甜菜的糖度。建立的模型具有很高的精确性,可以满足甜菜糖含量测定的需要,该方法可以实现甜菜收购环节的定等分级和按质论价。     

木材不同切面的近红外光谱信息与密度快速预测

用近红外光谱对木材密度进行了研究。发现木材三个不同切面(横切面、径切面、弦切面)的近红外光谱有较大的差异;结合偏最小二乘法(PLS),根据三个切面采集到的光谱数据与木材密度建立了校正模型,横切面预测集的相关系数r为0.94,径切面和弦切面分别为0.85和0.81。结果表明,从横切面采集到的光谱建立的预测模型效果最好。用该模型对随机抽取、未参与建模的15个样品的密度进行了预测,r2=0.977, 标准偏差：STDEV=0.006。