基于小波变换的木材近红外光谱去噪研究

木材近红外光谱常常被一系列噪声所污染,影响光谱分析结果.为了提高近红外光谱分析精度,需要对光谱数据进行预处理.光谱导数可以消除光谱背景干扰和基线漂移等因素影响,提高光谱分辨率,但导数光谱在增强信号的同时,也使信号噪声得到增强.应用小波变换对杉木木材近红外一阶导数光谱进行去噪研究,分别采用9点平滑法、25点平滑法、非线件小波硬阈值和软阈值法、9点平滑+小波变换法和25点平滑+小波变换法对光谱数据进行去噪研究.结果显示,小波变换能够有效去除导数光谱中的噪声信号,保留光谱中的有效信息,提高光谱信噪比,提高光谱的分析能力,在木材近红外光谱分析中具有很好的应用前景.     

近红外光谱测定麦冬中的总皂苷和总黄酮

采用近红外光谱分析技术对麦冬有效成分进行定量分析.对麦冬的原始漫反射光谱采用了Savitzky-Golay平滑、多元散射校正、一阶导数及二阶导数等多种光谱预处理方法进行处理,并结合偏最小二乘法对麦冬总皂苷和总黄酮含量进行了定标建模分析.结果表明,光谱均在经过Savitzky-Golay平滑+多元散射校正(MSC)+一阶导数预处理后得到的定标模型效果最佳,分析结果精度较高,总皂苷模型R2、RMSEC、Rcv2、RMSECV、主因子数分别为0.938、0.76、0.901、0.98和6,总黄酮模型R2、RMSEC、Rcv2、RMSECV、主因子数分别为0.872、1.04、0.857、1.32和4.模型经过验证样品集检验,预测决定系数达到0.930和0.655.     

小波系数压缩用于柴油十六烷值近红外光谱分析建模

近红外光谱分析建模中存在多变量高维数据处理问题,导致计算量大,不利于过程控制中应用.为此提出利用小波变换压缩近红外光谱数据的算法与准则,并结合柴油十六烷值定量分析研究压缩数据的建模效果.研究表明,经小波方法处理后,变量维数压缩30倍左右,光谱主要信息基本保留,而模型的预测精度和常规预处理方法分析相比有明显提高.光谱数据压缩的同时包含了噪声滤除和基线校正,简化数据处理步骤,有利于NIRS实际应用时提高建模效率.     

可见-近红外光谱的小麦硬度预测模型预处理方法的研究

硬度是评价小麦品质的一个重要质量参数,对小麦的分类、最终用途以及小麦籽粒组成的研究都非常重要。为实现小麦硬度的快速、准确检测,在详细分析小麦籽粒成分对红外光吸收特性的基础上,研究建立径向基函数(RBF)神经网络模型实现对未知样品硬度的准确检测,并着重分析了不同光谱信号预处理方法对模型预测精度的影响。从各小麦主产区收集111个小麦样品,扫描样品获得可见-近红外光谱,采用马氏距离判断并剔除异常光谱;利用优化后的SPXY划分样品集合,得到校正集84个样品,预测集24个样品;利用连续投影算法(SPA)从262个光谱波点中提取47个特征光谱;分别使用一阶导数、二阶导数和标准正态变量变换(SNV)及其不同组合对光谱进行预处理,验证不同预处理方法之间的相互影响,寻找最优的预处理方法组合。校正集预处理后的特征光谱数据作为RBF模型的输入,采用硬度指数法测定的对应样品硬度作为输出建立模型。预测结果显示当采用SNV和SPA处理光谱数据时模型的效果达到最优,评价指标判别系数(R~2)、预测标准差(SEP)和相对分析误差(RPD)可分别达到0.90,3.02和3.11,表明基于可见-近红外光谱的RBF神经网络模型能够准确地预测小麦的硬度,与传统检测方法相比具有方便、快速、无损等优点,为小麦硬度的检测提供一条更为便捷与实用的方法。     

小波变换在近红外光谱分析中的应用进展

小波变换(WT)具有很好的时频分离特征,信息处理能力强,已广泛用于分析化学领域;本文就小波变换在近红外光谱领域的应用进行简述。小波变换用于近红外预处理,提取有用信息,消除背景干扰,可以提高近红外的分析精度和模型稳健性;用于数据压缩可以减少数据库存储空间,提高建模速度;小波系数用于模型传递,具有传递速度快,稳健性强,所需标样少等特点;小波变换可以与神经网络、遗传算法等结合,在近红外分析领域呈现出良好的发展前景。     

近红外漫反射光谱法测定麦冬的多糖含量

采用近红外光谱分析技术对麦冬多糖进行定量分析.对麦冬的原始漫反射光谱采用了一阶导数、二阶导数、平滑、散射校正等多种光谱解析手段,初步选择了建模波段,并结合偏最小二乘回归法对麦冬多糖进行了定标建模分析.结果表明,光谱经过一阶导数+标准乘性散射校正(MSC)+SG平滑处理,选取4 000～4 900,5 100～6 900,7 050～10 000 cm-1波段建模得到的定标模型效果最佳,分析结果精度较高,R2,RMSEC,R2CV,RMSECV,主因子数分别为0.996,0.237,0.973,0.583,6.模型经过验证样品集检验,预测相关系数达到0.968 8.     

近红外透射光谱法检测三组分食用调和油含量的研究

以大豆油、花生油和玉米油三组分食用调和油为研究对象,采集样品在10 000～4 200 cm-1范围内的近红外透射光谱,对光谱进行不同预处理后结合偏最小二乘法分别建立调和油中三组分的定量分析模型,并检验模型预测的准确度和精密度.结果显示,一阶导数结合多元散射校正(FD+MSC),一阶导数结合减去一条直线(H)+SLS)以及一阶导数(FD)进行光谱预处理,可以得到大豆油、花生油以及玉米油含量的最优定标模型,分别是在5 450.1～4597.7 cm-1,7 521.3～6 098.1 cm-1和9 993.7～7 498.2 cm-1谱区范围内获得的.各预测模型的相关系数R2和预测均方根RMSEP分别为99.89%,1.09%;99.88%,1.17%;99.76%,1.48%;配对t检验值在0.371 9～0.007 9之间;预测相对标准偏差RSD均小于1.50%.表明傅里叶变换近红外透射光谱分析技术可以快速准确可靠地检测三组分食用调和油中大豆油、花生油、玉米油的含量.     

近红外光谱定量分析土壤全氮含量预处理方法探讨

提高土壤全氮含量检测的精确性对于精准农业具有非常重要的意义。本文基于近红外光谱技术,对光谱数据预处理方法进行研究。以土壤全氮含量为检测对象,采用平滑+一阶导数、基线校正+归一化、一阶导数+归一化等方法对采集样品的光谱数据进行预处理方法干预,并运用PLS算法分别建立土壤全氮含量的预测模型,分析不同种预处理方法对于近红外光谱建模精度的影响。实验结果表明应用基线校正+归一化处理后建模得到的预测均方根误差RMSEP为0.025,决定系数R~2为0.98,预测精度最佳。     

棉籽17种氨基酸含量的NIRS定标模型构建与测定方法研究

选用氨基酸含量差异较大的多年份、多品种、多地点种植的445份棉花种子为材料,分别对其进行近红外光谱扫描。用一阶导数的数学处理(1,4,4,1)、标准正态变换和去趋势(SNV+D)最佳组合的预处理方法,结合改良的偏最小二乘法(MPLS)构建棉籽17种氨基酸成分的近红外定标模型。定标结果表明,天冬氨酸、苏氨酸、谷氨酸、甘氨酸、丙氨酸、缬氨酸、异亮氨酸、亮氨酸、苯丙氨酸、赖氨酸、组氨酸和精氨酸等12种氨基酸含量的定标模型较好,其RPDc为3.735~7.132,外部检验r2为0.910~0.979,近红外光谱分析完全可以替代化学测定;而丝氨酸、蛋氨酸、酪氨酸和脯氨酸等四种氨基酸的定标模型次之,其RP-Dc为2.205~2.814,外部检验r2为0.800~0.830,近红外分析技术虽不能完全替代化学测定的结果,但仍可用于大量样品的筛选。半胱氨酸定标方程的RPDc较小(RPDc=1.358),因此,棉籽中半胱氨酸含量不能用近红外分析方法进行检测。     

近红外光谱预处理中几种小波消噪方法的分析

以菜籽油的一阶导数近红外光谱为研究对象,探讨小波变换在近红外光谱信号消噪方面的应用,分别采用九点平滑法、小波分解与重构法、非线性小波软阈值法和小波变换模极大值法对导数光谱进行消噪处理并对消噪效果进行比较分析.结果表明,小波变换模极大值光谱消噪法得到了较高的信噪比,小波软阈值法次之,其余两种方法消噪效果较差.小波变换模极大值法有效的保留了光谱的有用信息,为近红外光谱的分析精度和模型的稳健性奠定了良好的基础.     

基于近红外漫反射光谱的烃源岩生烃潜量的确定

对比了近红外光谱和中红外光谱对烃源岩样品生烃潜量的定量分析能力.由于近红外光谱受样品的颗粒度、密度、表面粗糙度等造成的光散射的影响更大,使得其漫反射光谱数据的信噪比很低,背景干扰很大,很难直接应用于定量分析.因此需要一种有效的方法对近红外漫反射数据进行预处理来消除散射的影响.本文对比了正交信号校正算法(OSC)及其两种...     

基于小波变换的水果糖度近红外光谱检测研究

利用小波变换滤波技术对90个水果样品的近红外光谱信号进行了去噪处理,并结合滤波后重构光谱信号对水果糖度进行逐步线性回归(SMLR)建立其校正模型,通过34个样品的外部检验对校正模型精度进行评价.研究结果表明:校正模型的预测精度在小波尺度为3时其预测精度最好,预测集的决定系数由原来的0.84提高到0.85,预测集相对标准误差由原来的6.1%降为6.0%.因此,使用小波去噪方法有消除原始光谱噪声作用,从而使最终的SMLR模型更具有代表性和稳健性,也提高了品质检测时模型预测精度.     

小波多尺度正交校正在近红外牛奶成分测量中的应用

光谱分析中,干扰信号的存在直接影响所建分析模型的质量。基于信号和干扰的不同特性,提出了一种扣除背景和噪声干扰的新方法——小波多尺度正交校正(WMOSC)法。首先将原始光谱进行小波变换(DWT),消除噪声及背景信息,然后采用正交信号校正(OSC)滤除与待测组分浓度无关的全部信息。与单纯的小波变换及正交信号校正相比,WMOSC能有效地扣除背景和噪声干扰,使模型具有更强的抗干扰能力,提高了模型的预测精度。利用该方法对牛奶样品的近红外光谱进行处理,采用偏最小二乘法建立校正模型,其牛奶中脂肪、蛋白质和乳糖的预测均方根误差(RMSEP)分别为0.1016%,0.0871%和0.1107%。实验结果表明该方法能有效地去除干扰,保留有用信息。     

一种改进小波算法及其在拉曼光谱预处理的应用

针对现有用于光谱预处理的小波变换算法对光谱噪声和背景荧光等处理效果不佳的局限性,本文提出了一种改进的小波变换算法——小波变换频率分量相关选择法,首先对拉曼光谱进行小波棱镜分解,然后计算各个频率分量与待测质量指标的相关系数,设定相关系数的相对阈值,提取高于阈值的小波频率分量波长点光谱数据作为校正模型的有效输入数据。将其应用于汽油低分辨率拉曼光谱的预处理,并采用预处理后光谱建立的偏最小二乘模型预测值的最大正负误差和交叉检验的均方误差作为指标。实验结果证明,与其他常见预处理方法比较,该方法并能够很好地减弱荧光背景干扰和高频噪声,显著提高了基于偏最小二乘方法建立的汽油辛烷值的模型预测精度,其均方误差减少为0.23;此外,采用该预处理方法的偏最小二乘模型的均方误差随主元数变化不大,稳健性也比采用其他预处理方法的效果好。     

应用多种近红外建模方法分析梨的坚实度

近红外光谱(near infrared spectroscopy,NIRS)技术是一种快速、无损的仪器分析方法,在农产品品质检测方面引起了广泛的关注,在近红外光谱信息和品质指标之间建立一个稳健的模型是近红外光谱分析中十分重要且有一定难度的过程,常见的多元校正方法有偏最小二乘回归(PLSR)、主成分回归(PCR)和逐步多元线性回归(SMLR)等,该研究中除了常用的线性方法外,还采用了一种结合非线性方法的组合算法[结合了SMLR和径向基神经网络(RBFN)]用于梨坚实度的近红外光谱检测.比较常用的线性建模方法,原始光谱的PLSR模型的得到了较好的结果;校正集相关系数r=0.87,校正均方根误差RMSEC=3.88 N,预测集r=0.84,预测均方根误差RMSEP=4.26 N;组合算法的建模结果比SMLR和PCR的结果好,但比PLSR的结果稍差:校正集r=0.85,RMSEC=4.15 N,预测集r=0.82,RMSEP=4.67 N.结果表明:NIRS可用于梨的坚实度检测,但是建模方法的选择值得进一步研究以提高预测的精度.     

可见光/近红外光谱技术快速测定橙汁柠檬酸含量

为了快速无损测定橙汁的柠檬酸含量,提出了一种用可见光/近红外光谱技术进行检测的新方法.选用高效液相色谱法作为光谱柠檬酸测定的标定方法.采用平滑点数为5的移动平滑法对原始光谱进行预处理消除噪声.由于采集的光谱数据量非常大,为了减少建模时间,建模之前采用小波变换对经过预处理的大量光谱数据进行降维压缩,并在Matlab7.01中通过自编程序实现此变换.利用光谱专用分析软件Unscrambler 9.5,对压缩后的新变量进行分析,建立偏最小二乘(PLS)校正模型.考虑到不同小波基及分解尺度对数据压缩的影响,采用预测平方和PRESS值最小的评价标准,选择最佳的小波基Db4及分解尺度5.用于本实验的样本总数为40,其中30个样本进行建模,10个用于预测.用校正集相关系数(r)和标准偏差(SEC)作为校正模型的评价指标,预测结果采用预测相关系数(r)和预测标准偏差(SEP)来评定.文章将基于小波变换的PLS模型与直接建立的PLS模型进行了比较,偏最小二乘法结合小波变换的模型预测相关系数为r=0.901,预测标准偏差SEP=0.937;而由PLS建立的模型其预测相关系数r=0.849,预测标准偏差SEP=1.662.由此可见,由偏最小二乘法结合小波变换所得模型效果优于单独使用偏最小二乘法的结果.     

木材种类的近红外光谱和模式识别

木材的种类识别是木材加工和贸易的一个重要环节，传统的木材种类识别方法主要有显微检测法和木材纹理识别法，其操作繁琐，耗时长，成本高，不能满足当前需求。本研究利用木材的近红外光谱(NIRS)结合模式识别方法，以期实现木材种类的快速准确识别。采用近红外光谱结合主成分分析法(PCA)、偏最小二乘判别分析法(PLSDA)和簇类独立软模式法(SIMCA)三种模式识别对58种木材进行种类鉴别研究；5点平滑、标准正态变量变换(SNV)、多元散射校正(MSC)、Savitzky-Golay一阶导数(SG 1st-Der)和小波导数(WD)五种光谱预处理方法用于木材光谱的预处理；校正集和测试集样品的正确识别率(CRR)用于模型的评价。采用PCA方法，通过样品的前三个主成分空间分布图分辨木材种类的聚类情况。在建立PLSDA模型，原始光谱的正确识别率最高，分别为88.2%和88.2%；5点平滑处理的光谱校正集和测试集的CRR分别为88.1%和88.2%；SNV处理的光谱校正集和测试集的CRR分别为84.4%和84.5%；MSC处理的光谱校正集和测试集的CRR分别为83.1%和84.2%；SG 1st-Der处理的光谱校正集和测试集的CRR分别为81.8%和82.7%；WD(小波基为“Haar”，分解尺度为80)处理的光谱校正集和测试集的CRR分别为87.3%和87.2%。可知，在PLSDA模型中，木材光谱未经预处理种类识别效果最后好。在建立SIMCA模型过程中，原始光谱的校正集和测试集的CRR分别为99.7%和99.4%；5点平滑处理的光谱校正集和测试集的CRR分别为100%和100%；SNV处理的光谱校正集和测试集的CRR分别为99.5%和99.1%；MSC处理的光谱校正集和测试集的CRR分别为99.0%和98.4%；SG 1st-Der的光谱校正集和测试集的CRR分别为81.8%和82.7%；WD处理的光谱校正集和测试集的CRR分别为100%和100%。可知，在SIMCA模型中，木材光谱经平滑和小波导数处理后的识别效果最好，且光谱的校正集和测试集CRR都为100%。采用三种模式结合五种不同的预处理方法对木材近红外光谱进行定性建模识别时，由于木材样本属性复杂，主成分分布图相互交织，PCA无法识别出58种木材；原始光谱的PLSDA模型可以得到较好的判别模型，但校正集和测试集的CRR只有88.2%和88.2%；木材光谱经过5点平滑或WD预处理后的SIMCA模型可达到最好的识别效果，校正集和测试集的CRR均为100%，且WD-SIMCA模型因子数比5点平滑SIMCA模型小，模型更为简化，故WD-SIMCA为58种木材种类识别的最优模型。研究表明光谱预处理方法可以有效的提高木材种类识别精度，有监督模式识别方法SIMCA可以用来建立有效的木材识别模型，近红外光谱结合模式识别可以为木材种类的识别提供一种快速简便的分析方法。     

近红外水分稳健分析模型研究

样品水分含量差异对近红外光谱分析模型的稳健性影响最为严重。文章以全籽粒小麦蛋白质含量为研究对象,分析了光谱预处理、有效波数区间的选取和全局校正模型应用对建立近红外水分稳健分析模型的可行性。结果表明,仅通过光谱预处理方法不能减少样品水分差异对预测结果的影响;选择有效波数区间和建立全局校正模型对消除水分的影响均有效,建立全局校正模型的效果最佳。并从理论上初步分析了各种方法的作用机理。     

红外光谱预处理中去噪的研究

红外(IR)光谱由于包含了噪声等各种外界干扰因素.应该先进行光谱预处理,以便降噪,提高分析准确度.本文采用了一种基于最优小波包基的信号去噪算法,该算法根据最小代价原理,采用不同的阈值算法对光谱的高频和低频信号进行量化处理,用量化后的系数重构得到去噪信号,从而达到较好的去噪效果.实验表明,本方法处理后光谱曲线非常光滑、噪声消除效果明显.