小波多尺度正交校正在近红外牛奶成分测量中的应用

光谱分析中,干扰信号的存在直接影响所建分析模型的质量。基于信号和干扰的不同特性,提出了一种扣除背景和噪声干扰的新方法——小波多尺度正交校正(WMOSC)法。首先将原始光谱进行小波变换(DWT),消除噪声及背景信息,然后采用正交信号校正(OSC)滤除与待测组分浓度无关的全部信息。与单纯的小波变换及正交信号校正相比,WMOSC能有效地扣除背景和噪声干扰,使模型具有更强的抗干扰能力,提高了模型的预测精度。利用该方法对牛奶样品的近红外光谱进行处理,采用偏最小二乘法建立校正模型,其牛奶中脂肪、蛋白质和乳糖的预测均方根误差(RMSEP)分别为0.101 6%,0.087 1%和0.110 7%。实验结果表明该方法能有效地去除干扰,保留有用信息。     

小波变换在近红外光谱分析中的应用进展

小波变换(WT)具有很好的时频分离特征,信息处理能力强,已广泛用于分析化学领域;本文就小波变换在近红外光谱领域的应用进行简述。小波变换用于近红外预处理,提取有用信息,消除背景干扰,可以提高近红外的分析精度和模型稳健性;用于数据压缩可以减少数据库存储空间,提高建模速度;小波系数用于模型传递,具有传递速度快,稳健性强,所需标样少等特点;小波变换可以与神经网络、遗传算法等结合,在近红外分析领域呈现出良好的发展前景。     

小波变换应用于谐波谱线的噪声滤除与基线校正

红外光谱谐波检测系统中的噪声与基线漂移问题一直是光谱处理的热点,提出一种采用小波变换的Mallet分解算法, 解决谐波检测中各种复杂噪声以及基线漂移的问题。选取适当小波函数及分解层次将谐波曲线中含有的噪声和基线漂移与有用信号分解到不同频带;分析频带信息,设定一个检测信息频带, 应用阈值处理及系数置零的方法使频率处于此频带的信息保留下来。小波变换方法可以在一次分解与重构过程中同时去除谐波信号的噪声与基线的双重干扰,从而将谐波信号有效地测量出来。实验证明,应用小波变换进行谐波校正的方法可应用于不同的谐波检测系统,具有普遍适用性。     

基于卷积型小波包变换的谱线自动提取方法

天体光谱中的谱线包含重要的天体物理信息。文章提出一种基于卷积型小波包变换的谱线自动提取方法。该方法由以下主要步骤组成：(1)将观测光谱进行4层卷积型小波包变换;(2)对第四层小波包系数,采用区域相关算法以及阈值处理方法进行噪声处理;(3)选择中高频小波包系数进行谱线特征重构;(4)根据重构后的谱线特征,利用谱线搜索方法,在观测光谱中提取谱线。作者在实验中用恒星、正常星系和活动星系光谱进行谱线提取测试,结果表明该方法具有对噪声鲁棒和谱线提取准确等特点。用该方法提取sloan digital sky survey(SDSS)光谱中的谱线后,计算了红移并与SDSS给出的红移进行了对比,实验结果间接验证了该方法提取谱线的有效性。     

基于小波变换的木材近红外光谱去噪研究

木材近红外光谱常常被一系列噪声所污染,影响光谱分析结果。为了提高近红外光谱分析精度,需要对光谱数据进行预处理。光谱导数可以消除光谱背景干扰和基线漂移等因素影响,提高光谱分辨率,但导数光谱在增强信号的同时,也使信号噪声得到增强。应用小波变换对杉木木材近红外一阶导数光谱进行去噪研究,分别采用9点平滑法、25点平滑法、非线性小波硬阈值和软阈值法、9点平滑+小波变换法和25点平滑+小波变换法对光谱数据进行去噪研究。结果显示, 小波变换能够有效去除导数光谱中的噪声信号,保留光谱中的有效信息,提高光谱信噪比,提高光谱的分析能力,在木材近红外光谱分析中具有很好的应用前景。     

近红外光谱的数据预处理研究

进行了小麦样品近红外光谱数据的预处理研究,一般仪器记录的样品近红外光谱数据中包含有一系列噪声和干扰信号,因此适当的预处理是进行后续光谱定标、建模及模型传递的基础,对可靠地获得准确分析结果具有很重要的作用。结合小麦样品蛋白质含量近红外光谱分析工作,对由近红外光栅光谱仪和傅里叶变换近红外光谱分别记录的66种小麦样品光谱数据,采用高斯一阶、二阶导数小波变换方法进行了预处理。对比常用的一阶差分预处理,证明高斯函数导数小波变换方法是十分有效、实用的,预处理后光谱曲线非常光滑、噪声消除效果明显,富含有用光谱分析信息的区域更加清晰显示,因而非常有助于后续的光谱定标、建模和模型传递工作。     

有机堆肥中作物营养元素钾的近红外光谱快速分析

对近红外光谱数据进行小波变换,利用处理后的小波系数,采用偏最小二乘法预测了有机肥料中钾离子(K+)的含量,建立了小波变换与近红外光谱技术结合用于测定奶牛粪便为主的有机堆肥产品样品中无机钾离子测定的模型。结果表明： 小波变换充分提取了近红外光谱的信息,数据压缩为原始大小的3.6%,计算量大大减少;文章利用C4小波系数对48个有机肥料样本进行建模,对42个预示集样本进行预测,预示集的RMSEP(root mean square error of prediction)和r2(correlation coefficient)分别为0.113 8%和0.927,优于原始光谱直接建模的0.167 2%和0.835%。基于小波系数的模型优于传统的全谱模型,对于无机离子(K+)的测定可以取得较为准确的预测结果。     

基于小波包和偏最小二乘支持向量机的多光谱纹理图像的大米分类研究

提出了一种利用多光谱图像纹理特征进行大米分类的新方法。图像由MS3100-3CCD光谱成像仪获得,光谱成像仪提供3个波段的图像,由近红外(NIR)、红色(R)和绿色(G)组成,因此它能够获取普通数码照相机所不能获取的信息。对3CCD近红外波段图像进行二层小波包分解,得到16个子频带,因为纹理图像的特征信息主要集中在中频,因此提取8个中频频带(带通频带)的熵值,并且作为支持向量机的特征值输入。最后应用支持向量机技术分别对有和没有经过小波包分解的NIR波段纹理图像的熵值进行建模,建模样本和预测模型各为80个,每种各为20个。对四种大米进行处理,结果表明,经过小波包分解的纹理图像的识别率达到了100%,而没有经过小波包分解的纹理图像的识别率只有93.75%,说明结合小波包和支持向量机进行多光谱图像的纹理识别是种非常有效的技术,同时也为大米的分类提供一种快速和无损的新方法。     

近红外光谱预处理中几种小波消噪方法的分析

以菜籽油的一阶导数近红外光谱为研究对象,探讨小波变换在近红外光谱信号消噪方面的应用,分别采用九点平滑法、小波分解与重构法、非线性小波软阈值法和小波变换模极大值法对导数光谱进行消噪处理并对消噪效果进行比较分析。结果表明,小波变换模极大值光谱消噪法得到了较高的信噪比,小波软阈值法次之,其余两种方法消噪效果较差。小波变换模极大值法有效的保留了光谱的有用信息,为近红外光谱的分析精度和模型的稳健性奠定了良好的基础。     

多尺度边缘检测方法提取近红外光谱信息特征的研究

利用小波变换中的多尺度边缘检测方法对甲硝唑药片近红外光谱进行了信息特征的提取。通过偏最小二乘法建立所提取的特征与甲硝唑浓度之间的数学模型,并进行精度分析。结果表明,小波变换多尺度边缘检测能够有效分离并提取光谱信息特征,降低噪声,为一种有效的光谱信息特征提取方法,为解决近红外光谱中光谱叠加严重和信息率低等难题提供了一种思路。     

基于GA和SCMWPLS算法的NIR光谱信息变量提取研究

光谱数据压缩、信息变量提取是近红外应用研究的热点,是简化模型、提高预测精度的重要手段。本文以杏可见/近红外光谱为例,采用二阶导数、标准化和正交信号校正(OSC)处理以滤除光谱与浓度阵无关的信号;使用SCMWPLS选择出880,894～910和932 nm为建模区间建立PLS预测模型,其相关系数(R)、校正误差(SEC)和预测误差(SEP)分别为0.920,0.454和0.470;进行独立运行GA程序100次,依次选择入选频率较高的2个波长点888和900 nm作为回归变量,建立GA-MLR预测模型,其R, SEC, SEP分别为0.905,0.488和0.459,均优于全谱的偏最小二乘建模结果。结果显示,OSC可以滤除光谱与浓度阵无关的信号,减少建立模型所用的主因子数;SCMWPLS和GA可以寻找最优信息变量组合。该方法对于建立低维度、高精度近红外快速分析模型具有普遍参考意义。     

近红外光谱(NIRS)技术快速测定湖泊沉积物营养组分研究

湖泊沉积物保存了湖泊环境演化的重要信息,但目前还没有建立起快速、准确的湖泊沉积物营养组分组合分析方法。该文利用近红外光谱(NIRS)技术,采用一阶导数、小波滤噪、正交信号校正、小波滤噪+正交信号校正、一阶导数+正交信号校正、正交信号校正+小波压缩6种光谱预处理技术和偏最小二乘(PLS)法相结合在国内建立了NIR光谱测定湖泊沉积物柱芯样品中总碳(TC),总氨(TN),总有机碳(TOC)和总磷(TP)的校正模型,结果表明虽然NIR光谱校正模型对TOC的预测效果不理想,但一阶导数+正交信号校正光谱校正模型对TC和TN,正交信号校正光谱校正模型对TP的预测效果较好,预测相关系数分别为0.759 7(TC),0.865 0(TN)和0.811 2(TP),预测误差(RMSEP)分别为0.13%(TC),0.008 2%(TN)和0.012%(TP)。该研究对于推动我国湖泊沉积物的光谱学特性研究具有重要意义。     

简化苹果糖度预测模型的近红外光谱预处理方法

采用正交信号校正法(OSC)和净分析物预处理法(NAP)分别对苹果的近红外光谱(1300~2100 nm)进行预处理,并结合偏最小二乘法(PLS)建立了糖度预测模型。应用结果显示,随着预处理过程中所用的正交信号校正因子或净分析物预处理因子的逐渐增加,偏最小二乘糖度模型(OSC/PLS模型和NAP/PLS模型)所采纳的最佳因子数也会随之减少,甚至可减至1。当采用10个正交信号校正因子预处理苹果光谱时,OSC/PLS糖度模型达到最佳性能,最佳模型采纳的因子数为2;采用11个净分析物预处理因子预处理光谱时,NAP/PLS糖度模型达到最佳性能,最佳模型采纳的因子数为1。从总体上评价,最佳OSC/PLS糖度模型和最佳NAP/PLS糖度模型的性能都明显优于原始光谱的最佳偏最小二乘模型。这些结果表明,正交信号校正法和净分析物预处理法都能在保证精度的同时有效地简化苹果糖度预测模型。     

双光谱区间遗传算法及其在模型转移中的应用

在近红外光谱分析中，将近红外光谱和浓度信息建立统计模型，通过光谱代入模型即可预测未知样本浓度。但是，检测条件的变化会导致光谱的改变，进而导致原有的模型不能准确预测光谱改变后的样本。对此，模型转移可以通过校正新测量的光谱（从光谱），使得从光谱能够被原有光谱（主光谱）建立的模型准确预测。模型转移可以使用全光谱进行校正，但是全光谱中往往包括噪声、背景等干扰信息，这些干扰会增加预测误差。故可以使用变量选择方法找出光谱中有化学意义的信息来模型转移。但是一般的变量选择算法只选择主光谱的区间，从光谱使用主光谱相同的波长区间模型转移。但是在实际工作中，主光谱和从光谱有化学意义的区间往往不一致，主从光谱使用同一区间模型转移会增加误差；此外，有时二者原光谱的波长范围并不一致，从主光谱选出的区间不能用于从光谱的校正。对此，提出了基于双光谱区间遗传算法（GA-IDS），同时选择主光谱和从光谱有化学意义的区间，进而实现模型转移。GA-IDS算法步骤包括，①随机产生种群；②分析种群中每条染色体，删去错误染色体；③根据每条染色体，找出其相应的主光谱和从光谱波段组合，并计算其模型转移后的验证均方根误差(RMSEV)；④按照概率，执行选择、交叉、变异操作。在一次迭代结束之后，返回到步骤②，重新执行纠错、计算RMSEV、选择、交叉、变异。达到停止迭代的要求后，将最低的RMSEV值所对应的染色体保存下来作为最优染色体，其所对应的主从光谱区间作为最优区间。用玉米、小麦两套数据测试了该算法，结果显示，与全光谱相比，GA-IDS选择的主从光谱区间可以显著地降低误差；与向后迭代区间选择法（IIBS）相比，在小样本情况下，GA-IDS的误差显著地小于IIBS方法。     

基于OSC-PLS算法对大麦蛋白质含量进行定量分析的研究

用色散扫描型仪器采集大麦样品的近红外光谱,扫描出的光谱携带了大量样品化学值信息,采用正交信号校正(OSC)预处理方法对这些原始光谱进行处理,剔除噪声等不相关因子以后建立偏最小二乘(PLS)近红外光谱分析模型(OSC-PLS),预测大麦蛋白质的含量,并与传统PLS建模方法进行对比。基于OSC-PLS算法的蛋白质含量近红外光谱分析模型的测定系数R2为0.901,检验集的化学值与模型预测值的相关系数r达到0.971 7,分析模型的预测标准偏差SD为0.545 0,相对标准偏差RSD为4.2%。结果表明,OSC-PLS回归方法能在较大程度上消除无关因素的影响,在简化模型的同时提高了模型的可解释性,能够建立准确的大麦蛋白质含量近红外预测模型,可代替经典分析方法,满足农产品快速分析的需要。     

基于近红外漫反射光谱的烃源岩生烃潜量的确定

对比了近红外光谱和中红外光谱对烃源岩样品生烃潜量的定量分析能力.由于近红外光谱受样品的颗粒度、密度、表面粗糙度等造成的光散射的影响更大,使得其漫反射光谱数据的信噪比很低,背景干扰很大,很难直接应用于定量分析.因此需要一种有效的方法对近红外漫反射数据进行预处理来消除散射的影响.本文对比了正交信号校正算法(OSC)及其两种...     

基于近红外和中红外光谱数据融合以及竞争自适应重加权采样方法对甲维盐制剂中活性成分的测定

农药活性成分的快速测定已经成为农药质量监控的一个大趋势。通过融合甲维盐制剂近红外和中红外得光谱数据,旨在用数据融合的方法建立一种快速可靠的测定甲维盐制剂活性成分的方法。采用了将偏最小二乘回归法与数据融合相结合,以及用竞争自适应重加权采样法来选择偏最小二乘回归中的有效变量的方法。与近红外和中红外各自建立的模型相比,数据融合在吸取了近红外光谱和中红外光谱相互补充的信息后,具有协同效应的模型效果有了很大的提高。同时,证实了竞争自适应重加权采样法在建模过程中是一个使得模型更加简单高效的有效的变量选择技术。研究结果表明在吸收了不同来源的多种信息之后的数据融合是一种能提高模型效果的很有效的建模方法。数据融合策略的可行性使得测定低浓度(0.1%～1.0%)样品能获得更好的结果,而且结合了变量筛选算法的对近红外和中红外光谱的数据融合,是一个很有前景的测定商业农药制剂中有效成分的方法。最后建立了一种基于近红外光谱和中红外光谱数据融合来测定商业甲维盐制剂的有效成分的方法。     

基于便携式近红外技术的生鲜乳品质现场评价

生鲜乳作为乳制品生产的基本原料,其质量是保证乳制品食用安全、维护人类健康的基础。可见/近红外光谱技术结合化学计量学方法,构建生鲜乳品质指标的数学模型,实现生鲜乳品质的现场评价。在不同年份,收集88份来自不同奶牛个体的生鲜乳样品。便携式光谱仪采集生鲜乳漫透射光谱(500~1 010 nm),二阶导数和卷积平滑进行光谱预处理,以消除脂肪球引起的光散射和高频噪声。变窗宽移动窗口偏最小二乘法(CSMWPLS)和遗传偏最小二乘法(GAPLS)用于筛选信息区间,并构建预测模型。CSMWPLS与GAPLS模型的预测性能相当,脂肪、蛋白质、干物质和乳糖的预测标准误差(RMSEP)分别为0.115 6/0.103 3,0.096 2/0.113 7,0.201 3/0.123 7和0.077 4/0.066 8,相对预测误差(RPD)分别为8.99/10.06,3.53/2.99,5.76/9.38和1.81/2.10。同时构建了生鲜乳品质指标的多元线性回归(MLR)方程,采用的最优变量数分别为8,10,9和7。采用外部数据集检验,MLR预测性能与PLS相近甚至更优,脂肪、蛋白质、干物质和乳糖模型的RMSEP分别为0.107 0,0.093 0,0.136 0和0.065 8;相对预测误差(RPD)分别为9.72,3.66,8.53和2.13,可用于现场准确测量。结果显示,便携式近红外光谱仪结合MLR模型可实现生鲜乳品质的现场快速评价,为生鲜乳按质论价收购提供了一种新方法,同时为便携式乳品近红外专用仪器设计提供技术参考。     

BiPLS结合GA优选可见/近红外光谱MLR变量

利用反向区间偏最小二乘法(BiPLS)定位光谱糖度若干信息区间,运用遗传算法(GA)从中选择波长点,建立了多元线性回归(MLR)模型。光谱进行卷积平滑和二阶导数处理后,将光谱(225个数据点)分割成25个子区间时,BiPLS优化结果最优。在所定位的信息区间进行GA二次选择特征变量,运行100次依次选择入选频率较高的12个波长点。为简化MLR模型,对于入选的相邻波长选择频率较高者,最后选择 638,734,752,868,910,916和938 nm作为回归变量,建立的MLR预测模型相关系数(R2)、校正均方根误差(RMSEC)和预测均方根误差(RMSEP)分别为0.984,0.364和0.471,优于常用的逐步多元线性回归的建模结果。表明BiPLS结合GA可以有效地对李子糖度可见/近红外光谱MLR回归变量进行筛选,提高了模型的精度。