MAXR回归法在近红外光谱定量分析及最优波长选择中的应用研究

介绍了运用MAXR回归法建立傅里叶变换近红外光谱定量分析模型的原理和方法。以此方法,由Matlab语言设计程序,进行近红外光谱定量分析建模的波长信息选择。并以小麦样品为实验材料,建立了蛋白质含量的近红外光谱定量分析模型,其中优选出2个和3个波长点处光谱信息建立的多元回归模型的预测结果与凯氏定氮法分析结果相关系数分别为0.977 1和0.976 5,标准差分别为0.335和0.340。MAXR回归法在进行波长信息,选择时可建立分别包含1,2,…,k个波长点信息的最优回归模型,且计算量适中,因此是一种实用的选择“最优”波长信息的回归方法。该方法不仅可少而精选择波长信息,建立抗共线性信息干扰的光谱定量分析模型,而且对于特定样品、特定待分析组分,选择最优波长信息建模分析的工作,可指导专用近红外分析仪器的设计。     

实用化商品玉米籽粒的近红外光谱品种判别方法研究

近年来利用近红外光谱进行农作物品种判别成为农产品检测的一个新兴方向.该文提出一种基于近红外光谱的新的实用化商品玉米品种判别系统,此系统既能对系统学习过的品种做出准确判别也能对未学习过的品种做出准确拒识.首先采用一阶导数法对原始光谱进行预处理,光谱数据经主成分分析后,根据仿生模式识别理论建立判别模型.在建市模型时文章使用了基于二维单形的Ψ-3神经元作为覆盖单元,并提出了包含指数的概念以辅助判定样品的唯一归属.测试结果表明,该系统对参与建模的品种有较强的判别能力,即使建模品种达到34个时系统平均正确判别率仍达到91.8%.同时对于未参与建模的品种也有较强的拒识能力,平均正确拒识率达到95%以上.     

岭回归在近红外光谱定量分析及最优波长选择中的应用研究

以66个小麦样品为试验材料,研究岭回归方法在近红外光谱定量分析中的应用。用44个小麦样品的近红外光谱数据建立测定蛋白质含量的近红外-岭回归模型,预测其余22个小麦样品的蛋白质含量。预测结果与凯氏定氮法分析结果(化学分析值)的平均相对误差为1.518%,与偏最小二乘法(PLS)预测结果进行比较,显示岭回归方法可用于近红外光谱定量分析;进一步,为了减少无关信息对定量分析模型预测能力的干扰,一种有效的方法就是进行波长信息的选择。从1297个波长点中优选出4个波长点,利用这4个波长点处的光谱信息建立近红外-岭回归模型预测22个样品的蛋白质含量,预测结果与凯氏定氮法分析结果之间的平均相对误差为1.37%,相关系数达到0.9817。结果表明岭回归方法从大量光谱信息中筛选出了最重要的波长信息、不仅简化了模型,有效的减少了光谱信息共线性的干扰,而且对特定分析选择出适用的波长对指导设计专用近红外定量分析仪器亦有实际意义。     

潜变量聚类分析法在近红外光谱波长范围选择中的应用研究

介绍了潜变量聚类分析方法的基本原理,并将该方法应用于近红外光谱定量模型的谱区选择。以烟草样品为例,对107个样品的光谱进行处理,将光谱分为5簇,从化学角度分别解释了这5簇各自反映的信息。在此基础上,选择相应的波长范围用PLS方法建立了总糖、还原糖和尼古丁的定量分析模型。与全谱模型相比,3个模型的交互验证相关系数(Rtraining)分别由0.977 1,0.917 2,0.987 4提高到0.995 5,0.975 1,0.994 4;验证样品相关系数(Rtest)由0.977 8,0.941 2,0.993 2提高到0.992 7,0.967 9,0.994 0;交互验证均方差(RMSECV)由1.09,1.43,0.14降为1.05,1.05,0.13;预测残差均方差(RM-SEP)由0.92,1.17,0.16降为0.39,0.63,0.11;预测样品间平均标准误差(D)由1.274%,1.972%,0.829%降为0.711%,0.843%,0.768%,表明用该方法建立模型的预测准确度和精密度均有所提高,对实际应用有一定的指导作用。     

基于数字滤波的主动式高光谱成像系统及其波长标定

基于数字滤波技术,提出了获取物体反射光谱数据立方体和光谱响应曲线的主动式新型高光谱成像系统。对传统WDF型瓦兹渥斯反射式单色仪进行了改装,在入射光一定的情况下,增大出射光通量,提高了照射在物体表面的光强。利用数字滤波方式代替光学窄带滤波器,解决了多个光学滤光片不能连续可调和其他滤波器成本高的问题,建立了波长连续可调,带宽可调的高光谱成像系统。针对系统的特点和采集方式,提出了适当的定标方式,其波长误差2nm。得到了绿色树叶效果良好的光谱数据立方体和响应曲线,表明提出的系统适用于实验室中小视场内的光谱成像测量研究。     

荧光高光谱结合特征波长筛选的脐橙表面农药残留快速检测

采用荧光高光谱成像技术对脐橙表面不同浓度毒死蜱和多菌灵进行判别。实验通过由氙灯光源激发的高光谱成像系统(392～998.2 nm)分别采集浓度为0, 0.5, 1, 2mg·kg^-1的毒死蜱和0, 1, 3, 5mg·kg^-1多菌灵的高光谱图像。使用ENVI软件获取样本的感兴趣区域(ROI);对原始光谱数据采用卷积平滑(SG)、标准正态标量变换(SNV)及一阶导数(FD)方法进行预处理;采用区间变量迭代空间收缩法(iVISSA)、无信息变量消除算法(UVE)和竞争性自适应加权算法(CARS)进行一次提取特征波长,二维相关光谱(2D-COS)方法进行二次提取特征波长。最后采用主成分分析与线性判别分析相结合算法(PCA-LDA)和偏最小二乘算法(PLS-DA)建立基于两次提取特征波长脐橙表面不同浓度毒死蜱和多菌灵残留的判别模型。将原始光谱数据与经过预处理的3种光谱数据进行建模分析,结果发现毒死蜱和多菌灵的光谱数据经过SG处理后模型效果最优。对经SG预处理后的毒死蜱光谱数据和多菌灵光谱数据进行特征波长一次提取,最佳特征波长分别为iVISSA法和CA...     

高光谱技术结合特征波长/光谱指数对冬枣成熟度可视化判别

为了给冬枣采收后成熟度分级提供理论指导,运用高光谱技术获取特征波长和计算光谱指数对其成熟度可视化分级。采集三类成熟度冬枣(未成熟果、白熟-初红果、半红-全红果)样本共336个并获取其高光谱信息,通过Savitzky-Golay(S-G)平滑对原始光谱降噪后再用Kennard-Stone(K-S)方法将样本分为训练集(226个)和测试集(110个)。选用连续投影法(SPA)和竞争性自适应重加权采样法(CARS)选择特征波长(CWs);同时从水果生理成分变化角度引入7个光谱指数(SIs)。基于SPA和CARS选取的CWs和引入的SIs分别建立偏最小二乘判别分析(PLS-DA)模型,并比较了3个模型的分级效果。结果表明：基于SPA和CARS选择的特征波长和引入的SIs建立的PLS-DA模型判别精度分别为：97.27%,95.45%和98.18%。为了直观展现判别结果,选用SIs建立的PLS-DA回归系数拟合判别向量Y的回归方程,依据Y中最大值元素所在类别为该样本预测类别的规则,将结果用不同颜色直观显示。该研究为冬枣成熟度可视化分级提供了思路,引入的SIs参数为开发适于多种水果成熟度分级的设备提供了技术支撑。     

近红外高光谱的活体玉米叶片水分成像研究

无损检测植物叶片水分对植物生理生化研究及灌溉管理和旱情监测等均具有重要意义。利用Gaia Sorter近红外高光谱仪(900～1 700 nm),以不同生育期的60个鲜活玉米叶片为试验材料,对叶肉不同区域的平均光谱及烘干称重法得到的水分含量分别用偏最小二乘法(PLS)及逐步多元线性回归(SMLR)进行建模分析。结果表明,验证集决定系数/标准偏差分别为0.975/1.18和0.980/1.02,均取得较好的预测效果,可实现单个玉米叶片平均含水量的测定;SMLR优选的特征波长(1 406和1 692 nm)建模预测结果表明,利用高通量近红外相机结合滤光片方法实现玉米叶片冠层或高空遥感测量的可行性。同时,进行了叶片不同区域水分含量的成像分析,结果表明,验证集中6个叶片的叶肉与主叶脉区域水分含量的参考均值和预测均值的相关系数均达到0.85以上,预测结果与实际情况相符合。     

基于高光谱图像技术的玉米杂交种纯度鉴定方法探索

对玉米种子高光谱图像的光谱维信息进行分析,探索利用高光谱图像技术鉴定玉米杂交种纯度的可行性。实验中利用高光谱成像系统采集玉米品种农华101的母本和杂交种的高光谱图像, 波长范围871～1699 nm;在每个玉米样本上提取感兴趣区域的平均光谱信息,利用处理后的数据建立农华101母本和杂交种的鉴定模型。讨论了样品的摆放方式(种子胚正对光源和背对光源,种子在样品台上的位置)和实验环境对鉴定模型性能的影响。鉴定模型对不同摆放方式和实验环境下获得的同种样品的光谱的正确识别率和正确拒识率均达到90%以上,模型稳健性良好。利用Qs方法选择特征波段[1],发现在1 230 nm附近(1 195～1 246 nm)农华101的母本和杂交种差异最大。实验中利用特征波段内的数据进行建模和测试,正确识别率和正确拒识率达到90%以上,与利用全波段(925～1597 nm)获得的识别效果相当。分析结果表明,利用高光谱图像技术鉴定玉米杂交种纯度是可行的。     

光谱特征波长的SPA选取和基于SVM的玉米颗粒霉变程度定性判别

利用波长范围在833～2 500 nm的傅里叶变换近红外光谱(Fourier transform near infrared spectroscopy, FT-NIR)对不同霉变程度的玉米颗粒进行检测区分。首先,为避免光谱数据首尾噪声影响,对比四种常见的预处理方法,最终选择移动平均平滑法对原始光谱数据进行预处理;然后为选出合适的样本集划分方法以提高模型预测性能,对常见的四种方法进行对比,最终利用SPXY(sample set partitioning based on joint x-y distance)法进行样本集划分;进一步为减少数据量,降低维度,使用连续投影算法(successive projections algorithm, SPA)提取出7个特征波长,分别为833,927,1 208,1 337,1 454,1 861和2 280 nm;最后,将七个特征波长数据作为输入,选取径向基函数(radial basis function, RBF)作为支持向量机(support vector machine, SVM)核函数,取参数C=7 760 469,γ=0.017 003建立判别模型。SVM模型对训练集和测试集的预测准确率分别达到97.78%和93.33%。另取不同品种的玉米颗粒,以同样的标准挑选样品组成独立验证集,所建立的判别模型对独立验证集的预测准确率达到91.11%。结果表明基于SPA和SVM能有效地对玉米颗粒霉变程度进行判别,所选取的7个特征波长为实现在线霉变玉米颗粒近红外检测提供了理论依据。     

高光谱技术结合特征波长筛选和支持向量机的哈密瓜成熟度判别研究

可溶性固形物含量(SSC)和硬度是哈密瓜划分等级的重要指标,同时也是其成熟度的表征因子。因此,为满足哈密瓜自动化分级和适宜采摘,采用高光谱技术结合特征波长筛选的方法,同时对哈密瓜的可溶性固形物含量、硬度及成熟度进行了无损检测研究。对多元散射校正(MSC)处理后的光谱分别利用连续投影算法(SPA)、竞争性自适应重加权算法(CARS)和CARS-SPA方法筛选了哈密瓜可溶性固形物和硬度的特征波长,并将原始光谱、MSC预处理后的光谱和所筛选的特征波长作为输入变量分别建立哈密瓜可溶性固形物和硬度的支持向量机(SVM)预测模型及成熟度判别模型。结果显示,MSC-CARS-SPA方法所建立的可溶性固形物和硬度SVM预测模型最优,其R_pre, RMSEP和RPD分别为0.940 4, 0.402 7, 2.94 1和0.825 3, 35.22, 1.771。同时对哈密瓜成熟度进行了判别分析,并分别建立了基于全光谱、单一的可溶性固形物或硬度特征波长和主成分分析(PCA)特征融合的哈密瓜成熟度SVM判别模型。结果显示,CARS-PCA-SVM模型的判别结果与全光谱SNV-SVM模型相同,其校正集和预测集判别正确率分别为95%和94%。研究表明,利用高光谱技术结合特征波长筛选方法可实现同时对哈密瓜可溶性固形物和硬度的定量预测及成熟度判别。     

基于DS算法的玉米近红外定性分析光谱校正方法研究

从校正的角度出发,研究了近红外定性分析中模型稳定性问题。以13个玉米品种为研究对象,针对数据采集时间不同带来的模型失效问题,借鉴近红外光谱定量分析中两台仪器间模型传递的思想,将直接模型传递(Direct Standardization)算法用于校正同一仪器不同时间采集的光谱, 使得一次建立的品种鉴别模型,能用于其余时间测试数据的鉴别。首先采用Kennard/Stone算法在主光谱集中选取校正样品集,按照对应的编号从从光谱集中取出对应的数据,然后对校正样品集采用DS算法求取两组数据间的变换关系,再对剩余的从光谱集进行相应的变换得到适用于模型的光谱。实验中对比了校正样本数和模型校正位置对校正结果的影响,分别从品种定性鉴别准确性和校正前后主光谱数据和从光谱数据分布距离两方面分析了实验结果。结果表明,该方法能有效地解决同一仪器随着采样时间推移产生的光谱偏移现象,对采样时间不同的测试集均得到较高的识别率,提高了模型的鲁棒性和适用范围,由实验结果可见,校正位置处于特征提取之后时,校正效果最佳。     

玉米品种近红外光谱鉴别技术中的参数漂移问题研究

以13个玉米品种鉴别为研究对象,提出了一种解决光谱仪参数漂移问题的有效方法。使用同一台光谱仪分不同时间重复采集数据,用一天数据建模,其余测试,发现不同时间采集的数据有较大偏移,严重时正确识别率仅为7.69%。为此,提出一种有监督学习特征提取的多天联合建模方法,首先挑选具有代表性的多个时间段样本数据共同组成建模集,其次采用PLS+LDA特征提取算法,提取出与仪器参数漂移无关的品种特征信息, 然后采用BPR方法建立品种鉴别模型。实验结果表明,该方法对于不同时间数据的偏移均能有较好的校正效果,得到较高的识别率和稳定性。     

不同波长提取方法的高光谱成像技术检测番茄叶片早疫病的研究

提出了基于连续投影算法(successive projections algorithm,SPA)、载荷系数法(x-loading weights,x-LW)和格拉姆-施密特正交(gram-schmidt orthogonalization,GSO)提取特征波长的高光谱成像技术检测番茄叶片早疫病的方法。首先获取380～1 023 nm波段范围内70个健康和70个染病番茄叶片的高光谱图像信息,然后提取健康和染病叶片感兴趣区域(region of interest, ROI)的光谱反射率值,建立番茄叶片早疫病的最小二乘-支持向量机(least squares-support vector machine,LS-SVM)鉴别模型,建模集和预测集的鉴别率都是100%。再通过SPA 、x-LW和GSO提取特征波长(effective wavelengths,EW),并建立EW-LS-SVM和特征波长-线性判别分析(ew-linear discriminant analysis,EW-LDA)鉴别模型。结果显示,每个模型的鉴别效果都很好,EW-LS-SVM模型中预测集的鉴别率都达到了100%,EW-LDA模型中预测集的鉴别率分别是100%, 100%和97.83%。基于SPA, x-LW和GSO所建模型的输入变量分别是4个(492,550,633和680nm),3个(631,719和747 nm)和2个(533和657 nm),较少的特征波长便于实时检测仪器的开发。结果表明,高光谱成像技术检测番茄叶片早疫病是可行的,SPA,x-LW和GSO都是非常有效的特征波长提取方法。     

基于高光谱成像提取苹果糖度与硬度最佳波长

利用高光谱成像技术提取可同时检测苹果糖度与硬度的最佳波长。首先双面采集苹果的高光谱图像,获取亮度相近感兴趣区域(ROIs)的反射波形,采用二阶导数结合标准正态变量(SD+SNV)的方法平滑波形,测试ROIs的糖度与硬度;之后采用连续投影算法(SPA)提取两项指标的特征波长,根据特征波长的分布提出二次连续投影算法,结合波形集特征与两次投影结果确定不同取样面的最佳波长;最后采用遗传算法开发神经网络(GA-BP)建立预测模型,双面取样波长(543 nm和674 nm)效果最优,糖度相关系数(R)为0.847 6,均方误差(MSE)为3.32;硬度R为0.793 8,MSE为9.6。结果表明,相同波长信息可以检测苹果糖度与硬度。     

基于小波包能量熵和Fisher判别的油纸绝缘老化拉曼光谱诊断

准确诊断油纸绝缘材料的老化程度是保证油纸绝缘设备安全运行的重要技术手段。拉曼光谱在物质成分分析及状态诊断领域已经普遍应用。结合实验室搭建的油纸绝缘拉曼光谱分析平台,根据绝缘纸的平均聚合度将加速热老化实验获得的油纸样本分为四个老化阶段。通过对不同老化样本拉曼光谱所包含的能量信息分析,运用小波包能量熵提取特征量,结合Fisher判别法构造判别函数,建立基于拉曼光谱老化特征量的油纸绝缘老化诊断模型,并收集现场变压器油样验证诊断模型的泛化能力。结果表明,两个判别函数能区分不同老化阶段的绝缘油样,对于老化样本的判别正确率达到84.2%。拉曼光谱结合小波包能量熵和Fisher判别分析法能够有效地对油纸绝缘老化状态进行诊断。     

荧光光谱成像技术结合主成分分析与Fisher判别快速鉴别肉苁蓉

为探究一种快速、可靠的肉苁蓉属中药材检测方法,实验采用荧光光谱成像技术结合模式识别方法对肉苁蓉属三种中药材：荒漠肉苁蓉、管花肉苁蓉和沙苁蓉进行鉴别研究。实验中发现肉苁蓉样品存在较显著的荧光特性,采集来自不同产地、不同批次以及不同超市购买的三种肉苁蓉属药材的40个样品的荧光光谱图像,对图像进行去噪、二值化处理后,根据光谱立方体绘制每个样本的光谱曲线,将所得450～680 nm波段范围内的光谱数据作为鉴别分析的研究对象,应用主成分分析法(PCA)对三种肉苁蓉的光谱数据进行降维处理,再结合Fisher判别方法对三种肉苁蓉进行鉴别。分别比较多元散射校正(MSC)、标准正态变量校正变换(SNV)以及一阶微分(FD)三种数据预处理方法对鉴别模型的影响,并根据主成分的累积贡献率和主成分因子数对判别模型效果的影响对主成分因子数进行优化。分析结果表明：一阶微分预处理后提取前四个主成分进行Fisher判别的鉴别效果最佳,PCA结合Fisher判别建立肉苁蓉属三种药材的判别模型原始判别的准确率达到100%,交叉验证的准确率达到95%。由此可见,利用荧光光谱成像技术结合主成分分析及Fisher判别对肉苁蓉属三种药材的鉴别分析是可行的,而且具有操作简便、快速、可靠等优点。     

光谱仪器信噪比与建模波长数对光谱分析精度的影响

为了研究光谱建模分析中光谱仪器噪声和参与建模的波长数两个因素与定量分析精度之间的关系,针对不同信噪比对模型精度的影响、参与建模的波长数与分析精度的关系、不同信噪比波段中多波长参与建模对分析精度的影响三个方面进行了理想样本建模分析。实验结果表明：光谱测量仪器的噪声水平直接影响建模分析误差,而使用多波长尤其是信噪比较好的波段的光谱参与线性建模,近似满足波长数每增加4倍,分析精度提高2倍的关系,能够在一定程度上弥补信噪比的不足。研究为在光谱分析中充分利用和提高光谱仪器信噪比、合理选择参与建模波长数及波段,从而提高光谱定量分析精度提供了实验基础和理论指导。     

基于高光谱成像技术的不同产地小米判别分析

高光谱成像技术被广泛应用于农产品的检测。基于高光谱成像技术结合机器学习算法无损鉴别不同地区的小米样本。将来源7个省份共计23份样品的小米样本根据地理区域划分为东北地区、河北、陕西、山东和山西共5大类,其中东北地区共6份样品,山西地区5份样品,河北、陕西和山东各4份样品。将每份样品均分为10等份并利用高光谱成像仪采集900～1 700 nm波段内小米的高光谱数据。为了减少光照不均匀和暗电流对实验的影响,对采集到的高光谱数据进行黑白校正。利用ENVI软件选取小米高光谱图像的感兴趣区域(ROI),每份小米样品选取9个ROI。计算ROI内的平均光谱值,以此平均值作为该样本的一条光谱记录,最后共收集到2 070条光谱曲线,其中东北类540条,山西类450条,其他河北类、山东类、陕西类各360条。为了减少样品表面的不平整性引起的散射现象,进而影响小米的真实光谱信息,对收集到的原始光谱进行多元散射校正预处理(MSC)。采用随机划分法对校正过后的光谱数据划分训练集和测试集,测试集占的比例为0.3。利用线性判别分析(LDA)对不同产地小米的光谱数据进行可视化分析,将测试集代入训练好的LDA模型,做出预测结果的混淆矩阵(Confusion Matrix),结果表明LDA对于陕西和山西类的预测准确率为0.84和0.99,对于东北、河北和山东的预测准确率仅为0.68,0.68和0.40。进而采用递归特征消除(RFE)对小米的光谱信息进行特征选择,去除冗余的信息,提高模型的预测准确率。将RFE分别与支持向量机(SVM)和逻辑回归(LR)结合,对不同产地小米的判别进行对比分析。将小米光谱数据的训练集分别代入SVM-RFE和LR-RFE模型并结合3折交叉验证技术,以模型F值的微平均(Micro-averaging)最优选择出相应的特征子集。结果表明,LR-RFE选择的波长数为74个,其模型的Micro_F为0.59;SVM-RFE选择的波长数为220,其模型的Micro_F为0.66。将选择后的特征子集应用到测试集并将测试集分别代入SVM和LR模型,采用模型预测结果的混淆矩阵和模型的受试者工作特征曲线(ROC)作为评价方法。结果表明SVM-RFE对东北地区、河北、陕西、山东和山西的预测准确率分别为1,0.37,0.72,0和1,其ROC曲线下面积(AUC)分别为0.82,0.92,0.93,0.70和0.99。LR-RFE的预测准确率分别为0.92,0,0.97,0和0.80,其AUC分别为0.72,0.74,0.94,0.66和0.88。从预测结果可以看出SVM-RFE模型的综合分类性能优于LR-RFE,而对陕西类的判别LR-RFE要优于SVM-RFE,对于河北类和山东类两个模型都不能有效判别。这两个模型的预测准确率相比LDA有了一定的提升。