一种基于SCARS策略的近红外特征波长选择方法及其应用

针对近红外光谱数据的内在特点,提出了一种基于稳定性竞争自适应重加权采样(stability competitive adaptive reweighted sampling, SCARS)策略的近红外特征波长优选方法。该方法以PLS模型回归系数的稳定性作为变量选择的依据,其过程包含多次循环迭代,每次循环均首先计算相应变量的稳定性,而后通过强制变量筛选以及自适应重加权采样技术(ARS)进行变量筛选;最后对每次循环后所得变量子集建立PLS模型并计算交互验证均方根误差(RMSECV),将RMSECV值最小的集合作为最优变量子集。利用饲料蛋白固态发酵过程近红外光谱数据集对所提方法进行了验证,并与基于PLS的蒙特卡罗无信息变量消除法(MC-UVE)和竞争自适应重加权采样(CARS)方法所得结果进行了比较。试验结果显示： 建立在SCARS方法优选的21个特征波长变量基础上的PLS模型预测效果更好,其预测均方根误差(RMSEP)和相关系数(R_p)分别为0.054 3和0.990 8;该优选策略能有效地增强固态发酵光谱数据特征波长变量选择的准确性和稳定性,提高了模型的预测精度,具有一定的应用价值。     

基于卡尔曼滤波的近红外光谱特征波长变量优选方法

将经典的卡尔曼滤波器与近红外光谱分析技术相结合,提出了一种新的特征波长变量选择方法——卡尔曼滤波法。分析了卡尔曼滤波器用于波长优选的原理,设计了波长选择算法并将其应用到大豆油脂酸价的近红外光谱检测中。首先利用偏最小二乘法(PLS)对油脂不同吸收波段建模,初步筛选出4 472～5 000 cm-1油脂酸价特征波段共132个波长点,然后进一步利用卡尔曼滤波器进行特征波长选择,从中优选出22个特征波长变量建立PLS校正模型,预测集决定系数R2、预测误差均方根RMSEP分别为0.970 8和0.125 4,与利用132个波长点建立的校正模型预测结果相当,而波长变量数减少到原来的16.67%。该波长变量选择算法是一种确定性的迭代过程,无复杂的参数设置和变量选择的随机性,物理意义明确。优选出少数对模型影响较大的特征波长变量以代替全谱建模,在简化模型的同时提高了模型的稳健性,为开发专用油脂近红外光谱分析仪器提供了重要参考依据。     

基于遗传算法的安溪铁观音品质快速评价研究

为探究一种快速无损的安溪铁观音品质评价方法,利用遗传算法(GA)对茶样的近红外光谱特征波长进行筛选,结合偏最小二乘(PLS),建立全谱段的PLS定量模型与GA-PLS模型。结果表明,傅里叶变换近红外(FT-NIR)全谱段光谱在经过平滑+二阶导数+归一化处理后,PLS模型预测性能最高,建模结果为：校正集相关系数R_C=0.921,校正集均方根误差RMSEC=0.543,验证集相关系数R_P=0.913,验证集均方根误差RMSEP=0.665。选用近红外光谱6 670～4 000 cm-1谱区,采用遗传算法进行特征波长筛选,参与建模数据点数从1 557缩减到408个。优选波段后,GA-PLS建模结果为：校正集相关系数R_C=0.959,校正集均方根误差RMSEC=0.413,验证集相关系数R_P=0.940,验证集均方根误差RMSEP=0.587。可见,GA-PLS模型的校正集和验证集的预测结果均优于全谱段PLS模型。结果说明,在传统的近红外光谱技术结合化学计量学方法的建模基础上,加入遗传算法进行波长筛选,能有效提高模型预测能力,实现方法学的创新研究,且GA-PLS品质评价模型具有较强的参考和推广价值,为提高我国茶叶品质的检测技术水平提供新的方法借鉴。     

基于近红外光谱分析技术测定库尔勒香梨硬度

采用近红外(NIR)漫反射光谱法对新疆特色梨果库尔勒香梨的五种不同果（包括青头、粗皮、脱萼、宿萼、突顶果）的硬度进行测定。由于近红外光谱数据量大且原始光谱噪声明显、测定水果时散射严重等导致光谱建模时关键波长变量提取困难。以新疆库尔勒香梨为研究对象,为了有效地消除固体表面散射以及光程变化对NIR漫反射光谱的影响,首先采用标准正态变量变换（SNV）和多元散射校正（MSC）对库尔勒香梨的原始光谱进行预处理。为寻找适合近红外光谱检测库尔勒香梨硬度的最佳特征波长筛选方法,进行香梨近红外光谱的特征波长变量选择方法的比较与研究。研究比较了两种特征波长筛选方法对库尔勒香梨硬度偏最小二乘法（PLS）建模精度的影响。同时使用反向偏最小二乘（BiPLS）和遗传算法结合反向偏最小二乘（BiPLS-GA）在全光谱范围内筛选香梨硬度的特征波长变量,将校正均方根误差（RESMC）、预测均方根误差（RESMP）以及决定系数（R2）作为模型的评价标准,并最终确定最优波段选择方法及最佳预测模型。基于选择的特征波长变量建立的PLS模型（BiPLS-GA）与全光谱变量建立的PLS模型进行比较发现BiPLS-GA模型仅仅使用原始变量中6.6%的信息就获得了比全变量PLS模型更好的库尔勒香梨硬度的预测结果,其中R2,RMSEC和RMSEP分别为0.91,1.03和1.01。进一步与基于反向偏最小二乘算法（BiPLS）获得的特征变量建立的PLS模型比较发现,BiPLS-GA不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,使得建模变量从301个减少到20个。极大地简化模型的同时有效地提高了模型的预测精准度和稳定性。因此该方法能够有效地用于近红外光谱数据变量的选择。证明了近红外光谱分析技术结合BiPLS-GA模型能够高效地选择出建模变量,去除与库尔勒香梨硬度无关的近红外光谱信息,显著地提高库尔勒香梨硬度定量模型的预测精度。这不仅为新疆地区特色梨果库尔勒香梨的快速、精确、无损优选分级提供一定的技术支持,同时也为基于近红外光谱分析技术预测水果内部品质的研究提供了参考。     

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、 维数高且原始光谱噪声明显、 散射严重等特征导致光谱建模时关键波长变量提取困难。 基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。 鸭梨作为研究对象。 采用决定系数r2、 预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。 基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2_pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。 进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。 结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。 从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。     

基于互信息的遗传算法在光谱谱段选择中应用

在近红外光谱分析技术中,建立一个准确、稳健的定量模型至关重要。全光谱建模会增加建模和预测时间,降低模型的稳健性和预测精度,因此有效的变量选择方法对于模型构建至关重要。针对该问题,提出了基于互信息的遗传算法(GAs-MI)对特征变量进行选择,互信息筛选掉大量无关信息和冗余信息,遗传算法进一步选择出高辨别力的特征;并在遗传算法的变异过程中引入Shapley值方法,减少了人为设定参数的随机性。为了验证算法的有效性,选取有代表性的273个烟叶样本为实验材料,随机选择其中182个样本实现对烟叶总烟碱的PLS定量建模,剩余样本作为测试集,以相关系数(R)、交互验证均方差(RMSECV)和预测均方根误差(RMSEP)为模型评价指标。实验结果表明,通过该方法选择的波长建立的模型更加简单、预测能力更强。     

基于特征波段的高光谱技术检测水体中毒死蜱浓度的实验研究

为了探究反射光谱检测水体中毒死蜱农药的可行性,使用由ASD公司的FieldSpecPro地物波谱仪构成的高光谱采集系统在室内、室外环境获取两种不同浓度区间的毒死蜱样品的光谱数据。基于偏最小二乘(PLS)和主成分分析(PCA)算法分别对毒死蜱样品光谱数据建立全波段定量模型,结果两种模型的预测能力均较高。通过相关性分析(CA)计算相关系数来选择毒死蜱样品光谱的特征波长,其中浓度区间为5~75 mg·L-1的室内、室外实验光谱的特征波长为388,1 080,1 276 nm和356,1 322,1 693 nm,浓度区间为0.1~100 mg·L-1的室内外实验样品光谱的特征波长为367,1 070,1 276,1 708 nm和383,1 081,1 250,1 663 nm。结合PLS算法建立样品特征波长光谱数据的定量模型,结果与全波段模型相比,浓度区间为5~75 mg·L-1的室内外实验光谱PLS特征波长模型的校正集决定系数R2_C分别提高至0.987 5和0.999 2,预测集决定系数R2_P分别提高至0.989 4和0.994 4,校正集均方根误差RMSEC分别降低为2.841和0.714,预测集均方根误差RMSEP分别降低为1.715和1.244;浓度区间为0.1~100 mg·L-1的室内外实验光谱特征波长PLS模型的校正集决定系数R2_C分别提高至0.998 3和0.998 8,预测集决定系数R2_P分别提高至0.998 4和0.999 0,校正集均方根误差RMSEC分别降低为1.383和1.186,预测集均方根误差RMSEP分别降低为1.510和1.229,验证集标准差与预测均方根误差的比值(RPD)有所增加,尤其是针对浓度区间为0.1~100 mg·L-1的实验,RPD值显著增加至21.7,说明基于特征波长建立的毒死蜱样品定量模型具有较高精度的预测能力,但是通过不同浓度区间范围的对比实验发现,ASD地物光谱仪对低浓度的毒死蜱溶液预测的相对误差偏大,存在客观上的检测下限。为了保证不同试验条件下的毒死蜱农药的特征波长都得到分析,增强模型使用的普适性与鲁棒性,根据特征波长选择出4个波段,即351~393,1 065~1 086,1 245~1 281和1 658~1 713 nm作为特征波段。特征波段模型的波长变量个数共38个,相比于全波段模型的432个波长变量,模型变量精简了91.2%,其中浓度区间为5~75 mg·L-1的室内外实验光谱PLS特征波段模型的R2_C分别为0.993 7和0.987 8,R2_P分别为0.979 8和0.998 2,RMSEC分别为1.690和2.516,RMSEP分别为1.987和0.659;浓度区间为0.1~100 mg·L-1的室内外实验光谱特征波段PLS模型的R2_C分别为0.9882和0.9807,R2_P分别为0.9391和0.9936,RMSEC分别为3.345和3.942,RMSEP分别为8.996和2.663,且四种实验情况下的模型RPD值均大于2.5,满足定量分析条件。因此采用高光谱采集系统对室内和室外环境中毒死蜱农药的快速检测具有一定的可行性,此研究结果对有机磷农药等面源污染物快速检测有实际的应用价值,可为农田水体有机磷农药快速检测仪器的开发提供理论基础。     

基于最小角回归与GA-PLS的NIR光谱变量选择方法

近红外(NIR)光谱一般具有较多的波长变量数,对其直接或间接地进行变量选择是提高模型稳定性能及预测性能的关键。最小角回归(LAR)是一种相对较新和有效的机器学习算法,常用于进行回归分析和变量选择。面向光谱建模应用,提出一种LAR结合遗传偏最小二乘法(GA-PLS)的变量选择方法,可有效筛选出少数特征波长点。首先在全光谱区利用LAR消除变量间的共线性得到初筛波长点,然后用GA-PLS对LAR筛选出的波长点进一步优选从而得到最终建模用的特征波长点。为验证本文方法的有效性,以药片和汽油的近红外光谱回归分析作为应用案例,对原光谱进行预处理后,采用该方法进行变量筛选,然后分别建模其中的活性成分含量和C10含量。结果显示,在这两个应用中,最终优化得到的特征波长点数均只需七个,而两者的预测决定系数R2_p分别达到0.933 9和0.951 9,与全光谱、无信息变量消除法(UVE)和连续投影算法(SPA)等方法相比,特征波长点更少,同时R2_p和预测均方根误差RMSEP值更优。因此,LAR结合GA-PLS,能有效地从近红外光谱中选择出信息变量从而减少建模波数,提高预测精度,拥有较好的模型解释性。该方法可为特定领域的专用光谱仪设计提供有效的波长筛选工具。     

特征变量优选在苹果可溶性固形物近红外便携式检测中的应用

为实现苹果可溶性固形物(SSC)的便携式快速检测,利用环形光纤探头和微型光谱仪搭建便携式苹果可溶性固形物光谱采集系统,结合无信息变量消除(UVE)、遗传算法(GA)、竞争性自适应加权(CARS)算法筛选基于偏最小二乘(PLS)的苹果可溶性固形物的近红外光谱特征波长。另外,采用反向区间最小二乘支持向量机(BiLS-SVM)和GA算法优选基于LS-SVM的特征波长变量,分别建立所选特征波长和全波段的PLS模型和LS-SVM模型。试验结果表明,经过GA-CARS算法从全波段1 512个波长中筛选出的50个特征波长建立的PLS模型效果最好,其预测相关系数和预测均方根误差分别为0.962和0.403°Brix。利用该检测装置结合GA-CARS筛选的特征波长,可有效简化苹果可溶性固形物近红外便携式检测模型并提高模型的预测精度,为进一步构建便携式苹果可溶性固形物检测设备奠定了基础。     

LSSVM模型下的近红外光谱联合区间波长筛选方法

针对传统近红外光谱波长选择方法忽略模型中非线性因素的缺陷,采用具有非线性处理能力的最小二乘支持向量机,结合间隔策略的波长选择方法和联合区间的思想,提出了一种非线性模型下的波长筛选算法—联合区间最小二乘支持向量机(synergy interval least squares support vector machines, siLSSVM)。以苹果糖度近红外光谱数据为例,与传统siPLS波长筛选方法相比,新算法的预测集均方根误差(RMSEP)在PLS模型和LSSVM模型预测时分别提高了37.43%和47.88%,预测集相关系数(RP)在PLS模型和LSSVM模型预测时分别增加了6.04%和7.31%。实例表明,对于存在非线性因素较强的光谱数据,siLSSVM算法能够有效的挑选最优波长区间与提高模型的预测精度和鲁棒性,为近红外光谱在非线性因素下筛选波长提供了新前景。     

近红外光谱法快速测定淫羊藿中淫羊藿苷和朝藿定C

基于近红外光谱法对淫羊藿中有效成分淫羊藿苷和朝藿定C的含量进行快速同时定量分析,采用偏最小二乘法(PLS)建立近红外光谱信息与预测组分含量间的数学校正模型。结果表明通过标准正态变量转换(SNV)与一阶导数对光谱进行预处理,所建立的淫羊藿苷和朝藿定C的校正模型效果最佳。淫羊藿苷与朝藿定C校正集均方差(RM SEC)分别为0.217、0.718;相关系数分别为0.9825、0.9863;预测均方差(RM SEP)分别为0.155,0.297。该方法简单、准确,更适合于淫羊藿药材中主要成分的快速分析。     

近红外光谱法分析慈竹物理力学性质的研究

采用近红外光谱法对慈竹密度、抗弯强度和顺纹抗拉强度进行快速预测.利用反向区间偏最小二乘法(BiPIS)优选光谱区间,建立原始光谱和不同预处理(一阶微分、二阶微分、卷积平滑和归一化处理)光谱分析模型,同时应用偏最小二乘法(PLS)在全谱范围350～2 500 nm建立各光谱分析模唰,并对所建模型进行比较分析.结果表明:同...     

西瓜检测部位差异对近红外光谱可溶性固形物预测模型的影响

西瓜可溶性固形物含量的无损检测对提升其内部品质十分重要。为实现近红外光谱对小型西瓜表面各部位可溶性固形物含量的准确预测,减小检测部位差异对预测模型的影响,以“京秀”西瓜为研究对象,分别采集赤道、瓜脐和瓜梗三部位的漫透射光谱信息,利用偏最小二乘算法(PLS)建立并比较单一检测部位和混合所有检测部位的西瓜可溶性固形物近红外光谱预测模型,并分别采用连续投影算法(SPA)和竞争性自适应重加权算法(CARS)对西瓜可溶性固形物近红外光谱变量进行特征波长筛选。结果显示,相比于单一检测部位的模型,混合所有检测部位的校正集样本建立的模型取得了较优的预测结果。同时,利用CARS算法筛选的42个特征波长变量建模,对三种检测部位预测集样本的预测结果分别为赤道R_P=0.892和RMSEP= 0.684 °Brix,瓜脐R_P=0.905和RMSEP= 0.629 °Brix,瓜梗R_P=0.899和RMSEP= 0.721 °Brix。模型得到了很大的简化,且预测精度较高。比较发现,利用SPA算法筛选的19个特征波长变量所建模型的预测精度较低。利用三种检测部位的西瓜样本建立的PLS混合预测模型,结合CARS算法进行有效特征波长变量筛选,可提高西瓜可溶性固形物预测模型的精度,实现西瓜表面各部位可溶性固形物含量的准确预测,减小检测部位差异对近红外光谱预测模型的影响。结果为今后开发便携式设备检测西瓜表面各部位可溶性固形含量提供参考依据。     

中红外光谱对甲醇汽油甲醇含量检测研究

甲醇汽油是一种清洁能源,甲醇汽油中甲醇的含量决定了汽油的性能。通过中红外光谱对甲醇汽油中甲醇含量进行定量检测和分析。首先,对采集的甲醇汽油原始中红外光谱进行平滑处理（smoothing）、多元散射校正（MSC）、基线校正（baseline）、归一化（normalization）等预处理,再建立PLS模型,对比选择最佳预处理方法,结果表明：在多元散射校正（MSC）处理后建立的PLS模型效果最好,模型的预测集相关系数r为0.918,预测均方根误差RMSEP为2.107。为进一步简化模型,提高预测精度,采用无信息变量消除(uninformative variable elimination, UVE)方法对波长进行筛选,将UVE波段筛选之后的作为模型的输入变量,采用偏最小二乘法（partial least squares, PLS）、主成分回归(principal components regression, PCR)和最小二乘支持向量机（least square support vector machine, LSSVM）三种方法分别建立甲醇汽油中甲醇含量的定量预测模型,并比较不同模型的预测效果和结果。结果表明,使用无信息变量消除可以较好提高数据的运算速度,其中,UVE-PLS模型建模效果最好,r和RMSEP分别为0.923和2.075。该实验表明中红外光谱检测甲醇汽油中甲醇含量是可行的并可以得到较好的效果;UVE是一种对甲醇汽油的中红外光谱非常有效的波段筛选方法,该模型的建立对石油化工领域具有较为重要的意义。     

光谱预处理对近红外光谱预测木材纤维素结晶度的影响

木材纤维素结晶度是木质材料的一个重要性质,它与树木的生长特性、结构与化学组成均有密切关系,并对木材的杨氏模量、尺寸稳定性、密度和硬度等具有重要的影响,文章研究了利用近红外光谱结合多变量数据分析技术对人工林木材纤维素的结晶度进行预测的能力。本研究从人工林湿地松木粉试样的表面采集近红外漫反射光谱,并利用X射线衍射法测定了木材纤维素的结晶度。研究表明,采用一阶导数和二阶导数光谱预处理没有提高近红外模型的预测效果,而采用原始光谱的预测效果最好,预测值与X射线衍射测定值的相关系数r可以达到0.950,各项预测误差值较低, 说明采用近红外光谱结合多变量数据分析方法建立的结晶度预测模型具有理想的预测能力。     

小麦品质近红外检测系统的设计与试验研究

为实现快速无损地检测小麦品质设计了基于光栅技术的近红外检测系统,测试了该系统的准确性、重复性和稳定性,选取MPA光谱仪为参比仪器,分别采集56份小麦样品的光谱,建立偏最小二乘回归模型并验证。该系统的四个模型的决定系数R2分别为92.38%,93.48%,93.16%,94.44%,交叉验证标准差RESECV为0.405,0.374,0.383,0.346,相对分析误差RPD为3.62,3.39,3.82,4.24;预测集验证模型的R2为96.97%,94.22%,96.62%,96.34%,预测标准差RMSEP为0.221,0.305,0.233,0.243。MPA光谱仪的建模结果R2 为95.99%,RESECV 为0.293,RDP为5;预测集验证模型的R2为98.31%,RMSEP为0.165。实验表明：小麦品质近红外检测系统所得模型具有良好的预测性,稳定性和重复性;所得光谱波长与吸光度具有重现性;其模型对平均光谱的预测效果优于单张光谱;该系统工作稳定,性能优良,可应用于小麦品质质量检测。