窗口竞争性自适应重加权采样策略的近红外特征变量选择方法

通过消除光谱中的冗余信息变量,挑选出代表样品性质的特征变量代替全谱建立定量模型,可以提高近红外分析结果的准确性。基于进化论中适者生存原理的竞争性自适应重加权采样（CARS）算法因具有计算速度快、筛选得到的特征波长少等优点,在近红外特征变量筛选方面得到了广泛的应用。然而该方法在计算过程中容易出现校正集和验证集结果不一致情况。这是因为算法过于强调校正集交叉验证结果,且并未考虑相邻变量之间的协同作用。为了建立更加稳健的变量筛选方法,通过结合“窗口”以及CARS算法的优势,提出了一种基于窗口竞争性自适应重加权采样（WCARS）策略的近红外特征变量筛选方法,并将其应用于复杂植物样品近红外光谱与其化学成分含量之间的建模分析。采用WCARS方法可以实现准确定量分析,且通过与竞争性自适应重加权采样（CARS）方法结果相比较,WCARS方法得到的校正集和预测集结果一致,在一定程度上减少了过拟合问题的出现。该策略能有效增强特征变量选择的稳健性,提高了定量模型的可信度,具有一定的应用价值。     

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、 维数高且原始光谱噪声明显、 散射严重等特征导致光谱建模时关键波长变量提取困难。 基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。 鸭梨作为研究对象。 采用决定系数r2、 预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。 基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2_pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。 进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。 结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。 从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。     

基于近红外光谱分析技术测定库尔勒香梨硬度

采用近红外(NIR)漫反射光谱法对新疆特色梨果库尔勒香梨的五种不同果（包括青头、粗皮、脱萼、宿萼、突顶果）的硬度进行测定。由于近红外光谱数据量大且原始光谱噪声明显、测定水果时散射严重等导致光谱建模时关键波长变量提取困难。以新疆库尔勒香梨为研究对象,为了有效地消除固体表面散射以及光程变化对NIR漫反射光谱的影响,首先采用标准正态变量变换（SNV）和多元散射校正（MSC）对库尔勒香梨的原始光谱进行预处理。为寻找适合近红外光谱检测库尔勒香梨硬度的最佳特征波长筛选方法,进行香梨近红外光谱的特征波长变量选择方法的比较与研究。研究比较了两种特征波长筛选方法对库尔勒香梨硬度偏最小二乘法（PLS）建模精度的影响。同时使用反向偏最小二乘（BiPLS）和遗传算法结合反向偏最小二乘（BiPLS-GA）在全光谱范围内筛选香梨硬度的特征波长变量,将校正均方根误差（RESMC）、预测均方根误差（RESMP）以及决定系数（R2）作为模型的评价标准,并最终确定最优波段选择方法及最佳预测模型。基于选择的特征波长变量建立的PLS模型（BiPLS-GA）与全光谱变量建立的PLS模型进行比较发现BiPLS-GA模型仅仅使用原始变量中6.6%的信息就获得了比全变量PLS模型更好的库尔勒香梨硬度的预测结果,其中R2,RMSEC和RMSEP分别为0.91,1.03和1.01。进一步与基于反向偏最小二乘算法（BiPLS）获得的特征变量建立的PLS模型比较发现,BiPLS-GA不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,使得建模变量从301个减少到20个。极大地简化模型的同时有效地提高了模型的预测精准度和稳定性。因此该方法能够有效地用于近红外光谱数据变量的选择。证明了近红外光谱分析技术结合BiPLS-GA模型能够高效地选择出建模变量,去除与库尔勒香梨硬度无关的近红外光谱信息,显著地提高库尔勒香梨硬度定量模型的预测精度。这不仅为新疆地区特色梨果库尔勒香梨的快速、精确、无损优选分级提供一定的技术支持,同时也为基于近红外光谱分析技术预测水果内部品质的研究提供了参考。     

基于可见-近红外光谱技术的润滑油含水量无损检测方法研究

研究了基于可见-近红外光谱技术的发动机润滑油含水量快速检测方法。在获取光谱信息的基础上,提出了采用不同的光谱建模方法以提高检测精度和简化分析计算。分别采用主成分分析(PCA)和连续投影算法(SPA)方法进行模型输入变量的提取。SPA最终选择了476,483,544,925,933,938,952,970和974nm共9个波长为最优变量。基于SPA选择的变量,分别应用偏最小二乘回归(PLSR)和多元线性回归(MLR)建模。效果均优于全波段PLSR模型和PCA-PLSR模型。说明SPA选择的有效变量能够包含最重要的全波段光谱信息,同时可以去除无用的信息变量。为了进一步提高检测效果,采用LS-SVM分别基于SPA选择后的有效变量和全波段光谱进行建模。两个模型的预测确定系数(Rp2)均在0.9以上。SPA-LS-SVM的效果要优于全波段LS-SVM模型的效果。SPA-LS-SVM模型的Rp2达到了0.983,剩余预测偏差(RPD)值为6.963。表明可见-近红外光谱可以用于发动机润滑油含水量的检测。     

基于卡尔曼滤波的近红外光谱特征波长变量优选方法

将经典的卡尔曼滤波器与近红外光谱分析技术相结合,提出了一种新的特征波长变量选择方法——卡尔曼滤波法。分析了卡尔曼滤波器用于波长优选的原理,设计了波长选择算法并将其应用到大豆油脂酸价的近红外光谱检测中。首先利用偏最小二乘法(PLS)对油脂不同吸收波段建模,初步筛选出4 472～5 000 cm-1油脂酸价特征波段共132个波长点,然后进一步利用卡尔曼滤波器进行特征波长选择,从中优选出22个特征波长变量建立PLS校正模型,预测集决定系数R2、预测误差均方根RMSEP分别为0.970 8和0.125 4,与利用132个波长点建立的校正模型预测结果相当,而波长变量数减少到原来的16.67%。该波长变量选择算法是一种确定性的迭代过程,无复杂的参数设置和变量选择的随机性,物理意义明确。优选出少数对模型影响较大的特征波长变量以代替全谱建模,在简化模型的同时提高了模型的稳健性,为开发专用油脂近红外光谱分析仪器提供了重要参考依据。     

基于离散萤火虫算法的近红外波长优选方法研究

近红外光谱数据量大,需要进行压缩,以降低建立光谱校正模型的计算复杂度,提高模型精度和稳健性。为此,提出了一种基于离散萤火虫算法(discrete firefly algorithm)的近红外光谱波长变量筛选方法。首先采用蒙特卡罗方法剔除异常值,并应用Kennard-Stone法进行校正样本的选择。对通用萤火虫算法进行离散化处理,改进了吸引度的自适应公式,在移动公式中增加了牵引权重,以适应离散化处理的影响和优化算法,并在离散萤火虫算法中加入精英保留策略,加快算法的收敛速度。实验中找到DFA算法中的各项参数中的最佳值。通过离散萤火虫算法优选波长变量,建立发酵液中丁二酸含量的近红外光谱偏最小二乘回归(partial least squares regression)校正模型。与标准遗传算法(genetic algorithm)优选波长方法进行了比较。结果显示,基于离散萤火虫算法的波长优选方法所建立的PLS校正模型,其校正集的相关系数(R2_c)为0.986,RMSEC为0.409,预测集的相关系数(R2_p)为0.969,RMSEP为0.458,模型稳健性和精度都要优于全光谱建模以及遗传算法波长优选方法。显示了DFA在近红外光谱数据筛选方面的优越性。     

一种多模型融合的近红外波长选择算法

针对近红外光谱数据的特点,在分析了单模型波长选择方法的基础上,提出了一种多模型融合的变量选择方法。它融合多个模型的回归系数,以提高波长选择的准确性和稳定性。并用3个业界标准的近红外光谱数据集对提出的方法进行了验证,同时与UVE-PLS和GA-PLS算法进行了比较。实验结果表明,经该方法选择变量后,提高了模型的预测能力,降低了复杂度,达到甚至优于UVE-PLS和GA-PLS,而且具有算法简单、效率高的优点,具有广泛的实用价值。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

基于近红外和中红外光谱数据融合以及竞争自适应重加权采样方法对甲维盐制剂中活性成分的测定

农药活性成分的快速测定已经成为农药质量监控的一个大趋势。通过融合甲维盐制剂近红外和中红外得光谱数据,旨在用数据融合的方法建立一种快速可靠的测定甲维盐制剂活性成分的方法。采用了将偏最小二乘回归法与数据融合相结合,以及用竞争自适应重加权采样法来选择偏最小二乘回归中的有效变量的方法。与近红外和中红外各自建立的模型相比,数据融合在吸取了近红外光谱和中红外光谱相互补充的信息后,具有协同效应的模型效果有了很大的提高。同时,证实了竞争自适应重加权采样法在建模过程中是一个使得模型更加简单高效的有效的变量选择技术。研究结果表明在吸收了不同来源的多种信息之后的数据融合是一种能提高模型效果的很有效的建模方法。数据融合策略的可行性使得测定低浓度(0.1%～1.0%)样品能获得更好的结果,而且结合了变量筛选算法的对近红外和中红外光谱的数据融合,是一个很有前景的测定商业农药制剂中有效成分的方法。最后建立了一种基于近红外光谱和中红外光谱数据融合来测定商业甲维盐制剂的有效成分的方法。     

基于近红外和中红外光谱数据融合以及竞争自适应重加权采样方法对甲维盐制剂中活性成分的测定（英文）

农药活性成分的快速测定已经成为农药质量监控的一个大趋势。通过融合甲维盐制剂近红外和中红外得光谱数据,旨在用数据融合的方法建立一种快速可靠的测定甲维盐制剂活性成分的方法。采用了将偏最小二乘回归法与数据融合相结合,以及用竞争自适应重加权采样法来选择偏最小二乘回归中的有效变量的方法。与近红外和中红外各自建立的模型相比,数据融合在吸取了近红外光谱和中红外光谱相互补充的信息后,具有协同效应的模型效果有了很大的提高。同时,证实了竞争自适应重加权采样法在建模过程中是一个使得模型更加简单高效的有效的变量选择技术。研究结果表明在吸收了不同来源的多种信息之后的数据融合是一种能提高模型效果的很有效的建模方法。数据融合策略的可行性使得测定低浓度(0.1%~1.0%)样品能获得更好的结果,而且结合了变量筛选算法的对近红外和中红外光谱的数据融合,是一个很有前景的测定商业农药制剂中有效成分的方法。最后建立了一种基于近红外光谱和中红外光谱数据融合来测定商业甲维盐制剂的有效成分的方法。     

变量筛选方法结合局部线性嵌入理论用于近红外光谱定量模型优化

变量筛选策略结合局部线性嵌入(local linear embedding, LLE)理论用于近红外光谱(near infrared spectroscopy, NIRS)定量模型优化。蒙特卡罗无信息变量消除方法(monte carlo uninformation variable elimination, MCUVE)和连续投影算法(successive projections algorithm, SPA)以及两者结合的变量筛选策略用于NIRS冗余变量的剔除;偏最小二乘回归(partial least squares regression, PLSR)和LLE-PLSR用于复杂样品光谱定量模型的构建。结果表明：MCUVE方法既能有效的提取信息变量,同时可以提高模型的预测精度;LLE-PLSR可以得到比PLSR方法更加准确的定量分析模型;MCUVE结合LLE-PLSR是一种有效的光谱定量分析方法。     

便携式短波近红外光谱仪器检测土壤总氮含量研究

基于便携式短波近红外光谱技术检测了土壤总氮含量。采集浙江省文城地区农田土壤样本243个,将土壤样本分为三组,一组未经过粉碎、过筛等处理,一组做过2 mm筛处理,一组过0.5 mm筛过处理,采用usb4000便携式光谱获取土壤光谱数据,结合(savitzky-golay, SG)平滑算法,波长压缩算法和小波变换对原始数据进行预处理,然后采用竞争性自适应重加权、随机青蛙和连续投影算法进行特征波长选择。基于全光谱建立了偏最小二乘回归和基于特征波长建立了极限学习机和LS-SVM模型。结果表明过筛处理后的样本模型结果优于未过筛的样本模型结果,过0.5 mm筛处理的土壤样本模型预测结果略优于过2 mm筛处理的土壤样本模型预测结果,最优预测集的决定系数为0.63,预测均方根误差为0.007 9,剩余预测偏差为1.58。表明便携式仪器检测土壤总氮含量,经过过筛处理的土壤样品检测结果优于未过筛土壤样品检测结果,建议土壤样品检测总氮含量时需经过过筛处理,这样得到的结果较为理想,在此基础上采用性能较好的光谱仪器采集数据,以减小原始光谱噪声。     

子宫内膜癌组织近红外光谱预处理与波段选择研究

应用近红外光谱技术对子宫内膜组织病理切片进行快速无损检测。收集了154样品光谱,其中正常样本的个数36个,增生的60个,癌变的58个。由于原始光谱中包含大量干扰信息,所以光谱预处理方法和波段选取的方法在近红外光谱分析中占有非常重要的地。利用多种预处理方法,包括一阶导数、多元散射校正、多项式最小二乘拟合求导、标准归一化、平滑、移动窗口中值滤波,对样品光谱进行了预处理。利用标准偏差谱来选取最优波段,选取的最优波段范围为4 000~6 000 cm-1。然后用处理后的光谱数据进行主成分分析,分类准确率达到100%。研究结果表明近红外光谱技术结合化学计量学方法可以作为一种癌症快速诊断的新技术,对于癌症的早期诊断和癌症组织的恶化过程研究具有重要的意义。     

基于互信息熵-近红外光谱的过程模式故障检测

近红外光谱分析在工业过程故障检测方面具有独特的优势,是一种准确且高效的方法。结合互信息熵和传统的主成分分析,对近红外光谱特征信息进行提取,通过构建过程的模式来刻画工业过程的运行状态。利用近红外光谱数据,从有机分子含氢基团振动信息中获取工业系统的过程模式,从微观分子层面探索提高工业过程故障检测准确率的有效方法,结合贝叶斯统计学习技术,提出了基于近红外光谱数据的工业过程故障检测技术。针对近红外光谱信息量丰富,谱带较宽,特征性不强的特点,首先对工业过程不同运行状态下的近红外光谱吸光度数据进行一阶导数预处理,采用主成分分析法（principal component analysis,PCA）压缩光谱数据量,扩大不同运行状态下光谱特征信息的差异性,提取光谱的内部特征信息。然后采用互信息熵（mutual information entropy,MIE）作为光谱特征信息相关性度量函数,基于最小冗余最大相关算法进一步减少光谱特征信息间的冗余并最大化光谱特征信息与类别的相关性,弥补了PCA无监督特征波长选择的不足,提出一种基于PCA-MIE的过程模式构建方法,获得的过程模式子集更紧凑更具类别表现力。再利用贝叶斯统计学习算法,根据后验概率对构建的模式子集进行决策,判别生产过程的正常状态和故障状态。由于过程模式子集结合了PCA浓聚方差的优势和互信息熵相关性测度的特征信息选择方法,蕴含了更多的近红外光谱的本质信息与内在规律,从而更能刻画工业过程的运行状态。接着,设置测试准确率TA作为评估标准,用以评价故障检测方法的性能效果。最后利用某化工厂提供的原油脱盐脱水过程近红外光谱数据对所提方法进行验证,并与传统近红外光谱特征信息提取方法PCA和MIE方法性能进行对比分析,结果表明基于PCA-MIE的过程模式故障检测方法几乎在所有维数子集上性能都优于其他两种方法,在特征维数为18维时获得最高的准确率94. 6%,证明了方法的优越性。     

近红外光谱法快速测定工作场所莠去津浓度的研究

莠去津是一种广泛使用的除草剂,我国是其原药的主要生产国家。为加强工作场所莠去津暴露浓度的检测力度,保障职业接触工人身体健康,研究开发工作场所莠去津浓度的现场快速检测方法具有重要现实意义。利用自行组装的便携式近红外光谱仪,采集了实验室配置的浓度为10～1 000 mg·L-1的莠去津溶液样本光谱,并比较了多元散射校正、变量标准化、一阶导数方法、二阶导数方法及其组合等光谱预处理方法,竞争自适应重加权采样变量选择法和遗传算法等变量选择方法,偏最小二乘算法和支持向量机等回归方法对近红外光谱模型分析精度的影响。研究发现一阶导数是最佳光谱预处理方法;遗传算法优选的光谱变量表现优于竞争自适应重加权采样变量选择法;支持向量机模型表现优于偏最小二乘模型。基于遗传算法选择的16个光谱变量建立的支持向量机模型分析精度最高,其定标决定系数、验证决定系数、定标均方差、预测均方差和相对分析误差(成分浓度的标准偏差与预测均方差的比值)分别为1,0.99,17.54 mg·L-1,25.42 mg·L-1和11.43,有望应用于工作场所莠去津浓度的实际检测中。该研究探讨了近红外光谱法检测工作场所莠去津浓度的可行性,相关结果对于未来类似工作的开展具有重要参考价值。     

近红外光谱定量分析的改进ELM算法

极限学习机理论(extreme learning machine, ELM)作为一种新的化学计量学方法,在近红外光谱定量分析中的应用研究,已引起学术界的高度重视。然而,由于光谱数据维数较高,建立ELM模型时需要大量的隐节点,导致隐含层输出矩阵维数高且存在高度共线性,用现有的Moore-Penrose广义逆算法求取隐含层输出矩阵与待测性质间的回归模型往往会存在病态问题。基于ELM建立光谱波长变量与性质之间的回归模型,提出以ELM模型隐含层输出矩阵作为新的变量,采用作者最新提出的基于变量投影重要性的改进叠加PLS算法(stacked partial least squares regression algorithm based on variable importance in the projection,VIP-SPLS),建立新变量与待测性质间的回归模型。VIP-SPLS算法充分利用了每个隐节点的输出信息,能有效解决高维共线性问题,同时具有模型集成的优点,从而改进了ELM模型的性能。将提出的改进ELM算法(improved ELM,iELM)应用于标准近红外光谱数据集,结果表明iELM模型的精度相对于现有的PLS模型和ELM模型分别显著提升了29.06%和27.47%。