最小相关系数的多元校正波长选择算法

在近红外光谱的定量分析中,由于仪器的精密程度越来越高,采集的光谱数据通常具有很高的维度。因此,波长选择对于剔除噪声及冗余变量,简化模型,提高模型的预测性能是必不可少的。近红外光谱特征波长选择方法众多,但变量间的多重共线性问题仍是导致模型效果较差的一个关键问题。变量间共线性可以通过相关系数进行分析,当相关系数高于0.8,表明存在多重共线性。据此,以变量间相关系数为选择标准,提出一种以所选变量之间共线性最小化的波长选择方法,称之为最小相关系数法(MCC)。该方法以光谱数据的相关系数矩阵为基础,挑选出与其他波长相关系数平均值和标准差均较小的波长为候选建模波长集合,使得集合内波长之间线性相关性最小,进而消除模型变量之间共线性。然后通过标准回归系数优选对因变量影响较大的波长,获得预测模型。为了验证所提出算法的有效性,对该方法进行了测试。利用两组公开的近红外光谱数据集（柴油数据集、土壤数据集）,通过MCC算法进行波长选择,并与常用的几个波长选择方法,如：连续投影算法(SPA)、竞争性自适应重加权采样法(CARS)、随机蛙跳算法(RF)、迭代保留信息变量法(IRIV)进行比较。实验结果表明,MCC算法获得了良好的预测性能,MCC算法的预测精度相比于SPA,CARS和RF三种算法具有明显的优势,而MCC算法的预测精度与IRIV算法不相上下。因此,最小相关系数法可实现高效降维,提高模型的预测精度,是一种有效的波长选择算法。     

改进的随机蛙跳算法对农机润滑油污染浓度的近红外光谱检测研究

润滑油是农业机械正常作业的必要物资,农业机械发动机工作的动力性、安全性、经济性以及寿命与润滑油状况有着紧密联系。污染浓度作为油液的综合评价指标,常规的实验室检测耗时长、成本高,所以开发高效的润滑油污染浓度检测技术具有重要意义。提出了一种基于近红外光谱技术的农机润滑油污染浓度的检测方法,同时针对随机蛙跳(RF)特征波长选择算法中迭代次数大,结果再现性低等缺点,提出了一种迭代保留信息变量的随机蛙跳(IRIV-RF)特征波长选择算法。该算法一方面利用迭代保留信息变量(IRIV)算法提取出强信息变量和弱信息变量,将其作为RF算法中的初始变量集,消除初始变量集的随机性对结果再现性的影响。另一方面通过对变量按被选概率值由大到小正向排序后,从首个波长开始依次增加一个波长建立偏最小二乘回归(PLSR)模型,选择交叉验证均方根误差(RMSECV)值最小时的变量子集为特征波长,消除RF算法所提取的特征波长数量的不确定性。利用近红外光谱仪采集自行配制的101份不同污染浓度的农机润滑油原始光谱数据,选用三种不同的预处理方法分别对原始光谱进行处理,确定最佳的预处理方法为变量标准化(SNV)。在此基础上通过RF,IRIV和IRIV-RF三种算法分别对全谱进行特征波长选择,并建立PLSR模型。通过对全谱-PLSR,RF-PLSR,IRIV-PLSR以及IRIV-RF-PLSR模型的预测精度进行比较,结果表明,经过IRIV-RF算法提取特征波长后所建立的PLSR模型预测精度最高,预测相关系数(R_p)为0.965 7,预测均方根误差(RMSEP)为9.0584,显著提升了预测精度与运行效率,降低模型复杂程度。IRIV-RF是一种有效的特征波长选择算法,研究证明了近红外光谱联合改进的IRIV-RF算法检测农机润滑油污染浓度的可行性,为鉴定润滑油品质提供了一种新的思路。     

基于贝叶斯优化的SVM玉米品种鉴别研究

为了快速检测玉米品种类型,基于支持向量机(SVM)和近红外光谱联合建立玉米品种的分类模型。以郑单958、先玉335、京科968、登海605和德美亚等五个品种共计293个样本为研究对象,对采集的近红外光谱进行标准正态变量变换(SNV)处理后使用主成分分析法(PCA)对光谱数据进行降维处理。按照6∶1比例,随机选取251个样本为训练集,42个样本作为测试集,探讨贝叶斯优化算法(BO)对SVM模型性能的影响。分别使用网格搜索(GS)、遗传算法(GA)和BO算法等三种方法对SVM模型的两个重要参数惩罚因子C和径向基核函数参数γ进行寻优。选择各模型十折交叉验证识别准确率最高时对应的惩罚因子和核参数作为建模参数,建立SVM分类模型。将使用BO算法建立的SVM分类模型与使用GS和GA进行参数寻优后建立的模型性能进行比对。实验发现,使用BO优化的SVM分类模型相比于其他两种优化算法得到的SVM模型性能具有显著优势,测试集的识别准确率可达到100%。说明使用BO算法寻优的SVM模型参数是全局最优参数,其他两种优化算法寻优的参数可能陷入了局部最优,从而导致模型性能表现不佳。在进行PCA降维前后的光谱数据上分别建立BO-SVM模型,结果表明,BO算法对于高维数据优化效果不佳,更适用于低维数据。对于不同样本类别间数量不均衡导致模型性能表现不佳的问题,通过剔除郑丹958和先玉335两类数量较少的样本,使用剩余三个类别,共计248个样本重新建立SVM模型,实验发现,剔除两类小样本之后,各个模型在测试集上的性能均有提升,说明对于类间样本数量不均衡问题,某类样本数量越多,对于模型参数的修正就越细腻,模型对该类的拟合效果就越好。研究结果可用于玉米品种的快速鉴别,也可为基于近红外光谱的其他农产品分类和产地鉴别提供参考。     

基于Stacking集成学习的近红外光谱油页岩含油率预测

为了克服单一模型预测精度很难进一步提高的不足,利用近红外光谱分析结合基于Stacking框架的异构集成学习模型实现对油页岩含油率的检测。以松辽盆地某区块所取230个油页岩岩芯样本为研究对象,使用低温干馏法测量油页岩样本的含油率,同时扫描每个样本对应的近红外光谱数据。样本使用蒙特卡洛算法进行异常样本剔除,将剔除异常样本后的213个数据按照3∶1的比例随机划分为训练集和预测集。利用去趋势加基线校正方法进行预处理消除光谱数据中噪声和基线漂移,利用随机森林算法进行波长重要性排序并保留重要波长,在此基础上采用CARS算法进行特征波长提取,进一步降低数据维度。最后,构建以PLS, SVM, RF和GBDT为初级学习器,PLS回归模型为次级学习器的Stacking集成学习模型,各初级学习器模型参数使用网格搜索进行寻优。使用决定系数和预测均方根误差作为各模型的评价指标,探究单一模型和集成学习模型对油页岩含油率预测的准确性。研究结果表明,RF-CARS方法能够有效筛选重要波长,进而提高模型效率。基于Stacking的异构集成学习模型与单一模型(SVM和PLS)和同构集成学习模型(RF和GBDT)相比有更...     

基于可见近红外光谱分析技术的马铃薯品种鉴别方法

基于可见-近红外光谱分析技术,提出了一种快速鉴别马铃薯品种的方法。以三种不同品种共计352个样本的马铃薯作为主要研究对象,随机将其分为建模集(307个样本)和预测集(45个样本)。对其中的建模集样品进行可见-近红外光谱分析,将获取的光谱图像通过多元散射校正(MSC)和窗口大小为9的Savitzky-Golay(S-G)一阶卷积求导方法预处理,消除颗粒大小、表面散射及光程变化对漫反射光谱影响,降低原始光谱曲线的随机噪声影响。然后用偏最小二乘法(PLS)对数据进行降维、压缩,使用主成分分析方法(PCA)获得的前4个主成分累计贡献率达到96%以上,并从前4个主成分图谱中提取20个吸收峰作为输入变量,经过试验,得到一个20(输入)-12(隐含)-3(输出)结构的3层BP神经网络。最后利用该模型对预测集样本进行品种鉴别,识别正确率达到100%。此方法能较为快速、准确地鉴别马铃薯的品种,为马铃薯品质检测与鉴别提供了新思路。     

卷积神经网络和近红外光谱的土壤pH值预测

土壤pH值是影响土壤养分转化和土壤肥力的关键因素,使用近红外光谱技术对土壤pH值进行检测可为土壤资源的开发利用提供重要依据。卷积神经网络作为深度学习在人工智能方面的典型算法,由于其结构具备“局部感知,权值共享”的能力,因此不仅能够对复杂的光谱数据进行特征抽取,还能够减少网络的训练参数,提高网络的运算效率。将卷积神经网络用于近红外光谱的建模分析,并提出一种基于一维卷积的卷积神经网络和近红外光谱的土壤pH值预测方法。网络由Python语言调用Tensorflow工具包搭建而成,其结构由输入层、卷积层、池化层以及全连接层四部分组成。以欧洲统计局在2008年-2012年开展的土地利用及覆盖面积统计调查所收集的矿物质土壤光谱样本数据集为研究对象,为消除光谱中存在的基线漂移,提高信噪比,对原始可见光近红外光谱（400～2 500 nm）进行一阶导数和Savitzky-Golay平滑处理。在模型训练过程中,随机选取15 000个样本作为训练集,剩余的2 272个样本作为测试集,探讨不同的卷积层个数及训练迭代次数对模型性能的影响,并采用ReLU激活函数及Adam优化器防止模型出现梯度消失现象,提高模型的稳定性,之后通过分析模型的拟合优度和运算成本确定模型的最佳性能,最后将网络模型与传统的BP和PLSR模型进行对比。结果显示,当模型迭代次数为2 500次,卷积层个数为4层时,模型达到最佳状态,模型对训练集的均方误差从1.898降到了0.097;模型对测试集的拟合优度为0.909,分别比BP和PLSR模型高0.117和0.218。使用卷积神经网络可以对土壤近红外光谱的内部特征信息进行抽取,从而实现对大面积土壤pH值的高效准确预测。CNNR模型可对农作物的合理栽种及精准施肥提供指导,从而达到土壤结构稳定和可持续发展的目的。基于卷积神经网络的近红外光谱回归方法也可以推广到其他土壤信息研究。     

近红外光谱的油页岩总有机碳快速检测

为了快速检测油页岩总有机碳（TOC）含量,以松辽盆地某区块所取岩芯为研究对象,测量230个岩石样本的TOC含量和近红外光谱数据。利用蒙特卡洛法剔除异常样本14个,剩余的216个样本进行去趋势加基线校正方法预处理,采用连续投影算法（SPA）、无信息变量消除算法以及竞争自适应算法选取特征波长。使用SPXY方法对样本按照2∶1的比例划分为144个校正集和72个验证集,然后建立线性的偏最小二乘（PLS）模型以及非线性的支持向量机（SVM）模型和随机森林（RF）模型对油页岩TOC含量进行预测。采用测定系数（R2）和均方根误差（RMSE）作为模型的评价指标,探究不同特征波长选择方法对油页岩总有机碳建模的影响,比较不同建模方法对油页岩TOC含量预测的准确度。结果表明,特征波长提取能够起到优化模型的作用。SPA,UVE和CARS分别提取了16,253和65个波长,经过特征波长提取后模型测定系数均有提高,均方根误差均有下降,这说明进行特征波长优选对于简化模型、提高模型运算速度发挥着很重要的作用。此外,非线性的RF和SVM模型性能要优于线性模型PLS。这是因为油页岩中的碳存在于各类烃的中,不同类别含烃基团的吸收峰之间相互影响,使得油页岩总有机碳含量和近红外光谱数据之间存在着复杂的非线性关系,因此,非线性的SVM和RF模型能够表现出更好的效果。相比于其他模型,CARS-SVM模型验证集的测定系数（R2_v）和均方根误差（RMSEV）表现出的结果较好,分别达到了0.906 6和0.222 0,该模型能够用于油页岩总有机碳含量的快速检测。研究结果说明,近红外光谱分析应用于油页岩TOC含量快速检测是可行的;建立的CARS-SVM模型能够表现出较好的预测效果,为我国油页岩TOC含量快速检测提供了一种新的方法和思路。     

耦合平均影响值-连续投影算法优化种子活力近红外检测模型

目前,近红外光谱(NIRS)可以实现种子活力的快速、无损检测,但区分的活力等级一般少于3级且精度不高。建立种子活力多等级、高精度的NIRS检测模型,解决活力等级增加与预测模型精度之间的矛盾是现阶段近红外种子活力检测的主要任务。以玉米种子为研究对象,采用人工老化的方法获得5种活力等级的种子样本并采集对应的光谱数据建立反向神经网络(BP)预测模型。为了提高模型的精度和稳健性,提出一种耦合平均影响值-连续投影特征波长提取算法(MIVopt-SPAsa)。该算法针对连续投影算法(SPA)耗时过长的问题,采用平均影响值算法(MIV)对其预降维。MIV方法实现了对波长影响值的排序,但缺乏选取波长影响阈值的指标,因此引入相对距离比对MIV算法进行优化(MIV_opt),实现特征波长范围的有效分割。针对SPA提取特征变量数目确定的问题,设定了特征波长数目范围并在此范围内优中选优,实现了自适应的SPA(SPA_sa)特征提取。使用耦合MIV_opt-SPA_sa算法对具有1 845个波长的玉米种子近红外全谱数据进行特征提取,提取出特征波长37个,主要分布在玉米种子近红外光谱的7个主要吸收峰附近,表明该算法可以有效提取出与玉米种子生化物质近红外吸收特性一致的特征波长。为了测试该算法对模型性能的影响,建立了全谱BP模型、MIV-BP模型、SPA_sa-BP模型、MIV_opt-SPA_sa-BP模型和竞争自适应重加权CARS-BP模型对5个等级的玉米种子活力进行分级,MIV_opt-SPA_sa-BP模型的预测平均准确率可达99.1%,预测精度高于其他模型;其计算平均时间为14.382 s,低于MIV-BP模型的计算时间(24.523 s)、CARS-BP模型的计算时间(97.226 s)和SPA_sa-BP模型的计算时间(101.224 s),但高于全谱模型的平均计算时间(0.253 1 s);其最佳表现交叉熵为0.007 892,远远低于另外4个模型。实验结果表明：MIV_opt-SPA_sa算法可以有效地提高玉米种子活力近红外检测模型的精度,实现种子活力多等级、精确、无损检测,为种子活力检测模型的优化提供参考。     

基于近红外光谱的粳稻种子快速鉴别方法研究

黑龙江省是我国最大的粳稻产区和商品粮生产基地。水稻种植过程中,选择合适的水稻品种是实现高产的关键环节。在农业生产中,水稻品种的选择受多方面因素影响,一般说来,同一积温带所种植的不同水稻品种在外观上差别不大,甚至没有差别,很难通过肉眼观察进行准确区分。为了快速鉴别肉眼不便区分的不同类别粳稻种子,提出了一种基于近红外光谱技术的粳稻品种快速无损鉴别方法。以黑龙江垦区大量种植的3种不同品种的粳稻种子（垦粳5号、垦粳6号和绥粳4号）作为研究对象,每个品种选取40个样本,其中30个样本做为建模集,10个样本作为预测集,扫描获取全部120个样本的近红外光谱数据。对原始光谱数据（11 520～4 000 cm-1）两端进行裁剪,选取吸光度较强的8 250～5 779cm-1范围内的光谱数据进行研究。首先建立参照模型,即直接对光谱数据建立BP模型1, 同时光谱数据经过一阶导数和Savitzky-Golay平滑预处理后建立BP模型2。模型1的分类正确率为93.3%,预测集均方根误差RMSEP=0.232 8,迭代时间t=3 882.9 s。模型2的分类正确率为100%,RMSEP=0.070 6,迭代时间t=954.5 s。比较两种模型的评价参数RMSEP发现FD+SG预处理可以提高模型的预测能力,但是由于两种模型未进行降维处理,数据量过大,模型的输入节点过多,迭代时间太长,不利于实际应用。因此利用小波变换多分辨率的特点对数据进行降维处理,采用预测集残差平方和Press值作为评价指标,在多个小波类别和参数中选取分解尺度为5的sym2（symlet2）小波对光谱数据进行压缩和降维处理,将光谱数据由601维降到21维。以小波变换结果作为神经网络输入,建立模型3,并与模型1比较,模型3的分类正确率为93.3%, RMSEP=0.225 0, 迭代时间t缩短至198.9 s,比较结果显示小波降维可以减少神经网络的输入,简化神经网络的结构,从而提高迭代速度,但对提高模型的预测能力效果不明显。上述三种模型比较结果表明,FD+SG预处理可以提高模型的预测能力,小波降维可以提高模型的迭代速度,综合上述三种模型的比较结果分析,最终建立“FD+SG+小波降维”的21输入、15个隐层、3个输出的神经网络鉴别模型4,其分类正确率达100%,RMSEP=0.029 3, 迭代时间为98.8 s,表明模型4能够完全实现对三种不同水稻品种的快速、准确、无损鉴别。因此,所提出的基于近红外光谱的小波降维和反向传播人工神经网络鉴别模型的方法完全可以用于粳稻种子的快速无损鉴别,同时也为其他农作物种子的快速鉴别提供了参考。