油页岩含油率近红外光谱原位分析方法研究

为实现油页岩含油率的原位检测,采用便携式近红外光谱分析技术,针对吉林扶余油页岩基地2号钻井的66个岩芯样品开展了原位检测的分析建模方法研究。采用自制便携式近红外光谱仪器获得反射率、吸光度、K-M函数三种数据形式光谱数据,结合主成分-马氏距离(PCA-MD)剔除异常样品、无信息变量消除法(UVE)波长筛选及二者组合的四种建模数据优化方法,采用相同的数据预处理方法进行偏最小二乘(PLS)和反向传播神经网络(BPANN)两种方法的建模分析研究,确定最佳分析模型及方法。结果表明(1)不论是否采用四种不同的数据优化方法,两种建模方法所用建模数据库适合采用反射率或K-M函数的光谱数据形式;(2)两种建模方法,采用四种不同的数据优化方法,对相同数据库建模精度的影响不同：采用PLS建模方法、以PCA-MD和UVE+ PCA-MD两种方法进行数据优化、可以提高K-M函数光谱数据形式数据库的建模分析精度,采用BPANN建模方法、以UVE、PCA-MD 与UVE组合的 三种方法进行数据优化、对三种数据形式数据库的建模精度均有所提高;(3)除以反射率光谱数据并进行PCA-MD数据优化外,采用BPANN方法的建模精度好于PLS法。其中采用反射率光谱数据形式、只进行UVE数据优化外的BPANN建模精度最高,预测相关系数为0.92、标准偏差为0.69%。     

近红外光谱法分析油页岩含油率中波长选择方法的研究

波长选择是光谱建模分析的重要步骤。研究了近红外光谱法分析油页岩含油率过程中的波长选择方法,用以剔除光谱数据中的冗余信息和干扰信息,提高分析模型的建模效率和预测能力。分别采用相关系数法(CC)、移动窗口偏最小二乘法(MWPLS)和无信息变量消除法（UVE）对油页岩近红外漫反射光谱数据的波长区间进行了选择,研究了不同阈值、窗口宽度和噪声矩阵对上述方法的影响,建立了所选择波长处的反射率数据和样品含油率标准值间的偏最小二乘（PLS）分析模型,比较了上述方法的选择效果。结果表明：与使用全谱数据建模相比,采用上述方法筛选过的光谱数据均能提高模型的建模效率和预测能力,其中经UVE法筛选后的光谱数据仅占全谱数据总数的22.8%,模型的RMSECV却降低了9.3%,RMSEP降低了4.5%。     

小波变换与神经网络融合法在油页岩近红外光谱分析中的应用

便携式近红外光谱分析技术可实现油页岩含油率的原位检测,在油页岩资源现场勘查中发挥着重要作用。但是,由于其测得的原始光谱数据量大、冗余信息多,直接建模会影响速度与精度。因此提出一种小波变换与神经网络融合法,先将油页岩全谱数据进行db8小波3级分解,提取其近似系数形成输入矩阵,然后再进行神经网络建模。为了验证有效性,利用30个油页岩合成样品,从中随机选择20个用于训练,另外10个用于预测,并分别使用全谱数据与小波特征数据进行了10次神经网络建模。结果表明,全谱数据建模速度均值为570.33 s,预测残差平方和及相关系数均值分别为0.006 012及0.843 75;而小波神经网络法对应的以上均值为3.15 s, 0.002 048及0.953 19。由此说明小波神经网络法优于全谱数据建模法,为油页岩含油率的快速、高精度检测提供了一种新方法。     

基于Stacking集成学习的近红外光谱油页岩含油率预测

为了克服单一模型预测精度很难进一步提高的不足,利用近红外光谱分析结合基于Stacking框架的异构集成学习模型实现对油页岩含油率的检测。以松辽盆地某区块所取230个油页岩岩芯样本为研究对象,使用低温干馏法测量油页岩样本的含油率,同时扫描每个样本对应的近红外光谱数据。样本使用蒙特卡洛算法进行异常样本剔除,将剔除异常样本后的213个数据按照3∶1的比例随机划分为训练集和预测集。利用去趋势加基线校正方法进行预处理消除光谱数据中噪声和基线漂移,利用随机森林算法进行波长重要性排序并保留重要波长,在此基础上采用CARS算法进行特征波长提取,进一步降低数据维度。最后,构建以PLS, SVM, RF和GBDT为初级学习器,PLS回归模型为次级学习器的Stacking集成学习模型,各初级学习器模型参数使用网格搜索进行寻优。使用决定系数和预测均方根误差作为各模型的评价指标,探究单一模型和集成学习模型对油页岩含油率预测的准确性。研究结果表明,RF-CARS方法能够有效筛选重要波长,进而提高模型效率。基于Stacking的异构集成学习模型与单一模型(SVM和PLS)和同构集成学习模型(RF和GBDT)相比有更...     

一种近红外光谱特征子区间选择新算法

为了简化光谱模型和提高模型精度,在传统遗传算法中引入Metropolis接受准则,提出了一种新的模拟退火-遗传区间选择算法(SAA-GA-iPLS),用于快速提取近红外光谱特征子区间,采用偏最小二乘法(PLS)建立近红外光谱模型。以黄瓜叶近红外光谱数据及其类胡萝卜素含量为例,将全光谱分为40个区间,模拟退火-遗传算法能快速优选出7个子区间(分别为第3,5,14,18,21,32,33子区间),在所选7个子区间的基础上建立了黄瓜叶类胡萝卜素PLS光谱模型。与传统遗传算法的比较结果表明:无论是建模效果还是算法执行效率,模拟退火-遗传算法均优于传统遗传算法。     

近红外光谱定量分析土壤全氮含量预处理方法探讨

提高土壤全氮含量检测的精确性对于精准农业具有非常重要的意义。本文基于近红外光谱技术,对光谱数据预处理方法进行研究。以土壤全氮含量为检测对象,采用平滑+一阶导数、基线校正+归一化、一阶导数+归一化等方法对采集样品的光谱数据进行预处理方法干预,并运用PLS算法分别建立土壤全氮含量的预测模型,分析不同种预处理方法对于近红外光谱建模精度的影响。实验结果表明应用基线校正+归一化处理后建模得到的预测均方根误差RMSEP为0.025,决定系数R~2为0.98,预测精度最佳。     

应用可见/近红外光谱技术快速检测果珍中二氧化钛的含量

为了实现快速检测果珍中的二氧化钛含量,提出了应用近红外光谱技术结合化学计量学的快速检测方法。研究采用了320份果珍样本进行光谱特性的检测,其中200个样本用来建模,120个样本进行预测。首先比较了标准正态变量校正(SNV)、变量标准化(Normalize)、多元散射校正(MSC)等6种不同的数据预处理方法对偏最小二乘法(PLS)建模预测效果的影响。然后将PLS模型与应用主成分(PC)建立的主成分-神经网络校正(PC-ANN)模型进行比较。结果表明,MSC预处理的效果最好,PLS模型的最佳主成分数为7,预测值与标准值的相关系数R2达0.900 8,预测标准误差RMSEP为0.05。PC-ANN模型预测值与标准值的R2为0.868 4,RMSEP为0.04。说明PLS模型比PC-ANN模型的预测效果好。同时本研究也说明能够应用可见/近红外技术对二氧化钛进行快速定量测定。     

基于小波压缩的马铃薯全粉还原糖近红外光谱检测研究

为探讨小波压缩算法结合近红外光谱技术在马铃薯全粉还原糖含量检测中的可行性,采用傅里叶变换近红外光谱仪采集了250份马铃薯全粉样品的近红外光谱。分别优化了消失矩、小波系数和主成分因子数,优化结果为10,100和20。基于db小波函数将1 501个马铃薯全粉的近红外光谱变量压缩成100个小波系数。分别以1 501个光谱变量和100个小波系数为变量分别建立了偏最小二乘(PLS)校正模型。以62个未参与建模的样品作为预测集,考察模型的预测能力。经比较,小波压缩结合PLS的校正模型预测结果最优,模型预测相关系数为0.98,预测均方根误差为0.181%。实验结果表明小波压缩算法结合近红外光谱技术有效地保留了有效光谱信息,实现了光谱数据降维,简化了马铃薯全粉还原糖PLS校正模型,提高了模型的预测能力。     

近红外光谱的头孢类药品成分分析与模型传递方法

药品安全与质量监管迫切需要在线、快速、低成本的成分检测技术。近红外光谱技术在检测成本及速度方面具有显著优势,基于近红外光谱的药品成分检测方法,对于提高药品质量监管水平有着十分重要的研究意义和应用价值。在实际应用中,不同光谱仪器由于性能参数不同,测量光谱存在一定差异,很难实现定量校正模型共享。因此,研究不同光谱仪器之间模型传递对于提高分析效率十分重要。针对头孢类药品成分检测的需要,研究了头孢类药品中三种组分定量校正模型,提出了一种基于马尔可夫链(MC)的转换集选择的不同仪器间定量校正模型传递方法。采用两台不同厂家光谱仪器分别测量56份不同批次的头孢拉定颗粒样品,针对样品的三种组分:头孢拉定、头孢氨苄和水分,使用偏最小二乘法(PLS)建立定量校正模型。通过构建概率矩阵,选择合适的转换集,提高模型转换效率及不同仪器得到光谱数据的建模预测精度。实验结果表明,利用该模型转移算法,可利用少量转换集样本实现不同光谱仪器间定量校正模型转移,模型转移前后,定量校正模型对于三种主成分预测相对误差从9.67%, 52.14%和19.25%,分别下降到到4.37%, 31.12%和11.67%。利用该模型传递方法可以有效修正主从仪器光谱差异,实现了不同仪器测量光谱及定量分析模型传递共享。该研究的建模分析与模型传递方法也为药品成分与质量检测提供了技术支撑。     

尿微量白蛋白的可见-近红外光谱检测

尿微量白蛋白是临床上检测肾损伤最可靠的诊断指标.为实现尿微量白蛋白快速无试剂检测,本文采用多光程方式得到207例尿液样品可见-近红外双波段的多光程光谱,基于多光程光谱的非线性特性,获得更多样品成分含量的信息.在首先进行PLS建模的基础上,使用PLS-ANN建模方法引入非线性信息,对样本的可见-近红外波段多光程光谱与尿微...     

棉籽油分含量近红外无损检测分析模型与应用

棉花是一种重要的油料作物。建立快速、无损检测棉花种子含油量的方法,对于棉花油分育种工作中的材料鉴定、筛选具有重要意义。利用近红外光谱仪采集118份不同油分含量棉花种籽的近红外漫反射光谱,结合化学方法测定验证,建立了棉籽油分含量快速无损检测的近红外模型。光谱预处理方法采用一阶导数＋多元散射校正(MSC),光谱范围5 446～8 848 cm-1,主成分维数为5,以基本覆盖陆地棉棉籽含油量范围的106份试验材料为校正样品集,利用偏最小二乘法(PLS)建立了棉籽仁油分含量近红外反射光谱(NIR)校正模型。校正模型决定系数R2=0.975,校正标准差SEC=0.67。用外部验证样品集进行外部验证,对所建模型的实际预测能力进行检验。结果表明,油分含量预测值与化学值相关系数r=0.978,预测结果误差范围0.1%～1.7%,建立的模型具有很好的预测性。利用建立的模型对784份育种材料进行了油分含量预测,结果显示,该模型应用可以加快棉花育种材料的油分鉴定。     

近红外光谱法分析油页岩含油率中异常样品识别和剔除方法的研究

研究了漫反射近红外(NIR)光谱法分析油页岩含油率过程中异常样品的识别和剔除方法。在近红外光谱定量分析中,环境变化和操作失误等都会产生异常样品,异常样品的存在会导致模型的预测能力下降,因此异常样品的剔除是建模过程中的关键步骤。分别采用主成分分析—马氏距离(PCA-MD)法和半数重采样(RHM)法识别油页岩光谱数据中的异常样品,通过剔除异常样品后所建的偏最小二乘(PLS)分析模型的性能来评价PCA-MD与RHM方法对异常样品的识别能力。实验中考察了不同MD阈值和RHM置信度对异常样品剔除结果的影响,比较了单独和同时应用PCA-MD及RHM法识别并剔除异常样品后所得PLS模型的预测能力。结果表明：与所有样品参与建模时预测偏差均方根(RMSEP)相比,采用PCA-MD法时阈值取平均值与标准偏差之和时RMSEP降低了48.3%;采用RHM法时置信度取85%时RMSEP降低了27.5%;同时采用PCA-MD法和RHM法时RMSEP降低了44.8%,研究内容有效地提高了分析模型的预测能力。     

基于卡尔曼滤波的近红外光谱特征波长变量优选方法

将经典的卡尔曼滤波器与近红外光谱分析技术相结合,提出了一种新的特征波长变量选择方法——卡尔曼滤波法。分析了卡尔曼滤波器用于波长优选的原理,设计了波长选择算法并将其应用到大豆油脂酸价的近红外光谱检测中。首先利用偏最小二乘法(PLS)对油脂不同吸收波段建模,初步筛选出4 472～5 000 cm-1油脂酸价特征波段共132个波长点,然后进一步利用卡尔曼滤波器进行特征波长选择,从中优选出22个特征波长变量建立PLS校正模型,预测集决定系数R2、预测误差均方根RMSEP分别为0.970 8和0.125 4,与利用132个波长点建立的校正模型预测结果相当,而波长变量数减少到原来的16.67%。该波长变量选择算法是一种确定性的迭代过程,无复杂的参数设置和变量选择的随机性,物理意义明确。优选出少数对模型影响较大的特征波长变量以代替全谱建模,在简化模型的同时提高了模型的稳健性,为开发专用油脂近红外光谱分析仪器提供了重要参考依据。     

近红外光谱法快速测定新疆薰衣草精油主要组分

为建立快速测定新疆薰衣草精油中芳樟醇(linalool)、乙酸芳樟酯(linalyl acetate)含量的定量分析模型,采用近红外吸收光谱法(NIR)测定了165个精油样品,通过对近红外光谱吸收峰分析,在7 100～4 500 cm-1波数范围内化学信息量比较丰富且噪音低,可选择此波数段为分析区间。剔除8个异常样本后,通过聚类方法划分为105个校正集样本和52个验证集样本,结合气相色谱质谱(GC-MS)法测定的薰衣草精油linalool和linalyl acetate的含量,建立原始数据矩阵。对比不同的预处理方法对原始近红外光谱的过滤作用,其中正交信号变换(OSC)方法效果明显,对两种化合物的预测均方根误差(RMSEP) 分别为0.226和0.558,再用向前间隔偏最小二乘法(FiPLS)剔除与待测成分无关或呈非线性关系的波长点,最终得到8个间隔区间共160个波长点的数据子集。使用OSC-FiPLS优化处理的数据子集结合偏最小二乘法(PLS)建立新疆薰衣草精油中linalool和linalyl acetate的快速定量分析模型,在模型中二成分的隐变量数都为8。交互验证均方根误差(RMSECV)分别为0.170和0.416;预测均方根误差(RMSEP)分别为0.188和0.364。结果表明,经OSC和FiPLS预处理建立的PLS-NIR定量分析模型稳健性好,测定精度高,能快速测定薰衣草精油中linalool和linalyl acetate含量,并且具有良好的预测能力。可为新疆薰衣草精油主要成分的快速定量分析提供一种新的有效方法。     

水果坚实度的近红外光谱检测分析试验研究

应用傅里叶漫反射近红外光谱技术探讨了水果坚实度无损检测的方法。利用偏最小二乘法建立了坚实度与漫反射光谱的无损检测数学模型,同时对不同光谱预处理方法和不同建模波段范围对模型的预测性能进行了对比分析。结果表明：利用傅里叶变换光谱仪采集的原始光谱的平滑预处理对结果并没有太大影响;原始光谱在800～2 500 nm范围的模型得到了最好的预测结果：校正集样本的相关系数r为0.869,校正均方根误差RMSEC为3.88 N;预测集样本的相关系数r为0.840,预测均方根误差RMSEP为4.26 N。 通过本研究得出：应用近红外漫反射光谱检测水果坚实度是可行的,为今后快速无损评价水果成熟度提供了理论依据。     

基于偏最小二乘法的三种光谱定量测定LDPE/PP共混物组分含量的比较研究

分别利用中红外(mid-infrared, MIR)、近红外(near-infrared, NIR)和拉曼光谱(Raman)采集了31种不同比例的低密度聚乙烯/聚丙烯(LDPE/PP)共混物样本的光谱,利用偏最小二乘法(partial least-square, PLS)建立了光谱数据与LDPE含量的模型,研究了不同光谱范围和预处理方法对模型准确性的影响,并比较了三种光谱定量测量的准确性。结果表明,对于光谱差异小、存在噪音或基线干扰的谱图,预处理方法和光谱范围对模型的准确性均有较大的影响;经过三种预处理以及选择合适的光谱范围建立的模型决定系数(R2)分别从未处理前的0.887 6,0.849 3和0.875 7提升到0.990 6,0.997 3和0.997 2,校正均方根误差(root mean square error of calibration, RMSEC)则分别从10.15,11.75和10.67降低到2.941,1.561和1.598;三种光谱在经过预处理之后均能够较好地定量测量LDPE的含量,NIR和Raman模型准确性更高,由于两者的测量速度快,因此尤其适合于进行快速、准确的定量测量。     

LIBS/Raman光谱对称零面积变换自动寻峰方法研究

自动寻峰是进行光谱原位探测、实时自动分析的必要环节,对拓展光谱分析技术到长期海洋监测、石油录井等应用领域具有重要意义。该研究以实验室中获得的LIBS/Raman光谱数据,对Gaussian,Lorenz,Voigt三种线型函数构建的对称零面积变换函数进行了比较研究。结果证明各个光谱峰都存在一个最优的对称零面积变换函数,但三种变换函数在各自的最优化参数下获得的峰位、峰宽一致;以实验室中LIBS和Raman光谱定量实验数据对该方法的测试还证明,对称零面积变换寻峰方法对信号的大范围动态变化适应性强,弱峰识别能力达到或优于人工识别水平,有望应用于将来的LIBS/Raman自动原位分析中去。