近红外光谱法分析油页岩含油率中波长选择方法的研究

波长选择是光谱建模分析的重要步骤。研究了近红外光谱法分析油页岩含油率过程中的波长选择方法,用以剔除光谱数据中的冗余信息和干扰信息,提高分析模型的建模效率和预测能力。分别采用相关系数法(CC)、移动窗口偏最小二乘法(MWPLS)和无信息变量消除法（UVE）对油页岩近红外漫反射光谱数据的波长区间进行了选择,研究了不同阈值、窗口宽度和噪声矩阵对上述方法的影响,建立了所选择波长处的反射率数据和样品含油率标准值间的偏最小二乘（PLS）分析模型,比较了上述方法的选择效果。结果表明：与使用全谱数据建模相比,采用上述方法筛选过的光谱数据均能提高模型的建模效率和预测能力,其中经UVE法筛选后的光谱数据仅占全谱数据总数的22.8%,模型的RMSECV却降低了9.3%,RMSEP降低了4.5%。     

油页岩含油率近红外光谱原位分析方法研究

为实现油页岩含油率的原位检测,采用便携式近红外光谱分析技术,针对吉林扶余油页岩基地2号钻井的66个岩芯样品开展了原位检测的分析建模方法研究。采用自制便携式近红外光谱仪器获得反射率、吸光度、K-M函数三种数据形式光谱数据,结合主成分-马氏距离(PCA-MD)剔除异常样品、无信息变量消除法(UVE)波长筛选及二者组合的四种建模数据优化方法,采用相同的数据预处理方法进行偏最小二乘(PLS)和反向传播神经网络(BPANN)两种方法的建模分析研究,确定最佳分析模型及方法。结果表明(1)不论是否采用四种不同的数据优化方法,两种建模方法所用建模数据库适合采用反射率或K-M函数的光谱数据形式;(2)两种建模方法,采用四种不同的数据优化方法,对相同数据库建模精度的影响不同：采用PLS建模方法、以PCA-MD和UVE+ PCA-MD两种方法进行数据优化、可以提高K-M函数光谱数据形式数据库的建模分析精度,采用BPANN建模方法、以UVE、PCA-MD 与UVE组合的 三种方法进行数据优化、对三种数据形式数据库的建模精度均有所提高;(3)除以反射率光谱数据并进行PCA-MD数据优化外,采用BPANN方法的建模精度好于PLS法。其中采用反射率光谱数据形式、只进行UVE数据优化外的BPANN建模精度最高,预测相关系数为0.92、标准偏差为0.69%。     

融合波长选择和异常光谱检测的天然气燃烧过程定量分析方法

针对天然气燃烧过程的近红外光谱数据,采用了一种融合波长选择和异常光谱检测的定量分析方法。该方法根据偏最小二乘(PLS)模型的系数及预测误差的统计分布,在实现波长选择的同时,完成异常光谱样本的检测。与PLS、先用留一法将异常样本删除后PLS建模(LOO-PLS)、基于PLS的无信息变量消除法(UVE-PLS)以及先用留一法将异常样本删除后使用UVE-PLS建模(LOO-UVE-PLS)相比较,该方法将甲烷预测模型的预测均方根误差(RMSEP)分别降低了14.33%,14.33%,10.96%和12.21%;将一氧化碳预测模型的RMSEP分别降低了67.26%,72.58%,11.32%和4.52%;将二氧化碳预测模型的RMSEP分别降低了5.95%,19.7%,36.71%和4.04%。实验表明,该方法建立的分析物预测模型具有较高的预测能力和较好的稳健性,在大大减少所选波长数量,降低模型复杂度的同时,还能有效地检测出异常光谱样本,减小两者之间的相互影响。     

近红外光谱技术定量测定杨梅汁可溶性固形物

采用近红外光谱分析技术对浙江省不同产地的杨梅汁进行了光谱测定和定量分析,通过计算样品的杠杆值、学生残差和马氏距离来判别异常样品,采用偏最小二乘法(PLS)对杨梅汁的可溶性固形物进行建模分析,选取不同的分辨率和波段范围对光谱进行有效的信息提取和分析,确定了最佳的回归因子数和用于定量分析的最优波段范围。结果显示： 杨梅汁样品中有一个为异常样品,在建模时予以剔除;用于杨梅汁可溶性固形物检测的最佳分辨率和最优波段分别是4 cm-1和4 000～12 267.46 cm-1,最佳的回归因子数是8,该PLS模型的相关系数为0.957 85,校正均方根误差(RMSEC)、预测均方根误差(RMSEP)和交互验证标准偏差(RMSECV)分别是0.431,0.925和1.07°Brix。研究表明近红外光谱检测技术能用于杨梅汁可溶性固形物的定量分析。     

基于OSC-PLS算法对大麦蛋白质含量进行定量分析的研究

用色散扫描型仪器采集大麦样品的近红外光谱,扫描出的光谱携带了大量样品化学值信息,采用正交信号校正(OSC)预处理方法对这些原始光谱进行处理,剔除噪声等不相关因子以后建立偏最小二乘(PLS)近红外光谱分析模型(OSC-PLS),预测大麦蛋白质的含量,并与传统PLS建模方法进行对比。基于OSC-PLS算法的蛋白质含量近红外光谱分析模型的测定系数R2为0.901,检验集的化学值与模型预测值的相关系数r达到0.971 7,分析模型的预测标准偏差SD为0.545 0,相对标准偏差RSD为4.2%。结果表明,OSC-PLS回归方法能在较大程度上消除无关因素的影响,在简化模型的同时提高了模型的可解释性,能够建立准确的大麦蛋白质含量近红外预测模型,可代替经典分析方法,满足农产品快速分析的需要。     

基于强影响度的近红外奇异样本识别算法研究

校正样本选择以及奇异样本剔除对于近红外光谱定量和定性建模非常重要。现有的识别奇异样本的方法一般都基于数据重心估计,需要一个经验的判断阈值,在很大程度上限制了其识别准确性和实用性。针对现有方法奇异样本识别准确率低的问题,改进了一种现有度量尺度-杠杆值,构造出一种新的基于强影响度的奇异样本识别算法。这种度量尺度在一定程度上减少了对数据重心的依赖,使正常样本更加聚集,拉开了奇异样本与正常样本的距离;同时,为了避免人工根据经验设定阈值的不合理性,引入统计学领域中跳跃度的概念,提出了一种自动阈值设定方法判别奇异样本。为了验证该算法的有效性,利用马氏距离、杠杆值-光谱残差法与该算法分别对200个代表性校正集样本中的异常样品进行剔除,然后通过偏最小二乘法(PLS)对剩余的校正集样本(以烟碱为指标)定量建模,并对60个代表性测试集样本进行预测,以交互验证均方根误差(RMSECV)、相关系数(r)和预测均方根误差(RMSEP)为评价指标比较各算法的优劣。实验对比结果表明,基于强影响度的奇异样本识别算法较现有方法明显提高了奇异样本识别的准确率,具有较低的RMSECV(0.104),RMSEP(0.112)以及较高的R(0.983),提高了模型的稳定性和预测能力。     

应用数字傅里叶滤波方法提高近红外光谱多元校正模型稳健性的研究

在近红外光谱多元校正方法实际应用中,经常遇到这样的情况,近红外光谱校正模型仅适用于建模时的测量条件,而在测量条件稍有变化时就无法实现样品的准确预测。文章主要研究采用数字傅里叶滤波预处理方法提高近红外光谱多元校正模型稳健性。文章将数字傅里叶滤波预处理方法应用于葡萄糖水溶液的温度实验,实验1和实验2分别在恒温25 ℃和恒温30 ℃进行光谱测量;实验3在未控温的室内环境下进行光谱测量。采用实验1和实验2的样品作为训练集进行模型训练和优化,模型建立完毕之后,采用实验3的样品作为验证集进行模型预测能力评价。结果表明,如果训练集样品未经过预处理而直接建立偏最小二乘(PLS)多元校正模型,则验证集样品均方根预测误差(RMSEP)为664.47 mg·dL-1。而训练集和验证集样品经过傅里叶滤波预处理之后分别进行PLS建模和预测,验证集样品均方根预测误差(RMSEP)降低为58.43 mg·dL-1,样品预测值与参考值的相关性也得到提高。可见,采用数字傅里叶滤波预处理方法可以提高多元校正模型的稳健性。     

近红外光谱预测稻谷水分含量特征谱区选择及其效率分析

对364份水分含量在2.24%～32.66%之间的“冈优916”稻谷样品,经均值中心化、一阶微分、标准归一化和多元散射校正等预处理后,采用分段间隔法、组合分段法、滑动窗口法和反向分段法等进行特征谱区选择,分别使用偏最小二乘法(PLS)和主成分回归(PCR)两种定量分析方法,获得稻谷含水量近红外光谱预测模型最佳的特征谱区。首次给出了分段间隔法、组合分段法、滑动窗口法和反向分段法等传统的特征谱区选择方法的计算复杂度的计算公式,并对比分析了这几种特征谱区选择方法的程序运行效率。结果表明：采用PLS建模对稻谷含水量光谱的预测性能优于PCR建模,但PLS建模的效率低于PCR建模;在PLS建模中,采用反向分段法对稻谷光谱含水量的预测性能最好,其预测集的相关系数R_P为0.995 6,预测均方根偏差RMSEP为0.78%;其次是滑动窗口法,其R_P为0.994 3,RMSEP为0.89%;但这两种特征谱区选择方法的程序运行效率较低,反向分段法的平均运行时间为4.87 h,滑动窗口法的平均运行时间为29.82 h。该研究结果为今后在并行计算或分布式计算上开发近红外光谱预测模型的快速算法提供参考。     

小波阈值降噪模型在红外光谱信号处理中的应用研究

针对近红外光谱经常受到噪声干扰的特点,提出了利用小波阈值降噪方法进行光谱数据的降噪处理,以山羊绒表面油脂的近红外光谱检测为例,对比分析了三种小波阈值降噪模型(Penalty阈值降噪模型、Brige-Massart阈值降噪模型、缺省阈值降噪模型)的降噪性能。对降噪后的光谱数据采用偏最小二乘和支持向量机回归相结合建立了校正和预测模型,通过对比校验参数R2,RMSEC,RMSEP,分析评价了三种小波阈值降噪模型的降噪效果。结果表明: 三种降噪模型都能在一定程度上降低光谱信号的噪声,提高信噪比,改善光谱预测模型的精度,其中,Brige-Massart阈值降噪模型和缺省阈值降噪模型的降噪效果明显优于Penalty阈值降噪模型,与原始光谱信号建模的预测精度(R2=0.793,RMSEC=0.233,RMSEP=0.225)相比较,经过Brige-Massart阈值降噪模型降噪后的光谱信号建模的预测精度(R2=0.882,RMSEC=0.144,RMSEP=0.136)和经过缺省阈值降噪模型降噪后的光谱信号建模的预测精度(R2=0.876,RMSEC=0.151,RMSEP=0.142)均有较大程度的改善和提高,说明提出的小波阈值降噪方法能有效地降低原始光谱噪声作用,使光谱数据多变量分析模型更具有代表性和稳健性, 从而可以提高模型的预测精度。     

可见-近红外光谱的潮间带沉积物有机碳含量的几种模型预测方法

可见-近红外光谱已被证明是一种快速、有效的有机碳(TOC)含量预测方法。但是,当前利用光谱预测TOC含量的研究对象主要为土壤或湖泊沉积物,还未见潮间带海洋沉积物的研究报道。为了快速准确预测潮间带沉积物TOC含量,通过异常样本剔除、光谱特征变换、特征波长提取相结合,构建TOC预测模型,即,采集潮间带沉积物样品光谱,采用马氏距离、标准杠杆值和学生残差联合分析的方法剔除异常样本,利用多元散射校正(MSC)、平滑+微分进行光谱变换,利用遗传算法(GA)提取特征波长,采用偏最小二乘法(PLS)、最小二乘支持向量机(LSSVM)和BP神经网络(BPNN)对沉积物TOC含量进行建模和预测,通过决定系数(R~2)和剩余估计偏差(PRD)来评价模型精度。结果表明,剔除异常样本有助于提升模型精度, BPNN模型的检验R~2和PRD分别提升了28%和39%。MSC光谱变换效果优于平滑+微分,基于MSC光谱变换的PLS, LSSVM和BPNN模型检验R~2分别为0.81, 0.86和0.78, PRD分别为2.25, 2.59和2.07,比平滑+微分提升了9%～20%(R~2)和11%～22%(PRD),意味着MSC具有较强的TOC信息提取能力。GA不利于增加预测模型精度,基于GA特征波长的模型预测R~2降低了9%～36%, PRD降低了18%～33%,可能与GA提取的特征波长数量偏少有关。BPNN模型的预测精度最低,可能与其容易陷入局部极小点有关。PLS模型精度较高,可以很好的预测潮间带沉积物TOC含量。基于异常样本剔除和MSC光谱变换, PLS模型的建模R~2为0.98,检验R~2为0.81, RPD为2.25。LSSVM模型精度更优于PLS, LSSVM模型建模R~2为0.99,检验R~2和RPD分别为0.86和2.59,显示极好的TOC定量预测能力。总之,针对潮间带沉积物TOC含量预测,可以将剔除异常样本、 MSC光谱变换、 LSSVM建模结合起来,以获得可靠、稳定的预测模型。     

奇异点快速检测在牛奶成分近红外光谱测量中的应用

近红外光谱作为一种依靠模型对物化性质进行分析的技术,对光谱数据的准确性进行快速准确的判断是得到可靠分析结果的前提。但是光谱数据中奇异点的存在会在很大程度上影响多变量校正模型的准确性,从而影响模型的预测效果。文章综合利用半数重采样法(Resampling by Half-Mean,RHM)和最小半球体积法(Smallest Half-Volume,SHV)成功剔除了被测量的牛奶成分近红外光谱中的奇异点,其效果远优于传统的奇异点剔除方法,并且该方法具有简单快速、计算量小、数值稳定等特点,非常适用于在线分析和其他类型的光谱数据中奇异点的检测。     

棉籽油分含量近红外无损检测分析模型与应用

棉花是一种重要的油料作物。建立快速、无损检测棉花种子含油量的方法,对于棉花油分育种工作中的材料鉴定、筛选具有重要意义。利用近红外光谱仪采集118份不同油分含量棉花种籽的近红外漫反射光谱,结合化学方法测定验证,建立了棉籽油分含量快速无损检测的近红外模型。光谱预处理方法采用一阶导数＋多元散射校正(MSC),光谱范围5 446～8 848 cm-1,主成分维数为5,以基本覆盖陆地棉棉籽含油量范围的106份试验材料为校正样品集,利用偏最小二乘法(PLS)建立了棉籽仁油分含量近红外反射光谱(NIR)校正模型。校正模型决定系数R2=0.975,校正标准差SEC=0.67。用外部验证样品集进行外部验证,对所建模型的实际预测能力进行检验。结果表明,油分含量预测值与化学值相关系数r=0.978,预测结果误差范围0.1%～1.7%,建立的模型具有很好的预测性。利用建立的模型对784份育种材料进行了油分含量预测,结果显示,该模型应用可以加快棉花育种材料的油分鉴定。     

基于激光近红外的稻米油掺伪定性-定量分析

该文主要研究激光近红外光谱分析技术结合化学计量学方法对稻米油掺伪进行定性-定量分析。分别将大豆油、玉米油、菜籽油、餐饮废弃油掺入稻米油中,按照不同质量比配置189个掺伪油样,利用激光近红外光谱仪采集光谱;对采集的稻米油掺伪图谱数据进行多元散射校正(MSC)、正交信号校正 (OSC)、标准正态变量变换和去趋势技术联用算法(SNV_DT)三种不同预处理并与原始数据进行比较。采用连续投影算法(SPA)对经过预处理的光谱数据进行特征波长提取,应用支持向量机分类(SVC)方法建立稻米油掺伪样品的定性分类校正模型,选择网格搜索算法对模型参数组合(C,g)进行寻优,确定最优参数组合。另采用后向间隔偏最小二乘法(BiPLS)和SPA对预处理后的光谱数据进行特征波长提取,分别应用偏最小二乘法(PLS)和支持向量机回归(SVR)建立掺伪油含量的定量校正模型,并选用网格搜索算法对SVR模型参数组合(C,g)进行寻优,建立最优参数模型。研究表明,建立的SVC模型预测集和校正集的准确率分别达到了95%和100%;对比SVR和PLS方法建立的数学模型对稻米油中掺杂油脂的含量的预测,两种方法均能够实现含量预测,SVR模型的预测能力更好,相关系数R高于0.99,均方根误差(MSE)低于5.55×10-4,预测精度高。结果表明,采用激光近红外光谱分析技术可以实现稻米油掺伪的定性-定量分析,同时为其他油脂的掺伪分析提供了方法。     

油砂光谱特性及其含油率遥感估算研究

可见光-近红外(visible near infrared, VNIR)高光谱以其光谱分辨率高、波段连续性强,能够反映烃类物质诊断性吸收特征,在烃类能源的识别和调查研究中得到广泛应用。对研究区的油砂光谱进行特征分析,研究显示油砂样品在1 740～1 780,2 300～2 340和2 340～2 360 nm波段均具有由烃类基团弯曲和伸缩振动引起的吸收光谱特征,同时当油砂含油率较低时,引起1 700～1 730 nm波段振动的烃类基团较少,使得在此波段区间产生较微弱甚至不产生烃类吸收特征,随着含油率的增加,1 700～1 730 nm附近开始出现明显的烃类吸收谱带。鉴于含油率是油砂资源储量分析过程中的关键参数,基于油砂中烃类基团在VNIR波段由于弯曲和伸缩振动等引起的一级倍频和合频形成的特征吸收,采用光谱的吸收深度量化特征吸收谱带的响应强度,根据含油率与油砂光谱中1 740～1 780,2 300～2 340和2 340～2 360 nm等烃类特征谱带吸收深度的Pearson和偏相关关系,确立含油率光谱响应强度的关联模式,进而应用单变量一元线性回归方法(unary linear regression,ULR)和多变量偏最小二乘方法(partial least squares regression,PLSR)进行油砂含油率光谱估算研究。结果表明,利用2 350 nm附近吸收深度作为变量的含油率URL估算模型和1 758,2 310和2 350 nm附近吸收深度作为变量的PLSR估算模型精度较高,可为含油率的快速估算提供科学的参考依据。     

近红外光谱和化学计量学方法用于橄榄油品质分析与掺杂量检测

基于橄榄油的近红外光谱数据,用判别分析(Discriminant analysis)方法把20个样品成功地分为特级初榨橄榄油和普通橄榄油两类,正确率为100％。同时测定了纯橄榄油中分别掺入菜籽油、玉米油、花生油、山茶油、葵花籽油、罂粟油的混合油的近红外光谱,掺杂油体积百分数范围为0～100%。选择最佳的光谱波段组合用偏最小二乘(PLS)法分别建立定量分析模型,预测相对误差范围在-5.67%～5.61%之间。研究结果表明,基于化学计量学方法和近红外光谱数据可为橄榄油的品质鉴定和掺杂量检测提供了一种简便、快捷、准确的方法。     

可见/近红外光谱的油茶籽油三元体系掺假检测模型优化

采用可见/近红外光谱技术结合化学计量学方法对油茶籽油三元体系掺假进行定量检测研究。将菜籽油和花生油按不同比例掺入纯油茶籽油中,获得掺假样本。采集纯油茶籽油及掺假样本在350~1 800 nm范围内的可见/近红外光谱数据,随机分为校正集和预测集,并从不同建模波段、预处理方法及建模方法角度对掺假预测模型进行优化。研究结果表明,菜籽油、花生油和总掺伪量的最优建模波段及预处理方法分别为750~1 770,900~1 770 ,870~1 770 nm和多元散射校正(MSC)、标准归一化处理(SNV)和二阶微分,而最优的建模方法均为最小二乘支持向量机(LSSVM)。对于最优掺假模型,菜籽油、花生油和总掺伪量的预测集相关系数(R_p)和预测均方根误差(RMSEP)分别为0.963,0.982,0.993和2.1%,1.5%,1.8%。由此可见,可见/近红外光谱技术结合化学计量学方法可以用于油茶籽油的三元体系掺假定量检测。     

基于不同波段对成品汽油的模式识别分析

为了实现对输油管道上顺序输送不同牌号汽油(90#,93#,97#)时汽油间界面的区分,根据近红外光谱分析的基本原理,采用主成分分析-马氏距离(PCA-MD)模式识别方法,分析了700—1100nm波段和1100—1700nm波段3种不同牌号成品汽油的近红外光谱,并根据分析结果对汽油进行了分类。结果表明,使用1100—1700nm波段的汽油光谱分类结果较好,该方法可进一步鉴别汽油的质量。     

近红外光谱的油页岩总有机碳快速检测

为了快速检测油页岩总有机碳（TOC）含量,以松辽盆地某区块所取岩芯为研究对象,测量230个岩石样本的TOC含量和近红外光谱数据。利用蒙特卡洛法剔除异常样本14个,剩余的216个样本进行去趋势加基线校正方法预处理,采用连续投影算法（SPA）、无信息变量消除算法以及竞争自适应算法选取特征波长。使用SPXY方法对样本按照2∶1的比例划分为144个校正集和72个验证集,然后建立线性的偏最小二乘（PLS）模型以及非线性的支持向量机（SVM）模型和随机森林（RF）模型对油页岩TOC含量进行预测。采用测定系数（R2）和均方根误差（RMSE）作为模型的评价指标,探究不同特征波长选择方法对油页岩总有机碳建模的影响,比较不同建模方法对油页岩TOC含量预测的准确度。结果表明,特征波长提取能够起到优化模型的作用。SPA,UVE和CARS分别提取了16,253和65个波长,经过特征波长提取后模型测定系数均有提高,均方根误差均有下降,这说明进行特征波长优选对于简化模型、提高模型运算速度发挥着很重要的作用。此外,非线性的RF和SVM模型性能要优于线性模型PLS。这是因为油页岩中的碳存在于各类烃的中,不同类别含烃基团的吸收峰之间相互影响,使得油页岩总有机碳含量和近红外光谱数据之间存在着复杂的非线性关系,因此,非线性的SVM和RF模型能够表现出更好的效果。相比于其他模型,CARS-SVM模型验证集的测定系数（R2_v）和均方根误差（RMSEV）表现出的结果较好,分别达到了0.906 6和0.222 0,该模型能够用于油页岩总有机碳含量的快速检测。研究结果说明,近红外光谱分析应用于油页岩TOC含量快速检测是可行的;建立的CARS-SVM模型能够表现出较好的预测效果,为我国油页岩TOC含量快速检测提供了一种新的方法和思路。