机器学习在紫外法测定硝酸盐氮浓度中的应用

紫外分光光度法(UV法)由于较传统化学方法具有效率高操作简便、无二次污染且可现场原位测试等优点,近些年来被广泛应用到水质参数的测试中。硝酸盐氮是工业废水中的主要污染物之一。基于UV法测量水体中硝酸盐氮浓度的标准方法是分别测量水样在220nm和275nm处的吸光度,然后用275 nm处的吸光度对220 nm处的吸光度进行校正,进而绘制出校正后的吸光度与硝酸盐氮浓度的标准曲线。然而,当硝酸盐氮浓度升高时,标准法所采用的朗伯比尔定律的线性关系以及不同物质吸光度叠加的线性不能很好地满足,在实际的实验测试中也发现,很难建立硝酸盐氮在220 nm处的吸收模型。为了克服单波长或双波长方法的缺陷,将硝酸盐氮吸收峰范围的各个波长的吸光特性引入到模型的建立之中。同时,为了降低模型的复杂度,在建立模型之前先对吸光度数据进行主成分分析,将输入数据的维度数从107压缩到4,然后对压缩后的数据使用局部加权线性回归法建模,该吸收模型对于训练样本和测试样本都有较好的预测结果,且能够适应高浓度时吸光度与浓度的非线性关系,测量上限可达几百mg·L-1。另外,此方法的原理和流程也适用于其他水质参数吸收模型的建立。     

基于LLE-SVR的鸡蛋新鲜度可见/近红外光谱无损检测方法

鸡蛋新鲜度是反映鸡蛋内部品质的一个重要指标。为了能够实现鸡蛋新鲜度的快速无损检测,利用微型光纤光谱仪采集鸡蛋550～950 nm的透射率光谱曲线,与鸡蛋的哈夫单位值进行了定量分析。通过不同的预处理方式分别结合偏最小二乘回归(partial least squares regression, PLSR)与支持向量回归(support vector regression, SVR)建立模型,比较了不同模型的预测结果,发现一阶微分结合SVR能够实现较好地预测,且利用SVR建模要优于PLSR。为了提高运算效率,减少无用信息对建模的不良影响,分别利用线性降维主成分分析法(principal component analysis, PCA)与非线性降维局部线性嵌入(locally linear embedding, LLE)对一阶微分后的光谱数据降维,比较两种降维方法的预测效果,得出了LLE降维要优于PCA降维,其训练集和预测集的相关系数与均方根误差分别为92.2%,7.21和91.1%,8.80,训练集交叉验证的均方根误差相比减少了0.79。实验结果表明,利用局部线性嵌入结合支持向量回归进行非线性建模,能够提高鸡蛋新鲜度的预测能力,表明该方法对鸡蛋新鲜度的可见/近红外光谱检测可行。     

一种基于紫外光谱法的海水硝酸盐在线监测系统

硝酸盐含量是水体质量指标之一,对于水质质量监测尤其重要。本文搭建了一种水体中硝酸盐在线原位监测系统,采用紫外吸收光谱法（190～240 nm）计算水样吸光度,并通过建立的偏最小二乘模型测定硝酸盐浓度,可用于海洋,河流,湖泊等多种水体。该自动在线监测系统不需要进行水样预处理,无二次污染,能够快速,可靠,灵敏地直接测定现场水样的硝酸盐含量。本系统使用光程为1cm的流通式样品池,并采用参考光路消除系统误差。将系统测量模型得到的不同水样的硝酸盐浓度值与实验配制浓度值相比较,结果表明二者的线性拟合曲线的相关系数r为0.999 98,具有良好的相关性。对采集的浓度数据进行系统误差分析,得到其平均相对误差为0.65%,说明系统精确度高,并且稳定性很好。还通过对烟台海岸进行的现场海水测试,其海水硝酸盐含量约为0.2 mg·L-1左右,以及在水样加标回收实验中,加标回收率皆在 95%～110%内,验证了系统的可靠性和实用性,可用于实际水体硝酸盐监测。     

基于PCA和BP神经网络的硝酸盐氮浓度检测方法

针对紫外分光光度法（UV法）检测混有干扰物质的硝酸盐氮溶液浓度精度不高的问题,提出一种基于主成分分析（principal component analysis,PCA）和BP神经网络的硝酸盐氮浓度检测方法。通过微型光谱仪物质成分检测系统测得硝酸盐氮试剂在196 nm～631 nm波段的吸光度数据,分为测试集和训练集。通过PCA计算训练集,得到主成分。根据BP算法搭建三层人工神经网络。将所得主成分除以8后输入网络展开训练。训练过程中采用留一法交叉验证。用该模型计算训练集和测试集,所得值与真实浓度的平均相对误差分别为2.411 5%和1.553%。实验结果表明,该方法能较好检测出混有干扰物质的硝酸盐氮溶液浓度。     

基于支持向量机测定水质中硝酸盐含量

针对水质中被测物硝酸盐与干扰物铁离子、铬离子紫外吸收谱线严重重叠的问题,将支持向量机应用于混合重叠光谱分析中,利用核函数将重叠的光谱数据进行高维空间变换后求得SVM回归模型,实现硝酸盐含量的光谱检测。实验结果表明:硝酸盐浓度在0.5—10mg/L范围内,所测得含量的最大相对误差为3.2%;平均回收率为100.9%,本法与传统的方法相比,要求条件较低,不需要物理或化学的分离,分析速度快,有望应用于在线监测污水中硝酸盐的含量。     

基于血清紫外-可见吸收光谱的胆固醇含量研究

将血清紫外-可见吸收光谱与神经网络理论结合用于血液中胆固醇含量的分析。研究表明,在350～600 nm波段范围内, 吸收光谱具有以下几个特征：(1)不论胆固醇含量如何,在416 nm处均有一个较强的吸收峰;(2)在波段450～500 nm之间有一肩峰, 其中心波长位于460 nm处; (3)在578 nm处还有一个较弱的峰;(4)不同胆固醇含量的吸收光谱的形状是明显不同的。血清吸收光谱是胆固醇等多种组分光谱叠加的结果, 416 nm处的吸光度与胆固醇含量之间无明显相关性,呈现出一种随机的关系, 因此不能由416 nm处的吸光度来确定胆固醇的含量是否异常。基于波段455～475 nm范围内血清的吸光度与胆固醇含量有明显的相关性,文章构建了血清吸收光谱与胆固醇含量之间关系的神经网络模型。     

一种基于流形学习的近红外光谱分析建模方法

近红外光谱分析的重要内容之一是基于校正样品集建立光谱和化学成分或类别之间的回归模型。流形学习是一类新的机器学习方法,它能够揭示出复杂数据的本质维数,提取最重要的特征信息,并用于建立回归或分类模型。文章以近红外光谱为研究对象,针对近红外光谱数据维数高、谱带归属难以确定等特点,基于流形学习中局部线性嵌入(LLE)算法的思想,提出了一种最小二乘局部加权回归(LS-LWR)建模方法。最后,利用各种浓度葡萄糖溶液的近红外光谱,对该方法进行了验证。同时建立主成份回归(PCR)和偏最小二乘回归(PLSR)模型,通过计算预测标准偏差(SEP)与LS-LWR模型进行比较。实验结果表明,LS-LWR模型有更好的预测效果,而且具有模型简单、稳定性好和计算省时等优点。     

基于SiPLS特征提取和信息融合的汽油中乙醇含量的多光谱检测

采用紫外可见(ultraviolet/visible, UV-Vis)光谱技术和近红外(near-infrared, NIR)光谱技术及信息融合技术对乙醇汽油中乙醇含量进行了检测。首先采用组合区间偏最小二乘(synergy interval PLS, SiPLS)算法作为特征提取方法,分别建立了基于UV-Vis和NIR光谱的偏最小二乘(PLS)回归模型;再根据油品的实际情况,运用信息融合理论将UV-Vis和NIR光谱信息进行融合,建立了数据级融合(low level data fusion, LLDF)和特征级融合(mid-level data fusion, MLDF)模型,并与单谱源模型效果进行了比较,确定了最优模型为数据级融合后再进行矢量归一化的模型(LLDF-VN1);最后分别用高乙醇含量样品和市售汽油样品的光谱数据对该最优模型进行了通用性检验。结果表明：UV-Vis和NIR光谱数据单独建模均能很好的检测并提供较好的预测结果;而UV-Vis和NIR光谱数据直接融合在基于校正集的回归模型中效果最好,其校正集相关系数r_c=0.999 9,校正集交叉验证均方差RMSECV=0.125 8,校正集整体评价偏差Bias_c=0.000 6;而采用数据级融合后再进行矢量归一化的模型(LLDF-VN1)的预测效果为最佳,其r_p=0.999 1, RMSEP=0.352 7, Bias_p=-0.073 8;自配溶液对最优模型(LLDF-VN1)的通用性验证中,r_p=0.999 7, RMSEP=0.329 1, Bias_p=0.102 2;市售汽油对最优模型(LLDF-VN1)的通用性验证中,r_p=0.990 1, RMSEP=0.892 7, Bias_p=0.675 1。实验结果说明通过将UV-Vis和NIR光谱信息进行数据级融合可以快速、准确的检测出乙醇汽油中乙醇的含量,并能实现乙醇浓度的宽范围检测,为进一步实现混合油品中物质的快速检测奠定了基础。     

基于遗传神经网络的多光谱辐射测温法

针对BP神经网络易陷入局部极小等缺陷,将遗传算法(GA)与神经网络相结合,提出了一种将GA-BP算法应用于多光谱辐射测温的数据处理方法,并对基于亮度温度模型的多光谱辐射测温数据进行了仿真实验。结果表明：已训练样本的真实温度识别精度,GA-BP算法为±5 K,BP神经网络为±10 K;未训练样本的真实温度识别精度,GA-BP算法为±10 K,BP神经网络为±20 K;无论是GA-BP算法还是BP神经网络,已训练样本的真实温度识别精度比未训练样本的真实温度识别精度都更精确些,靠近训练样本集边缘的样本真实温度的识别精度偏低。说明GA-BP算法比BP神经网络可以更好地解决了目标真实温度的测量问题。     

基于工业分析/元素分析和可见-近红外光谱预测农作物秸秆高位热值

越来越多的农作物秸秆用于生产生物质成型燃料(生物质颗粒),作为民用和工业锅炉的生物质燃料。高位热值是衡量生物质燃料燃烧性能的主要参数之一,反映了生物质可用能含量,但利用传统的氧弹分析法测试高位热值费时费力,急需一种快速准确的方法评估农作物秸秆的高位热值,以制备高质量的生物质颗粒燃料。基于工业分析/元素分析和可见-近红外光谱分析,对比分析了五种农作物秸秆(稻秸、麦秸、棉秆、油菜秆和玉米秆)的高位热值预测模型。首先,利用多元线性回归(MLR)、逐步回归(SWR)和反向传播人工神经网络(BPNN)模型,在基于五种农作物秸秆工业分析和元素分析基础上,提出了高位热值预测模型并进行验证。MLR模型具有较好的相关系数(R2),预测均方根误差(RMSEP)和预测标准差与参比标准差比值(RPD),分别为0.921 1,0.135 1和3.49。此外,利用可见-近红外光谱分析了农作物秸秆,发现对光谱数据作最小二乘法回归(PLR),可建立高位热值预测模型,预测R2和RMSEP分别为0.881 2和0.412 9。研究结果表明MLR模型和PLR模型分别适用于基于工业分析/元素分析和可见-近红外光谱建模,对农作物秸秆的高位热值快速检测设备研发能提供基础模型支持。     

烷烃混合气体的太赫兹光谱分析

太赫兹时域光谱技术(THz-TDS)是近十多年发展起来的一种新的远红外光谱技术,在气体研究方面有了一定进展,尤其是对极性气体,而对非极性气体研究较少。本文以干馏气、天然气以及各种沼气的主要成分CH₄, C₂H₆和C₃H₈气体(非极性气体)为研究对象,首先对CH₄,C₂H₆和C₃H₈三种纯气进行测量,利用THz-TDS技术得到其太赫兹频域谱和相位谱,然后将其以不同比例、不同种类混合成二元气体,进一步研究混合气体的频域谱和相位谱。实验结果表明CH₄,C₂H₆对太赫兹波的吸收很小而C₃H₈对太赫兹波有一定的吸收,这与C₃H₈极性增强的物理特性相符合。为了实现对烷烃混合气体的压强和各成分浓度的定量分析,本文利用BP人工神经网络法对上述二元混合体系的太赫兹频域谱进行分析,对训练集和预测集分别计算了混合气体的压强和各成分浓度的预测值与实际值的相关系数,训练集和预测集的相关系数取值分别为0.994～0.999和0.981～0.993。研究表明,利用太赫兹时域光谱技术结合BP人工神经网络数学方法可以实现对烷烃混合气体的压强和各成分浓度的定量分析,使THz-TDS技术在气体领域研究范围更加广阔。     

高光谱成像技术的柑橘植株叶片含氮量预测模型

氮素是果树生长发育的一种大量必需元素,及时准确地监控果树的氮营养状况,对果树的合理施肥、增产、优化果实品质以及减缓过量施氮引起的水资源污染具有重要意义。利用高光谱成像技术结合多变量统计学方法,建立了柑橘植株叶片的含氮量预测模型。研究步骤为：高光谱扫描、提取平均光谱曲线、预处理原始光谱数据、采用连续投影法提取特征波段和建立含氮量预测模型。从SG平滑、SNV、MSC、1-Der等11种预处理方法中筛选出的较优预处理方法是SG平滑、Detrending和SG平滑-Detrending。对应这三种最优预处理方法,先采用连续投影法挑选出各自的特征波长,然后将各特征波段下的光谱反射率作为偏最小二乘、多元线性回归和反向传播人工神经网络模型的输入,各自建立三个预测模型。从以上获得的9个预测模型中,得出两个最优模型SG平滑-Detrending-SPA-BPNN(R_p：0.851 3,RMSEP：0.188 1)和Detrending-SPA-BPNN(R_p：0.8609,RMSEP：0.159 5)。结果表明,利用高光谱数据测定柑橘叶片含氮量具有可行性。这为实时、准确地监控柑橘植株生长过程中叶片含氮量的变化以及合理科学的氮肥施加提供了一定的理论基础。     

基于太赫兹时域光谱技术与PCA-BPN网络的转基因大豆鉴别

基于太赫兹波段内的光谱分析技术以及主成分特性分析与反向前馈神经网络建模,提出了一种转基因大豆鉴别方法.从光谱数据中提取累计方差贡献率达到97.582％的前8种主成分因子,并将其作为输入源导入神经网络模型,通过剔除冗余数据、降低数据维数,所建立的神经网络模型能准确识别校验集.该方法可以实现转基因大豆的快速、无损检测,在农业安全领域有广泛的应用前景.     

基于可见光谱和支持向量机的黄瓜叶部病害识别方法研究

以黄瓜叶部病害作为研究对象,基于可见光谱反射率差异识别黄瓜叶部病害,研究基于SVM的黄瓜叶部病害识别预测模型。采用小波变换进行数据预处理;选取Otsu、边缘分割法和K均值聚类三类分割方法进行病斑分割,比较错分率和运行时间,K均值聚类方法更适合黄瓜叶部病斑分割;提取纹理、颜色和形状特征参数,共15个特征参数;通过交叉验证选择最优参数c和g,对核函数参数进行优化处理,并通过比较线性核、多项式核、RBF核等不同核函数情况下SVM的正确识别率,确定RBF核SVM模式识别方法能够更精准地识别黄瓜叶部病害。并将基于SVM与另外两种常见的黄瓜叶部病害识别方法,BP神经网络和模糊聚类进行比较,结果表明,基于SVM的识别模型对霜霉病的正确识别率为95%,白粉病和褐斑病的正确识别率均为90%,平均诊断正确率为92%;该模式识别方法识别效果最佳,运行时间最短,为基于可见光谱的黄瓜病害识别模型提供参考。     

基于小波变换测定水质中硝酸盐含量

为了测定硝酸盐与亚硝酸盐混合液中硝酸盐含量,利用硝酸盐对照液和硝酸盐与亚硝酸盐混合液的紫外吸收光谱数据进行连续小波变换,提取与硝酸盐有关的特征小波系数,实现硝酸盐含量的光谱检测。实验结果表明：用所得特征小波系数建立与浓度的线性回归方程,所取硝酸盐浓度具有良好的线性关系（r=0.9992）,平均回收率为98.59%。本法与传统的方法相比,要求条件较低,不需要物理或化学的分离,分析速度快,有望应用于在线监测污水中测定硝酸盐的含量。     

基于IERT的非线性全光谱复杂水体定量分析算法研究

水是一种有限的资源,对农业、工业乃至人类的生存都是必不可少的,良好的水环境是可持续发展的重要保障。对水质信息的科学监测,是实现水资源优化配置与高效利用的基础。联合国环境署（UNEP）与世界卫生组织（WHO）指出,应当加强发展中国家的水质监测网络,包括数据质量的保证和分析能力的提高。光谱法作为一种新兴的水质分析方法,相比传统的化学水质监测方法,具有“响应速度快、多参数同步、绿色无污染”的特点。传统单波长、多波长的线性模型依赖于水体对特定波长的吸收特征,不适用于多组分混合溶液且普适性较差。因此,提出了一种基于IERT的非线性全光谱定量分析算法,建立适用于多组分混合溶液浓度预测模型,达到利用全光谱信息来预测浓度信息的目的。利用实验室配置的COD,BOD₅和TOC多组分混合溶液与NO₃-N、浊度、色度多组分混合溶液作为实验样本,使用光谱仪采集样本的光谱曲线,通过全光谱数据进行浓度预测实验,结果显示,对于COD,BOD₅和TOC多组分混合溶液,本算法对于三种组分的决定系数（R2）分别为0.999 3,0.991 4和0.999 3,均方根误差（RMSE）分别为0.024 4,0.057 7和0.000 4;对于NO₃-N、浊度、色度多组分混合溶液,决定系数（R2）分别为0.983 4,0.868 4和0.981 0,均方根误差（RMSE）分别为0.100 5,0.326 4和0.120 2。通过对比本算法与偏最小二乘（PLS）、支持向量机回归（SVR）、决策树（DT）、极端随机树（ERT）对于同一组数据的实验结果,表明：在两组多组分混合溶液的实验中,本算法对于其中各组分的决定系数（R2）均为最优,相比于其他对比算法均方根误差（RMSE）均有大幅减少。本算法可利用光谱信息对多组分混合溶液进行定量分析,在计算时间相当的情况下,可有效的提高浓度预测精度,减少定量分析的均方根误差,可为光谱法水质监测提供一种新的有效途径。     

有机环境污染物紫外光谱检索的神经网络方法

详细讨论了网络优化参数、模拟的测量过程中噪声及杂质对网络收敛性能及预测误差的影响。为加速网络收敛,提高紫外光谱检索的正确率,采用了导数光谱对反向传播的人工神经网络(BP-ANN)进行训练和检索,该方法对检索光谱中噪声、杂质,尤其是斜坡背景的允许程度明显提高。文章还将ANN方法与普通的相关系数法的识别结果进行了比较。结果表明,优化参数下的人工神经网络的库检索法在抗噪、容杂等方面都明显地优于普通的相关系数法,是一种很有效的紫外库检索方法。