基于Bi PLS结合Si PLS的组合权值COD浓度预测模型

水体中过高浓度的有机物含量危害巨大,不仅会造成严重的环境污染,而且危害人类身体健康,传统化学法检测水体化学需氧量(COD)的步骤繁琐且时效性差,不利于水体中COD的快速定量检测。针对这些问题,提出了一种将紫外光谱与组合权值模型相结合的快速定量检测COD方法,该组合权值模型是基于反向区间偏最小二乘法(BiPLS)结合组合区间偏最小二乘法(SiPLS)算法对紫外光谱的特征子区间筛选组合,然后依据特征子区间的权值建立的预测模型。首先按照一定的浓度梯度配制45份COD标准液样本,通过实验获取标准液的紫外光谱数据;对获取到的COD紫外光谱数据做一阶导数和S-G滤波(Savitzky-Golay)的预处理,消除基线漂移和环境干扰噪声;应用SPXY(Sample set partitioning based on jiont X-Y)算法将实验样本数据组划分成校正集和预测集。然后基于BiPLS算法对全光谱区间进行波长筛选,在BiPLS筛选过程中,目标区间的划分数量会对建模产生较大影响,于是对子区间划分数量进行优化,把子区间分成15~25个,在不同区间数下都进行偏最小二乘(PLS)建模,通过交互验证均方根误差(RMSECV)来筛选最优子区间数,得到区间数为18时,模型效果最佳。从18个波长区间筛选出了6个特征波长子区间,入选的子区间为2,1,3,11,7和6,对应波长为234~240,262~268,269~275,290~296,297~303和304~310 nm,这6个特征波长区间涵盖了大量的光谱信息,对最终预测模型的贡献度大;接下来通过SiPLS算法对这6个初选区间进行进一步的筛选组合,采用不同的组合数构建不同特征区间上的PLS模型,在相同组合数下,筛选出一个区间组合数最优的结果,对比不同组合数下预测模型的误差与相关性,将6个区间筛选组合为3个特征波长区间,分别为234~240,262~275和290~310 nm,这三个特征区间最佳因子数分别为4,4和3。对传统SiPLS的特征区间组合方法进行改进,基于权值的大小来对这3个特征区间进行线性组合,代替过去特征区间直接组合的方法。通过权值公式计算出这3个特征区间的权重大小分别为0.509,0.318和0.173,最终建立线性组合权值COD浓度预测模型。为了验证组合权重预测模型的精度,另外建立了全波长范围内的PLS预测模型、单个特征波长区间的PLS预测模型、直接组合特征波长区间的PLS模型,并使用评价参数相关系数的平方(R2)、预测值与真实浓度值的均方根误差(RMSEP)和预测回收率(T)来对模型评价。验证结果表明,相比其他预测模型,组合权值模型相关系数的平方达到了0.999 7,明显优于直接组合特征区间建模的0.968 0,预测均方根误差为0.532,比直接组合特征区间的预测模型误差降低了29.3%,预测回收率为96.4%~103.1%,显著地提高了预测精度。该方法简单可行,不会产生二次污染,可为在线监测水体中COD浓度提供一定的技术支持。     

基于紫外光谱的水体硝酸盐浓度混合预测模型研究

水体中的硝酸盐浓度过高不仅会造成水环境污染而且会对人类身体健康造成很大威胁,传统的检测硝酸盐的方法检测时间长且操作复杂。针对水体中硝酸盐氮难以快速在线检测的问题,基于紫外吸收光谱,提出了一种混合预测模型结合光谱积分快速定量检测水体中硝酸盐浓度的方法。混合预测模型为低浓度样本建立的双波长法预测模型与高浓度样本建立的偏最小二乘支持向量机(LS-SVM)预测模型数据融合之后的模型。按照合适的浓度梯度配备了19组硝酸盐氮标准溶液,通过实验测得不同浓度硝酸盐氮样本的光谱数据。首先基于双波长法对所有样本进行回归分析,按照A=A₂₂₀-2A₂₇₅计算不同实验样本的吸光度A,其中A₂₂₀和A₂₇₅是220和275 nm处样本的吸光度,将吸光度A与样本浓度值进行线性回归,拟合出样本浓度的预测值。结果显示当样本浓度较小时,相关性很好,r为0.997 4,随着实验样本浓度的上升,曲线发生严重的非线性漂移,因此双波长法只适合低浓度样本预测模型的建立。对于高浓度样本,光谱重叠严重,适合建立非线性的预测模型,支持向量机(SVM)与LS-SVM都适合小样本的非线性数据建模,LS-SVM预测精度稍高,运算速度稍快。通过对所有的实验样本进行全波长光谱积分,比较相邻样本光谱积分的变化率可以筛选出样本的临界浓度值,4 mg·L-1的硝酸盐样本积分值前后变化率最大,因此选择4 mg·L-1作为临界浓度值较为合适。浓度高于4 mg·L-1的实验样本建立LS-SVM预测模型,通过交叉验证的方法选择出合适的参数,正则化参数γ=50,核函数选择高斯核,核函数宽度σ２=0.36,训练样本之后进行回归;其余样本建立双波长法预测模型,最后进行两种模型的数据融合,形成从低浓度到高浓度的水体中硝酸盐浓度的检测。为了验证混合预测模型的预测精度,另外建立了SVM,LS-SVM,偏最小二乘(PLS)等模型,并求出r,预测值与真实浓度值平均绝对误差(MAE)和均方根误差(RMSE)对模型进行评价。验证结果表明,相比于SVM,LS-SVM和PLS等模型,提出的混合模型回归的相关系数为0.999 86,分别提高了1.8%,1.6%和0.45%,预测值与真实浓度的平均绝对误差为2.55%,分别降低了6.27%,4.49%和1.01%,均方根误差为0.303,为四种预测模型中最小,SVM与LS-SVM的相对误差相对较高,PLS模型相对误差上下波动比较大,混合预测模型相对误差最为稳定,并保持在较低水平,由此可见混合预测模型的预测效果明显优于其他几种模型。并与文献[5-7]中的测量方法进行对比,该混合预测方法可以简单快速的测量水体中硝酸盐氮的浓度,且不需要试剂,无二次污染,与文献[9]中的预测模型相比,预测精度明显提高。因此提出的混合模型可正确快速地预测水体中硝酸盐氮的浓度,可为在线监测水体中硝酸盐浓度提供有效的技术参考。     

多光谱数据融合和GANs算法的COD浓度预测

水体中过高浓度的有机污染物含量危害巨大,不仅会造成严重的环境污染,而且会危害人类身体健康。化学需氧量(COD)表征了水体中有机污染物的污染程度。提出了一种将紫外(UV)光谱和近红外(NIR)光谱进行多光谱数据级融合(LLDF)和特征级融合(MLDF),进而构建基于生成对抗式网络(GANs)算法的COD浓度定量预测模型。首先按照一定的浓度梯度配制COD标准液样本,分别采集标准液的UV光谱(190～310 nm)和NIR光谱(830～2 100 nm),对获取到的UV和NIR光谱数据进行一阶导数和Savitzky-Golay (S-G)平滑的预处理,消除基线漂移和干扰噪声;基于预处理过的光谱,直接进行数据级和特征级的数据融合,结合GANs算法搭建COD浓度预测模型。并使用评价参数相关系数的平方(R2)、预测值与真实浓度值的均方根误差(RMSEP)和预测偏差来对模型进行评价。结果表明,不论是特征级融合模型还是数据级融合模型都不够理想。分析原因可知,由于UV和NIR波段数据量不均衡,导致NIR波段掩盖掉了UV光谱的模型贡献度,让光谱融合失去意义。为了避免融合失败,拟采用归一化的方法处理多光谱数据,并讨论了标准归一化(SNV)、最大最小归一化(MMN)和矢量归一化(VN)对建模的影响。将经过归一化后的UV和NIR光谱数据再次进行融合,分别作为GANs模型的输入X,将真实测量COD值作为输出值Y,建立不同归一化方法处理后的COD浓度预测模型。建模结果显示,采用不同归一化方法对多光谱数据融合模型的影响较大,不论是数据级融合模型还是特征级融合模型的预测精度较未归一化之前有明显的提升,其中采用最大最小归一化的预测模型效果提升最为明显。与单一谱源的全波长UV波段的GANs预测模型、全波长NIR波段的GANs预测模型进行对比来验证多光谱数据融合GANs预测模型的精度,结果表明：基于UV和NIR光谱的特征级光谱融合模型的R2为0.994 7,RMSEP为0.976,比数据级融合的预测模型误差降低了52.9%,预测回收率为98.4%~103.1%,远好于其他几组,模型的泛化能力更强,预测精度也更高。与单一谱源的预测模型相比,多光谱数据融合能反应更多的水体样品的化学信息,更加全面揭示水体的污染物程度,从不同的层面上反应水体中污染物的差异,为在线监测水体中COD浓度提供一定的技术支持。