多光谱数据融合和GANs算法的COD浓度预测

水体中过高浓度的有机污染物含量危害巨大,不仅会造成严重的环境污染,而且会危害人类身体健康。化学需氧量(COD)表征了水体中有机污染物的污染程度。提出了一种将紫外(UV)光谱和近红外(NIR)光谱进行多光谱数据级融合(LLDF)和特征级融合(MLDF),进而构建基于生成对抗式网络(GANs)算法的COD浓度定量预测模型。首先按照一定的浓度梯度配制COD标准液样本,分别采集标准液的UV光谱(190～310 nm)和NIR光谱(830～2 100 nm),对获取到的UV和NIR光谱数据进行一阶导数和Savitzky-Golay (S-G)平滑的预处理,消除基线漂移和干扰噪声;基于预处理过的光谱,直接进行数据级和特征级的数据融合,结合GANs算法搭建COD浓度预测模型。并使用评价参数相关系数的平方(R2)、预测值与真实浓度值的均方根误差(RMSEP)和预测偏差来对模型进行评价。结果表明,不论是特征级融合模型还是数据级融合模型都不够理想。分析原因可知,由于UV和NIR波段数据量不均衡,导致NIR波段掩盖掉了UV光谱的模型贡献度,让光谱融合失去意义。为了避免融合失败,拟采用归一化的方法处理多光谱数据,并讨论了标准归一化(SNV)、最大最小归一化(MMN)和矢量归一化(VN)对建模的影响。将经过归一化后的UV和NIR光谱数据再次进行融合,分别作为GANs模型的输入X,将真实测量COD值作为输出值Y,建立不同归一化方法处理后的COD浓度预测模型。建模结果显示,采用不同归一化方法对多光谱数据融合模型的影响较大,不论是数据级融合模型还是特征级融合模型的预测精度较未归一化之前有明显的提升,其中采用最大最小归一化的预测模型效果提升最为明显。与单一谱源的全波长UV波段的GANs预测模型、全波长NIR波段的GANs预测模型进行对比来验证多光谱数据融合GANs预测模型的精度,结果表明：基于UV和NIR光谱的特征级光谱融合模型的R2为0.994 7,RMSEP为0.976,比数据级融合的预测模型误差降低了52.9%,预测回收率为98.4%~103.1%,远好于其他几组,模型的泛化能力更强,预测精度也更高。与单一谱源的预测模型相比,多光谱数据融合能反应更多的水体样品的化学信息,更加全面揭示水体的污染物程度,从不同的层面上反应水体中污染物的差异,为在线监测水体中COD浓度提供一定的技术支持。     

基于SAM-ED光谱匹配的绝缘子污秽类型检测方法研究

污闪是威胁电网安全可靠运行的重要原因之一，污秽类型差异将直接影响闪络电压大小。因此，及时掌握绝缘子污秽类型信息对预防污闪有重要作用。为此提出了一种基于SAM-ED光谱匹配的绝缘子污秽类型检测方法。采集不同污秽类型样本高光谱数据，经黑白校正及多元散射校正(MSC)去除噪声等干扰因素；利用竞争自适应重加权采样法(CARS)对光谱数据进行特征选取，分别在特征波段和全波段范围内通过SAM-ED光谱匹配法将测试组样本光谱与参考光谱进行匹配，根据匹配结果对样本进行分类；实验结果表明：相比于光谱角匹配法和最小距离法，SAM-ED光谱匹配法检测效果更好；基于全波长数据进行SAM-ED光谱匹配准确率可达95%,基于特征波长数据进行SAM-ED光谱匹配准确率可达98.33%。     

高光谱技术融合图像信息的牛肉品种识别方法研究

高光谱图像包含了大量的光谱信息和图像信息,采用高光谱成像技术对牛肉品种进行识别。获取可见-近红外(400~1000 nm)光谱范围内的安格斯牛、利木赞牛、秦川牛、西门塔尔牛、荷斯坦奶牛五个品种共252个牛肉样本的高光谱图像。在ENVI软件中对高光谱图像进行阈值分割并构建掩膜图像,获取样本的感兴趣区域(ROI),并结合伪彩色图对牛肉样本的反射率指数进行可视化表达;采用Kennard-Stone(KS)法对样本集进行划分以提高模型的预测性能;对原始光谱采用卷积平滑(SG)、区域归一化(Area normalize)、基线校正(Baseline)、一阶导数(FD)、标准正态变量变换(SNV)及多元散射校正(MSC)等6种方法进行预处理;采用竞争性自适应重加权算法(CARS)提取特征波长。然后利用颜色矩对不同牛肉样本的颜色特征进行提取;对原始光谱图像进行主成分分析,结合灰度共生矩阵(GLCM)算法,提取主要纹理特征。最后结合偏最小二乘判别(PLS-DA)算法建立牛肉样本基于特征波长、颜色特征以及纹理特征的识别模型。KS法将牛肉样本划分为校正集190个,预测集62个;将未经预处理的光谱数据与经过6种不用预处理的光谱数据进行建模分析,结果发现经FD法处理后的光谱数据所建模型的识别率最高;结合CARS法对经FD法预处理后的光谱数据进行特征波长提取,共提取出22个波长;利用颜色矩和GLCM算法分别提取出每个牛肉样本的9个颜色特征、48个纹理特征。将特征波长数据与颜色、纹理特征信息进行融合建模,结果表明,基于特征光谱+纹理特征的模型识别效果最佳,其校正集与预测集识别率分别为98.42%和93.55%,均高于特征光谱数据模型识别率,说明融合纹理特征后使样本分类信息的表达更加全面;融合颜色特征后模型的校正集识别率均有所增加,但预测集识别率稍逊,颜色特征虽携带了部分有效信息,但这些信息与牛肉样本的相关性不大。因此,寻找与牛肉样本相关性更大的颜色特征是提高模型识别率的重要途径之一。该研究结果为牛肉品种的快速无损识别提供了一定的参考。     

基于谱线检测的发射线星自动识别方法

针对我国即将建成的大型巡天项目(LAMOST),给出了一种基于谱线检测的发射线星自动识别方法.主要步骤:1)通过获取谱线特征匹配值进行恒星谱线整体估计;2)利用提取出的恒星谱线特征检测恒星的巴耳末(Balmer)线;3)对获取的特征匹配值采用阈值法,并结合恒星Balmer线的检测结果,进行发射线里判别.通过对SDSS DR4所有光谱进行识别,共获得了242条具有恒星发射线的特殊天体.根据星表查询结果,这些天体包括发射线星、激变变星和一些未知特殊天体等.大量真实光谱数据实验表明,本文方法可有效识别发射线星.     

水体细菌微生物多波长透射光谱定量分析归一化方法研究

快速准确获取水体细菌微生物浓度信息,对饮用水卫生安全监管具有重要意义。基于多波长透射光谱技术研究了水体细菌微生物浓度定量反演方法,并重点研究了光谱数据的归一化处理方法(颗粒浓度归一化、最大值归一化、积分归一化、平均归一化)对水体细菌微生物浓度反演结果准确性的影响。基于Mie散射理论建立了大肠埃希氏菌(大肠杆菌)多波长透射光谱解析模型,通过对归一化后的光谱进行解析,获取了大肠杆菌的结构信息,并以此构建出单种细菌的多波长透射参考光谱;根据测量光谱与单种细菌参考光谱的相关性反演细菌浓度,并对比分析了不同归一化处理方法下细菌浓度反演结果的准确性。研究结果表明:与平板菌落计数法相比,平均归一化光谱反演细菌浓度的最大相对误差为0.92%,平均相对误差为0.70%,线性相关系数达到0.9984,其准确性和稳定性均为最优。本研究为水体细菌微生物的快速定量检测与预警提供了基础数据。     

加权SPXYE(WSPXYE)算法及其在近红外光谱模型转移中的应用（英文）

样本选择是模型转移的重要组成部分,其目的是在主光谱和从光谱中选择合适的样本,建立二者的转移模型,使得从光谱的预测样本能通过转移模型校正成类似于主光谱的样本,进而用主光谱的模型直接预测其浓度。目前,常用的样本选择算法有:Kennard-Stone法(KS法), SPXY法和SPXYE法。根据上述算法的特点,提出了一种新的样本选择方法:加权SPXYE法(WSPXYE法),进而将其用于选择合适的转移集样本。WSPXYE同样先计算样本间的距离,其距离有三个部分组成:光谱(X)之间的归一化距离d_(xs),浓度(y)之间的归一化距离d_(ys),以及校正误差(e)之间的归一化距离d_(es)。其加权代数和d_(wspxye)=αd_(xs)+βd_(ys)+(1-α-β)d_(es)即为WSPXYE距离。计算了WSPXYE距离之后,可以根据其距离选择距离较大的样本作为转移集样本。WSPXYE是Kennard-Stone法(KS法), SPXY法和SPXYE法的推广,而KS法(α=1,β=0)、 SPXY法(α=0.5,β=0.5)以及SPXYE法(α=0.333,β=0.333)则是WSPXYE法的特例。直接校正法(DS)、有信息成分提取-典型相关分析法(CCA-ICE)作为模型转移算法验证了WSPXYE方法的效果。结果显示,与KS法、 SPXY法以及SPXYE法相比, WSPXYE法可以通过调节参数,选择合适的样本,获得较低的误差。     

基于光谱相似度的恒星大气参数自动测量方法

采用模板匹配方法进行恒星光谱的自动处理时,不需要计算光谱的线指数,而采取对全谱匹配的方法尽可能多的保存有用的信息,可得到比较理想的结果。提出一种基于光谱相似度的恒星大气参数自动测量的方法。首先对恒星光谱进行连续谱归一化,然后通过计算待测光谱和模板光谱之间的相似性来进行模板匹配,从而得到相对准确的恒星大气参数。通过ELODIE实测光谱数据和NGS理论模板库之间的实验表明,本方法可有效进行恒星大气参数的自动测量,并能得到理想的结果。     

加权SPXYE(WSPXYE)算法及其在近红外光谱模型转移中的应用

样本选择是模型转移的重要组成部分,其目的是在主光谱和从光谱中选择合适的样本,建立二者的转移模型,使得从光谱的预测样本能通过转移模型校正成类似于主光谱的样本,进而用主光谱的模型直接预测其浓度。目前,常用的样本选择算法有：Kennard-Stone 法 (KS法), SPXY法和SPXYE法。根据上述算法的特点,提出了一种新的样本选择方法：加权SPXYE法(WSPXYE法),进而将其用于选择合适的转移集样本。WSPXYE同样先计算样本间的距离,其距离有三个部分组成：光谱(X)之间的归一化距离d_xs,浓度(y)之间的归一化距离d_ys,以及校正误差(e)之间的归一化距离d_es。其加权代数和d_wspxye=αd_xs+βd_ys+(1-α-β)d_es即为WSPXYE距离。计算了WSPXYE距离之后,可以根据其距离选择距离较大的样本作为转移集样本。WSPXYE是Kennard-Stone法(KS法), SPXY法和SPXYE法的推广,而KS法（α=1,β=0）、SPXY法（α=0.5,β=0.5）以及SPXYE法（α=0.333,β=0.333）则是WSPXYE法的特例。直接校正法（DS）、有信息成分提取-典型相关分析法(CCA-ICE)作为模型转移算法验证了WSPXYE方法的效果。结果显示,与KS法、SPXY法以及SPXYE法相比,WSPXYE法可以通过调节参数,选择合适的样本,获得较低的误差。     

基于荧光多光谱融合的水质化学需氧量的检测

为了对水中的有机污染物进行绿色、快速、准确的检测,提出了一种基于荧光多光谱融合的水质化学需氧量(Chemical Oxygen Demand, COD)的检测方法。实验样本为包含近岸海水和地表水在内的实际水样53份,采用标准化学方法获取样本的化学需氧量的理化值,利用荧光分光光度计采集样本的三维荧光光谱并对光谱数据进行处理和建模。在200～300 nm(间隔5 nm)的激发波长范围内将三维光谱展开成二维的发射光谱(发射波长范围250～500 nm,间隔2 nm)。采用ACO-iPLS(蚁群-区间偏最小二乘)算法提取发射光谱特征,PSO-LSSVM(粒子群优化的最小二乘支持向量机)算法建立预测模型,分别建立了单激发波长下的荧光发射光谱数据预测模型、多激发波长下发射光谱的数据级融合(LLDF)预测模型以及多激发波长下发射光谱的特征级融合(MLDF)预测模型,通过对预测效果的对比,得出结论。实验结果表明,对于不同激发波长下荧光发射光谱数据而言,265 nm激发光作用下的发射谱数据的预测模型最优,其检验集决定系数R2_P和外部检验均方根误差RMSEP分别为0.990 1和1.198 6 mg·L-1;对于荧光多光谱数据级融合模型(简写为：LLDF-PSO-LSSVM)而言,在235,265和290 nm激发光作用下的发射光谱的LLDF模型效果最优,其检验集的R2_ｐ和RMSEP分别为0.992 2和1.055 1 mg·L-1;对于荧光多光谱特征级融合模型(MLDF-PSO-LSSVM)而言,在265,290和305 nm激发光作用下的荧光发射光谱的MLDF模型效果最优,其R2_p=0.998 2,RMSEP=0.534 2 mg·L-1。综合比较各类建模结果可知,MLDF-PSO-LSSVM的模型效果最优,说明基于荧光发射光谱数据,采用多光谱特征级融合模型检测水质COD时,检测的精度更高,预测效果更好。     

基于荧光光谱及矩阵分析的植物油鉴别技术

利用FS920荧光光谱仪测量42个油样(包括36个纯植物油样,3个调和油样和3个混合油样)的荧光光谱,并对其数据矩阵(EEMs)进行归一化处理,确定了植物油特征激发波长及矩阵分析模型。综合分析植物油在特定范围内(激发波长为250～550 nm,发射波长为260～750 nm)的等高线光谱图和特征发射谱线图,将植物油划分为三类;将矩阵分析模型应用于纯植物油鉴别,分类正确率100%;为验证矩阵分析的定量判别能力,对三种混合油样进行分析,得到接近实际配比的分析结果;对市售三种调和油样本进行分析,得出调和油以大豆和菜籽油为基底的结论。通过对植物油荧光光谱的图谱特征和其矩阵模型的分析,证实荧光光谱技术和矩阵分析法对植物油进行分析和种类鉴别的有效性。