基于监督学习的紫外-可见光光谱水质在线异常检测方法研究

水资源关系到国计民生,近年来时有发生的水污染事件使污染物入侵预警得到了广泛的社会关注。针对现有基于紫外-可见光光谱的水质异常检测方法存在的检出下限偏低的问题,提出一种基于监督学习的紫外-可见光光谱水质异常检测方法。该方法首先获取不同数据集中的正常样本差异性空间,再使用正交投影方法去除差异性空间中的光谱数据分量,以达到基线校正的目的;然后采用偏最小二乘判别分析从校正后的光谱中提取特征,利用训练集得到的最优阈值确定离群点;最后采用序贯贝叶斯滚动更新每个时刻上的异常概率,确定水质报警序列。实验选用苯酚作为模拟污染入侵事件的注入试剂,采样2周内的紫外-可见光光谱数据,在实验平台上对提出的方法进行了验证。实验结果表明,采用的正交投影基线校正方法可以消除不同批次水质光谱的背景差异,更为充分的利用了光谱信息,降低了对特征污染物的检出下限。     

基于SPA和多分类SVM的紫外-可见光光谱饮用水有机污染物判别方法研究

快速、有效地识别饮用水中污染物类别对于降低突发饮用水污染事件影响十分重要。目前基于紫外-可见光光谱法的饮用水污染物判别模型大多使用主成分分析(PCA)进行特征提取,然而,对于光谱相似度较高的有机污染物,仅从数据驱动的角度提取其方差最大的方向作为特征进行识别效果往往不佳。针对有机污染物光谱数据多重共线性以及谱峰重叠干扰的问题,开展了基于连续投影算法(SPA)和多分类支持向量机(M-SVM)的紫外-可见光光谱饮用水有机污染物判别方法研究。首先,使用紫外光谱仪测量苯酚、对苯二酚、间苯二酚和间苯二胺的原始光谱数据并进行预处理,在对四种污染物进行了波长与浓度的相关关系对比分析后,发现苯酚和间苯二酚、对苯二酚和间苯二胺的谱峰重叠较为严重;特征提取时,引入SPA筛选有机污染物紫外-可见光光谱数据的特征波长组合,并对不同波长个数时的光谱吸光度进行多元线性回归分析,选取对应最小预测标准偏差的参数及波段组合作为最优参数组合;基于最优特征波长组合,构建基于多分类SVM的饮用水有机污染物分类识别模型;最后,对比分析了全光谱、 PCA及SPA特征提取后的光谱数据在不同分类方法及不同污染物浓度下的分类效果,进一步说明了SPA的适用性和稳定性。实验结果表明, SPA作为一种提取光谱数据原始特征波段的方法,可以有效的对有机污染物的紫外-可见光光谱进行特征提取,提升不同物质之间的差异,在一定程度上消除多重共线性和谱峰重叠干扰,从而提高分类模型的准确率。该方法对于解决饮用水中谱峰重叠的污染物类型判别问题具有参考价值。     

基于Mie散射的水体紫外-可见光谱浊度干扰补偿

紫外-可见光谱法水质检测中,检测设备面对多样性的地表水体容易受到悬浮颗粒物引起的浊度干扰,导致谱线整体非线性抬升,测量精度显著下降。研究了一种基于Mie散射理论的紫外-可见水质光谱浊度干扰补偿算法,借以提高可溶有机物含量的检测精度。通过截取水样本紫外-可见光谱中主要由颗粒物散射引起的450~1100nm段光谱,采用基于Mie散射理论的光全散射颗粒物粒径分析法,重建了水样本所含颗粒物的粒径分布。利用粒径分布的二次反演,估计了220~450nm可溶有机污染特征光谱段中由颗粒物引起的消光值,实现了对浊度干扰的精确补偿。实验结果表明,该算法对不同地表水样本均表现出了良好的浊度补偿效果,化学需氧量解算精度得到较大提高。且补偿算法无需大量实验获取先验数据,可提高紫外-可见光谱法水体可溶有机物检测的准确性和检测部署的灵活性与适应性,具备实用价值。     

水体有机污染物浓度检测中的紫外光谱分析方法

水体中的大多数有机污染物在紫外区域有较强的吸收,因此可利用紫外吸光度检测水体中的有机污染物浓度。在检测过程中,通过平滑、导数、标准正态变量变换等光谱预处理后,采用主元回归、偏最小二乘、支持向量机等方法建立回归模型,并由该模型依据待测样本的紫外光谱数据计算出有机污染物浓度。为了探究不同的预处理方法、建模方法在有机污染物浓度检测中的特点及内在联系,本文对一组来自污水厂进出水的光谱数据采用不同的预处理和建模方法进行实验研究,研究结果表明:当获得的原始数据较好时,可以直接进行建模,进行光谱预处理反而会使模型效果下降;由于本实验中污水的样本数小于光谱数据点数,所以最小二乘支持向量机更适合于本组实验样本。     

养殖水体中孔雀石绿的SERS光谱识别

表面增强拉曼光谱(SERS)是一种重要的高灵敏度分析技术。 基于SERS的技术特点,建立了真实体系下孔雀石绿定性检测方法。 提出了一种光谱自动识别算法,有机整合了稳健的傅里叶变换基线校正,基于主成分分析的特征提取与人工神经网络分类器。 该方法结合基线的低频特征,通过迭代傅里叶变换实现基线校正;通过样本空间中类间与类内的欧氏距离判别自动获取拉曼光谱信号主成分的最优组合,实现光谱数据的降维与特征提取;最后构建三层反向传播神经网络分类器进行样本分类。 实验结果表明,基线去除可排除基线变化对检测结果的影响;光谱主成分的优化组合可减小基线校正残余及复杂体系中被测物以外的物质拉曼峰对检测结果的干扰,同时实现了分类器最小化。 该方法用于养殖用海水中孔雀石绿的现场检测,最低检出浓度0.1 μg·L-1。 该方法具有可拓展性,可以直接应用于其他溶胶/凝胶体系中SERS光谱的定性分析。     

基于二维重组和动态窗格的水质检测紫外-可见光谱去噪算法

立足于成功研制的紫外-可见光谱水质检测多参数测量系统,针对紫外-可见光谱水质多参数原位实时检测在精度、灵敏度、稳定性等方面的实际需要,开展了基于二维重组和动态窗格的水质检测紫外-可见光谱去噪算法的研究,以此提高紫外-可见光谱水质检测的测量精度。光谱法水质检测系统通常使用工业级低成本光谱仪,其输出光谱包含明显的非平稳噪声。传统去噪法难以在滤除噪声的同时保留谱线细节。而且,原位实时水质检测条件下,被测水样可能快速变化,传统去噪法中常用的多次采样求均值法将产生额外的测量误差。引入的去噪算法通过对水样光谱进行等间隙连续采样,将光谱数据张成由光谱轴和时间轴构成的二维矩阵,经过二维小波变换后,设置一个可变宽度的窗格在系数矩阵中水平滑动,使用窗格内的小波系数计算得到动态去噪阈值,并随窗格滑动构建去噪阈值向量,由此进行光谱去噪。其中,窗格宽度由相邻区域的噪声方差变化率决定,变化率较高的区域缩小窗格宽度,反之则扩大宽度。实验结果表明,这种去噪算法不仅能有效去除光谱中的非平稳噪声,而且能保留光谱的细节信息,有助于提高仪器的测量精度。与此同时,由于该算法并未使用时域平均,样本的快速变化对去噪性能的影响较小,适合在线或原位水质检测的水样本环境。     

基于B样条的拉曼光谱基线校正方法

基线漂移是光谱检测仪器普遍存在的现象,会对光谱信号的特征提取带来十分不利的影响,而基线校正是解决该问题的重要手段,也是拉曼光谱信号预处理的重要组成部分。基线校正的原理一般是通过拟合基线的方法来去除光谱信号中的基线漂移。传统的基线校正方法是利用多项式拟合的方法对拉曼光谱信号的基线进行拟合的,但是该方法容易出现过拟合和欠拟合现象,且拟合阶数难以确定。针对传统方法的缺点进行了改进,利用B样条方法对拉曼光谱信号的基线进行拟合,发挥B样条低阶光滑的优点,能够有效地克服多项式方法的缺陷。在实验中,利用该方法对孔雀石绿、罗丹明B的拉曼光谱信号进行了基线校正,观察并比较该方法和传统方法的校正结果。实验结果表明,该方法能够有效地消除拉曼光谱信号的基线漂移,在基线漂移较小和较大的位置,可以采用相同的拟合阶数,不会出现欠拟合和过拟合的现象,获得了良好的基线校正效果,为进一步分析光谱数据提供准确可靠的信息。     

一种紫外-可见光谱法检测水质COD的浊度影响实验研究

消除浊度影响是直接光谱法检测水质COD的关键技术问题。此源于紫外-可见光谱法检测水质参数的关键依赖于化学计量法所建立的准确的水质参数分析模型,而浊度是影响其建模的一个重要参数。为此,选取福尔马肼浊度液和邻苯二甲酸氢钾标准溶液,开展了紫外-可见吸收光谱法检测水质COD的浊度影响实验研究,获得了选定溶液在245,300,360和560 nm几个特征波长点的吸光度随浊度变化的最小二乘法拟合曲线,分析了吸光度随浊度的变化规律。研究结果表明,在240～380 nm的紫外光谱段,由于引起浊度的颗粒物对有机物产生了吸附,致使浊度对水样的紫外光谱影响较为复杂;在380～780 nm的可见光谱区域,浊度对光谱的影响则是随着波长的增大而减弱。基于此,开展了多元散射校正法对受浊度影响的水样光谱进行校正试验。对某溪水水样的紫外-可见吸收光谱进行多元散射校正,通过处理前后光谱对比表明,浊度引起各个波长点的基线偏移都得到了有效的校正,而在紫外区域特征并未减弱。接着对选取的三种液体的紫外-可见吸收光谱进行多元散射校正,实验结果表明：该方法可在不影响水样紫外-可见吸收光谱特征的前提下对其吸收曲线进行有效的校正,这不仅提高了光谱法检测水质COD的信噪比,而且还为化学计量法建立准确、有效的水质检测COD分析模型进行数据预处理提供了一种新途径。     

基于自动线性拟合的快速拉曼基线校正算法

近年来拉曼光谱以其无创、灵敏度高等众多优点在化学表征、生物医药、材料等领域引起广泛关注,而基线漂移的存在为后续的定性定量分析带来严重困扰,因此设计高性能的基线校准算法以提高分析结果的有效性及准确性具有重要意义。针对传统算法在批量拉曼光谱数据基线校正方面的不足,基于自动线性拟合算法提出一种快速基线校正算法以校正具有相似背景的批量拉曼光谱数据并详细阐述了该算法的核心思想以及算法实现流程。该算法首先从批量拉曼光谱数据中自动选择一条拉曼光谱数据作为基准光谱,使用自动线性拟合算法对其进行基线校准得到其基线以及分段标记点,然后利用标记点快速计算出组内其他与基准光谱具有较高相关性的拉曼光谱数据的基线,对于组内与基准光谱相关性不满足阈值要求的拉曼光谱则使用自动线性拟合算法对其进行单独基线校正,这使得算法具有具有较强的鲁棒性,可以适应复杂的拉曼光谱基线校正情形。分别使用快速基线校正算法与单独基线校正算法对多组实际拉曼光谱数据进行基线校正以对比分析算法基线校正效果,结果表明该算法可以实现对批量拉曼光谱数据的快速校正,基线校正效果良好,并且相较于单独进行基线校正算法耗时减少了30%以上,算法无参,简单易行,无需额外人工干预,是一种切实可行的批量拉曼数据自动基线校正算法。     

分段式线性拟合校正拉曼光谱基线漂移

基线漂移是目前光谱仪收集拉曼光谱时难以避免的现象,基线校正是光谱数据处理中一个不可或缺的重要步骤。针对传统的基于多项式拟合的基线校正方法存在的不足,本工作采用线性拟合的方法分段拟合背景基线,与计算机相结合,实现快速、准确、自动的基线校正;经聚苯乙烯小球、红细胞和酿酒酵母等多批次拉曼光谱数据处理的验证,表明该改进方法可以有效地对拉曼光谱进行基线校正,为进一步分析光谱数据提供更准确的信息,是一种可行的基线校正方法。     

可见-近红外漫反射光谱技术对羊毛和羊绒的鉴别研究

应用可见-近红外漫反射光谱技术对甘肃不同地区的130个羊毛和羊绒样品进行定性鉴别研究。结果表明：采用主成分-马氏距离聚类判别分析法,羊毛和羊绒样品界线;主成分回归分析技术结合多元离散校正、一阶导数等预处理方法,以及最佳主成分因子为8、不确定因子为1.00等参数,建立的定性鉴别模型预测性能较好,外部验证正确率为100%。说明利用可见-近红外漫反射光谱定性分析技术可以快速鉴别羊毛和羊绒。     

可见-近红外光谱用于鉴别山羊绒与细支绵羊毛的研究

近红外光谱作为快速、无损的检测技术,近年来在国内外越来越受到广泛关注。针对山羊绒与细支绵羊毛的可见／近红外光谱的特点,提出了应用主成分分析(PCA)结合人工神经网络（ANN）进行山 羊绒与细支绵羊毛的鉴别,并建立了羊毛、羊绒分析模型。应用可见／近红外反射光谱获取山羊绒与细支绵羊毛的光谱曲线,利用主成分分析对原始光谱数据进行处理,根据主成分的累计贡献率99.8%选 取主成分数6,并将所选取的6个主成分作为三层BP神经网络的输入。通过定标集样本对BP神经网络进行训练,用优化的BP神经网络模型对预测集样本进行预测。实验结果表明,16个未知样本的鉴别全部 正确,表明可见／近红外光谱结合主成分分析和神经网络技术对山羊绒与细支绵羊毛进行快速鉴别是可行的。     

基于UV-Vis检测养殖水体中化学需氧量含量研究

采用紫外可见光谱(UV-Vis)与极限学习机算法检测水体化学需氧量(chemical oxygen demand,COD)含量研究。采集135份水样进行紫外可见波段全光谱扫描,结合变量标准化(standard normal variate,SNV),多元散射校正(MSC)和一阶微分(1st D)对原始数据进行预处理,然后采用竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)、随机青蛙(Random frog)算法和遗传算法进行特征波长选择。基于全光谱建立了偏最小二乘回归(partial least squares,PLS)和基于特征波长建立了极限学习机算法(extreme learning machine,ELM)模型。结果表明：使用CARS提取的9个特征波长建立的ELM模型的预测效果最优,决定系数R2为0.82,预测均方根误差RMSEP为 14.48 mg·L-1,RPD值为2.34。说明使用CARS变量选择算法获取UV-Vis光谱特征波长,应用极限学习机建模,可以准确、快速的检测养殖水体中COD含量,为实现养殖水体COD的动态快速检测以及水体其他微量物质含量参数检测打下基础。     

基于基线漂移模型的气体光谱自动基线校正

傅里叶红外光谱是监测污染源废气排放的一种重要手段。发展针对气体光谱的自动基线校正方法对于污染气体快速检测及长时间在线监测具有重要意义。目前自动基线校正中的一个难点是如何准确校正存在宽峰的光谱：宽峰在频域中具有一定低频成分,基于频域滤波提取光谱中低频基线信息的方法因难以选择合适的分离条件容易产生基线扭曲。采取自动识别基线点,基于预先设定的基线模型拟合光谱基线的方法可以规避频域方法中分离条件选取的环节,但其校正效果对所采用的基线模型非常敏感。当基线模型中的自由度过小时,拟合基线无法准确逼近光谱基线漂移,基线校正的误差较大;而当基线模型中的自由度过大时,尤其是含有实际基线漂移中不存在的虚假自由度时,容易产生基线扭曲。目前常用的基线模型有线性、多项式、样条插值、指数模型等,在基线模型的选择上缺乏较为统一的标准。本研究着眼于避免基线模型缺乏必要自由度或含有虚假自由度,提出基于实际基线漂移的自由度建立基线模型。研究发现,气体光谱中主要的基线漂移在光谱中可被近似表示为波数的特定阶次(0次、1次、2次和4次项)的形式。以此作为基线模型提出了一种自动基线校正新方法。新方法以传统迭代多项式拟合自动基线校正方法作为基础,将其中仅设定多项式最高阶次的基线模型改进为上述由具有物理意义支撑的特定阶次构成的基线模型;此外,增加了对吸收峰尾部的判定,用于避免在采用阈值分辨吸收峰与基线时,吸收峰尾部因吸光度较低被误识别为基线的问题。以实测获得的含有水汽宽峰的空气光谱作为样本,对所提方法的基线校正效果进行了验证,并与迭代多项式拟合方法中两种较有代表性的Lieber和Mahadeven-Jansen(LMJ)方法以及Liu和Koenig(LK)方法的基线校正效果进行了对比。实验结果表明,所提方法与采用不同最高多项式阶次的LMJ及LK方法相比,可更好的避免基线扭曲,同时其校正后的光谱基线与吸光度0线间具有最低的方差平均值。研究表明,采用实际基线漂移的自由度建立光谱基线模型可获得良好的基线校正效果。     

Interaction of water vapor with gamma-radiation-induced defects in proton conductive polymers

The correlation between protonic conduction and the amount of radiation-induced defects in gamma-ray-irradiated perfluorosulfonic acid (PFSA) polymers (Aciplex-SF-1004^®) has been investigated using a direct-current resistance method, transmission spectroscopy for the ultraviolet (UV) and visible (Vis) wavelength ranges and Fourier transform infrared (FTIR) spectroscopy with the attenuated total refraction (ATR) technique. The proton conductivity of the polymers, which are irradiated with a dose of up to 532 kGy under vacuum at room temperature and subsequently exposure to air, is enhanced by approximately three orders of magnitude as compared to that of the unirradiated polymer. The UV–Vis spectra of the irradiated polymers reveal the presence of fluorocarbon radicals, which increase with the irradiation dose. It is also observed in the UV–Vis and FTIR spectra that peroxy free radicals, unsaturated species (COF), and a carboxyl group (COOH) containing a carbon-oxygen double bond are formed by reactions of the fluorocarbon radicals with oxygen or water vapor in air. In addition, an increase in the hydrogen concentration is observed in the near-surface regions of the irradiated polymers by using an elastic recoil detection (ERD) technique. The production of charge carriers such as protons and oxonium ions (H₃O⁺) by the interaction of water vapor with the activating-radiation-induced defects leads to the enhancement of the proton conductivity.     

Raman spectroscopy at different excitation wavelengths (1064, 785 and 532 nm) as a tool for diagnosis of colon cancer

Raman spectroscopy is structure sensitive non‐destructive method that allows observing the status of biological tissues with minimal impact. This method has a great potential in the diagnosis of various types of degenerative diseases including cancer damages. Near‐infrared Fourier transform (NIR‐FT)‐Raman (λ_ex ~1064 nm), NIR‐visible (Vis)‐Raman (λ_ex ~785 nm) and Vis‐Raman (λ_ex ~532 nm) spectra of normal and colorectal carcinoma colon tissue samples were recorded in macroscopic mode at 10–20 randomly chosen independent sites. In the cases of NIR‐Vis‐ and Vis‐Raman spectra, enhanced resonance effects were observed for tissue chromophores absorbing in the visible area. Evident spectral differences were noticed for Raman spectra of normal colon tissue samples in comparison with abnormal samples. The average Raman spectra of colon tissue samples were analysed by principal component analysis (PCA) to discriminate normal and abnormal tissues. PCA of combined dataset containing Raman intensities of chosen NIR‐FT, NIR‐Vis or Vis‐Raman bands led to discrimination of normal and abnormal colon tissue samples. Therefore, combination of these three Raman methods can be helpful for recognizing cancer lesions in colon for diagnostic purposes. Copyright © 2014 John Wiley & Sons, Ltd.     

基于LS-SVM紫外可见光谱检测水产养殖水体COD研究

采用紫外可见(ultraviolet/visible,UV/Vis)光谱技术对水体中有机物浓度的指标化学需氧量(chemical oxygen demand,COD)进行快速检测,将收集到的135份水样进行UV/VIS波段全光谱扫描,应用Savitzky-Golay (SG)平滑算法,经验模态分解算法(empirical modedecomposition,EMD)和小波分析(wavelet transform,WT)对提取出的光谱数据进行去除噪声处理,为了简化模型,PLSR建模得到的6个潜在变量(LVs)作为偏最小二乘支持向量机(LS-SVM)的输入建立COD预测模型,LS-SVM模型的预测集决定系数r2为0.82,预测均方根误差RMSEP为14.82 mg·L-1。说明使用LVs作为LS-SVM建模输入,可以准确快速检测水产养殖水体中的COD含量,为将来实现水产养殖水质COD含量的在线检测以及其他水质参数的快速测定奠定了基础。     

可见／近红外漫反射光谱无损检测南丰蜜桔维生素C的研究

应用可见/近红外漫反射光谱对南丰蜜桔维生素C含量进行了无损检测研究.在谱区350～1 800nm,应用主成分分析和偏最小二乘法对经过预处理光谱进行数学建模,主成分数和光谱区间选择分别由完全交互验证和回归系数法确定.定标模型对10个未知样品的预测结果是:预测相关系数为0.813,预测均方差为2.112 mg(100 g)-1,预测偏差为-0.810 mg(100 g)-1.文章表明利用可见/近红外漫反射光谱技术无损检测南丰蜜桔维生素C具有可行性.     

基于水样类型识别的光谱COD测量方法

基于紫外吸收光谱的COD测量方法,尽管具有快速、实时、免试剂、无污染等优势。但该方法对于组分多变的水样适应性不强,构建的单一计算模型不能适用于所有待测水样类型,导致其在复杂环境下测量准确度较低,从而限制了其应用领域。本研究提出一种基于水样类型识别的测量方法。其过程包括:动态识别水样类型→自动选择相应的"吸光度(Auv)-COD"算法模型→计算COD。该方法有效提高了紫外光谱法COD测量的准确度和适用性。该研究在传统的光谱识别技术的基础上,针对COD实际测量的特点加以改进。选取水样吸光度曲线的形貌特征作为水样类型的表征参数,利用LM-BP神经网络作为识别算法。并引入了"历史数据队列"、"历史识别因子"的概念,在此基础上形成了级联的神经网络结构。该算法实现了COD测量应用中的高准确度的光谱识别,进而提高了复杂环境下COD测量的精度。大量实验测试和结果表明,与传统的光谱识别技术相比,该方法在COD测量应用中具有更好的鲁棒性和准确性。水样类型识别准确率达98%以上。同时算法结构简单,计算量小,适用于资源受限的小型化COD测量仪。当仪器在复杂多变的水环境中进行测量时,采用该算法测量得到的COD精度有显著的提高。该方法的提出为光谱COD测量法在水体组分多变场合的应用及提高其测量精度提供了技术保证,可望解决传统紫外光谱COD测量法难以适应变化和复杂水环境应用的问题。