基于提升小波变换的矿物油荧光光谱去噪研究

矿物油的使用是造成雾霾等空气污染问题的重要原因。矿物油荧光光谱检测系统光谱消噪处理的有效性和快速性是在线实时监测系统的热点问题。研究应用提升算法小波变换(LWT)矿物油荧光光谱去噪的方法。与传统的离散小波变换(DWT)相比,提升小波变换将现有的小波滤波器分解成基本的构造模块,分步骤完成变换,结构简单,运算速度快。在矿物油荧光光谱去噪过程中具有运算量低、原位运算和便于实现的特点,有效解决了传统小波变换在这方面的不足。提升算法的小波变换、传统离散小波变换和经验模态变换(EMD)分别运用到0#柴油、97#汽油、煤油三种矿物油的荧光光谱去噪中,评价去噪效果指标的信噪比(SNR)、重构均方根误差(RMSE)和波形相似度(NCC)证明了提升方法小波变换用于矿物油荧光光谱去噪的有效性。同时,提升算法变换能提高构造的灵活性和运算的简单性使消噪时间降低62%,证明了提升算法的小波变换运用到矿物油荧光光谱去噪中的快速性,适于矿物油实时消噪处理系统。     

应用小波分析进行油菜籽红外光声光谱去噪

为探究小波分析对油菜籽红外光声光谱的去噪效果,利用db6小波4尺度分解对其进行去噪研究.对比分析低频系数重构、缺省阈值、Birge-Massart阈值和4种自适应阈值(Rigrsure、Minimaxi、Rigsure和Sqtwolog)模型等模型的去噪效果.同时与Savitzky-Golay卷积平滑和快速傅里叶变换的去噪效果进行比较.研究表明,Birge-Massart阈值模型的综合小波去噪效果最好,同时小波去噪的方法较Savitzky-Golay卷积平滑和快速傅里叶变换去噪可以更好地捕获光谱的尖峰特征.     

基于小波系数图和卷积神经网络的太赫兹光谱物质识别

许多太赫兹光谱物质识别方法依靠寻找该物质在太赫兹波段范围内不同光谱表现出的不同特征来识别特定物质。吸收峰提取法是常用的光谱特征提取算法,但当光谱无明显特征吸收峰或峰位、峰值相近或难以识别时,难以利用吸收峰特征辨别物质。将机器学习和统计学习技术用于太赫兹光谱的识别中虽减少了吸收峰的干扰,但常常需要人为定义特征而导致分类误差。深度学习法能自动提取特征,但在识别前往往需要进行复杂的预处理操作,并且在特征提取的过程中容易丢失部分特征从而导致分类误差。针对以上问题,提出了一种基于小波系数图和卷积神经网络的太赫兹光谱识别方法。利用太赫兹光谱信号进行小波变换时,由于小波系数矩阵的每一行系数与原始光谱信号存在着对应关系,因此将太赫兹光谱的吸收系数通过小波变换在频率域上展开,能得到不同的二维的频率-尺度分布图,又称小波系数图。然后构造一个卷积神经网络(CNN)对小波系数图进行分类,可得到太赫兹光谱物质的分类结果。为了验证所提出算法的有效性,将三组小波系数图数据与原始光谱数据分别输入CNN、Support Vector Machin (SVM)、Multilayer Perceptron (MLP)三种不同的分类器作对比,从实验结果可以发现本文算法在三组数据中的识别率均达到了100%,说明相比于传统方法,本文方法能准确分类没有明显特征吸收峰的光谱,证明了使用卷积神经网络识别小波系数图的有效性。为了体现本文算法的优势,与小波脊线寻峰识别算法作对比,实验结果表明本文算法几乎不受峰频、峰位、峰值的影响,无论是识别不存在吸收峰的淀粉,还是识别相似度高的蔗糖和葡萄糖,都具有较高的识别率,分类准确率达97.62%,证明了所提算法的优越性。该算法为太赫兹光谱数据识别提供了一种新思路,同时也可以推广运用到其他谱图物质的识别中。     

基于小波多尺度分解的红外光谱谱图比对检索方法研究

谱图比对检索是指计算提问谱和数据库中标准谱图的相似度,以查出与提问谱相同或近似的谱图,其中,提问谱的质量是影响谱图比对检索结果的一个重要因素.从削弱谱图的无关信息对谱图比对检索的影响、提高检索准确性出发,以提问谱噪声为例,分析了谱图噪声对相似度计算结果的影响;针对红外光谱谱图经过小波多尺度分解后,其有用信息主要集中在低频部分,高频部分主要是噪声的特点,提出了基于小波多尺度分解的红外光谱谱图比对检索方法;分析了小波分解层数对相似度计算结果的影响;选择去噪整波形比对检索作为参照方法,利用MATLAB 7.0分别设计了这两种比对检索程序,实验结果证实了基于小波多尺度分解的红外光谱谱图比对检索方法的可行性.     

基于FFT奇异值分解的光谱信号去噪算法

微型光谱仪在采集光谱信号过程中,光谱数据经常受到来自仪器光学系统和电子电路中的干扰出现噪声和光源特征峰,严重干扰了真实光谱信号的图谱特征,因此需要使用合理的预处理方法保留光谱信号中有用信号并尽可能过滤噪声信号同时将光源特征峰滤除,从而提高光谱信息定量分析的稳健性和准确性。并且在线检测系统要求尽可能减少人为参数选择对去噪效果的影响,奇异值分解经常应用于由系统电路引起的噪声去噪,奇异值降噪阶次的选取对提高信号信噪比十分关键,但是往往参数选取主要依赖经验调试和实验验证。因此,提出了一种基于奇异值重构信号分量频率的光谱信号去噪算法。该算法首先重构原始光谱信号单个奇异值分量信号,然后对每个奇异值分量信号作快速傅里叶变换,得到每个奇异值分量信号快速傅里叶变换结果中振幅最大所对应的频率值,最后按照奇异值递减方式对相应分量信号频率值进行一阶滞后差分,得到频率差分谱,研究表明,差分谱第一个谱峰值在大于设定阈值处所对应的奇异值即为奇异值分解降噪的有效阶次。结果表明：对包含多种重金属离子的溶液在线测量的紫外可见光谱信号,添加不同强度的随机噪声,并进行去噪处理,使用信噪比和均方根误差两个性能指标进行对比。所提算法相较于SG滤波算法和小波变换去噪算法信噪比分别提高了22.05%,10.88%,均方根误差分别降低了74.28%,41.29%。所提算法完全基于数据驱动,在处理真实紫外可见光谱信号中不仅抑制了噪声影响,而且将微型光谱仪的光源特征峰有效滤除,在紫外可见光谱信号的定量分析中具有较好的应用前景。     

支持向量机的动物血液光谱特征提取和识别分类

利用光谱检测和数据挖掘实现不同种类动物血液光谱数据的精确识别与分类具有重要意义,目前尚未见到较为完善及普适的相关研究报道。实验采集了鸽、鸡、鼠、羊四种动物全血和红细胞溶液(浓度为1%)的荧光光谱数据;基于小波变换的软阈值去噪方法,首先对原始光谱数据进行去噪处理,并确定了717个原始特征(包括荧光峰强度值、荧光峰连线斜率等4类特征);提出以“区分度统计量”为核心的特征提取方法,结合主成分分析法和平均影响值算法,实现了对717个原始特征到2个识别特征的高效筛选;进一步建立了径向基核函数的支持向量机分类器,对四类不同动物的全血荧光光谱数据实现了准确率为100%的识别分类,对红细胞荧光光谱数据实现了94.69%～99.12%的识别率;最后蒙特卡洛交叉验证的结果表明所提出的思路和方法对于动物全血溶液的识别分类具有较好的泛化能力,能对荧光光谱数据进行准确的识别分类,因此能够在进出口检查、食品安全、医药等领域发挥重要作用。针对动物血液荧光光谱,提出的基于“区分度统计量”的特征提取方法,相比于传统的人为特征选取方法,能够从大量原始特征中自动提取少量且有效的识别特征,具有较强的普适性和高效性,为其他领域的光谱特征提取和识别分类提供了一种新的思路。     

非下采样小波变换红外光谱数据去噪

为了降低噪声对实测红外光谱信号的影响,引入了一种非下采样小波变换的红外光谱数据去噪方法。采用非下采样小波变换对原始光谱信号进行多尺度分解,提取信号的多尺度细节特征;根据光谱信号和噪声在不同尺度上的差异,通过应用变分偏微分方程方法调整分解后的各子带系数;重构各子带就可以将原始光谱信号中真实信号和噪声分离,从而达到剔除噪声的目的。通过两组实验对比传统小波和该方法针对红外光谱数据的消噪效果,实验结果表明:非下采样小波变换在红外光谱数据去噪方面具有明显的优势,不仅能够有效地去除噪声,很好地保持信号的形状,并且均方误差较小;在实际的红外光谱数据处理中能够获得较好的去噪效果。     

基于主成分分析的复杂光谱定量分析方法的研究

针对超短脉冲激光与气体相互作用产生的非线性荧光光谱的特点,提出了光谱分析的预处理、特征提取以及定量分析的有效方法.采用小波算法对光谱数据进行压缩和降噪处理,使光谱数据由3979点压缩降噪至664点.对处理后的光谱特征峰团的强度进行主成分分析,结果表明2个主成分即可包含98%的光谱信息.采用第一主成分对不同浓度下的谱线强度进行拟合与误差计算,有效地提取了与气体浓度有关的特征参量.实现了气体的定量分析.同已有的定量分析方法相比,定量分析的精度有较大提高,特别在所关心的低浓度情况下,定量分析的精度改善更为明显.3种气体的拟合与计算显示同以往方法相比误差由0.2694降为0.02.     

基于小波包变换和数学形态学结合的光谱去噪方法研究

对反射光谱数据进行去噪是提高光谱信息准确度的前提。传统时域平滑和频域去噪方法存在诸多缺点,本文首次将广义形态滤波方法用于可见近红外光谱的去噪处理,并提出基于小波包变换和数学形态学结合的光谱去噪方法。使用USGS光谱库中的植被光谱进行实验,采用信噪比(SNR)、均方误差根(RMSE)、波形相似度(NCC)和平滑度(SR)四个指标来评估去噪效果。结果表明,小波包最佳基阈值法和广义形态滤波法都能较好地保持波形和平滑度,广义形态滤波法能较好地消除幅值较大的随机噪声,但其对连续随机噪声中幅值较小的噪声成分不能有效消除; 而小波包最佳基阈值法不能有效消除幅值较大的噪声成分; 二者结合的方法组合了这两者的优点,使得幅值较大、较小的噪声成分都能较好地消除,同时还提高了相似度和平滑度指标,充分表明小波包最佳基阈值与广义形态滤波结合的方法是一种更好的可见光近红外光谱去噪方法。     

基于卷积神经网络的光谱预处理方法

光谱的预处理在光谱分析中占有非常重要的地位。针对现有光谱去噪算法对弱峰保存能力差、基线校正算法对光谱能量过扣除、光谱特征峰定位不准确以及各种预处理算法串行处理造成的误差累计等问题,设计了一个端到端的卷积神经网络。该网络由两个模块组成：基线校正和去噪模块和特征峰定位模块。这两个模块相互连接又独立输出。理想条件下,可以依据光谱的线型函数和特征峰的位置拟合出无噪声无基线的光谱,所以在基线校正和光谱去噪模块中连接特征峰定位模块的输出可以有效的提高去噪和基线校正的精度;而高质量的光谱有助于更加精确的估计光谱峰的位置,因此这两个模块相互连接可以有效提高重建光谱的质量。光谱基线校正和去噪模块是一个前馈网络,该模块由多个卷积层、激活函数和批归一化层构成,每一层均连接了特征峰定位模块的输出。特征峰定位模块是一个多尺度特征融合网络,该模块使用不同尺寸的卷积核将光谱分为不同的尺度,融合大小不同尺度的特征估计光谱特征峰的具体位置。在网络训练时,使用不同温度、湿度和不同预热时间的光谱仪获得光谱作为输入样本,使用中国计量院的标准仪器获得光谱数据作为输出样本。在实验中,首先对合成的光谱分别添加不同信噪比的噪声和不同峰值的高斯基线,分别评价该网络在噪声抑制、基线校正、光谱特征峰校正的能力;然后将添加噪声和基线后的玉米的近红外光谱作为样本,用最先进的算法对它们进行预处理,然后用偏最小二乘法估计玉米中的水和油的浓度。估计的浓度与用标准仪器测量的真实浓度进行比较,以证明所提出的CNN的优势。实验证明,所设计的网络在单任务和多任务处理中均能取得良好的结果。而且经过该网络处理的光谱在定量分析中可以得到更准确的结果,具有较强的实用价值。     

基于分子光谱图像识别的食用油快速分类研究

分子光谱分析技术结合化学计量学已成为一种非常活跃的食用油鉴别方法。然而,当不同类型的样本之间的光谱差异极其微小时,利用传统的分类技术也很难将其分开。为了完成相似品种食用油的快速识别和分类,收集了包括芝麻油、玉米油、油菜籽油、调和油、葵花油、花生油、橄榄油七种食用油的衰减全反射红外光谱,在此基础上,采用图像识别的方法对七种食用油进行快速分类。在所提出的图像识别方法中,首先,将通过多元散射校正预处理后的红外光谱吸光度矩阵进行自相关运算,利用等高线原理根据吸光度强度值的不同生成光谱图像,以扩大的光谱差异并提高光谱可视化。然后,根据图像膨胀的原理找到光谱图像的局部特征点,将其作为图像特征。最后,使用BP神经网络对特征点进行训练和分类预测。为了对比所提出的方法,PCA-BP和KL-BP的方法被用于与图像识别的方法进行比较,实验结果表明,图像识别方法的正确识别率为94.4%,高于PCA-BP的66.7%和KL-BP的83.3%。所提方法为实现食用油的快速识别和检测提供了一条新的有效途径。     

基于统计窗的恒星连续谱自动拟合方法

提出一种基于统计窗的恒星连续谱拟合方法。该方法将恒星光谱划分为若干个统计窗,在每个窗口内根据信噪比选取一定比例的流量点,然后对选出来的流量点进行低阶多项式迭代拟合,从而得到连续谱。实验表明,与其他方法相比,该方法得到的连续谱更接近于实际连续谱。该方法对SDSS中除M外的各种光谱型连续谱的拟合均具有很高的实用性和鲁棒性,对于郭守敬望远镜(LAMOST)先导巡天恒星光谱的连续谱拟合同样具有非常好的效果。     

利用融合数据分布特征的模糊双支持向量机对恒星光谱分类

恒星光谱分类是天文学研究的一个热点问题。随着观测光谱数量的急剧增加,传统的人工分类无法满足实际需求,急需利用自动化技术,特别是数据挖掘算法来对恒星光谱进行自动分类。关联规则、神经网络、自组织网络等数据挖掘算法已广泛应用于恒星光谱分类。其中,支持向量机（SVM）分类能力突出,被广泛应用于恒星光谱分类。该方法试图在两类样本之间找到一个最优分类面将两类分开。该方法具有较高的时间复杂度,计算效率有限。双支持向量机（TWSVM）的出现有效地解决了SVM面临的效率问题。该方法通过构造两个非平行的分类面将两类分开,每一类靠近某个分类面,而远离另一个分类面。TWSVM的计算效率较之传统SVM提高近4倍,因此,自TWSVM提出后便受到研究人员的持续关注。但上述方法在分类决策时,一方面没有考虑数据的分布特征,另一方面较易受噪声点和奇异点的影响,分类效率难以显著提升。鉴于此,在双支持向量机的基础上,提出融合数据分布特征的模糊双支持向量机（TWSVM-SDP）。该方法引入线性判别分析（LDA）的类间离散度和类内离散度,用以表征光谱数据的分布性状;引入模糊隶属度函数用以降低噪声点和奇异点对分类结果的影响。在SDSS DR8恒星光谱数据集上的比较实验表明,与支持向量机SVM、双支持向量机TWSVM等传统分类方法相比,融合数据分布特征的模糊双支持向量机TWSVM-SDP具有更优的分类能力。该方法亦存在一定的局限性,其中一大难题是其无法处理海量光谱数据。接下来将利用大数据处理技术,来对所提方法在大数据环境下的适应性展开进一步研究。     

红外光谱相似谱及其在中药鉴别中的应用

红外光谱相似谱能描述两红外光谱相似的程度,在波数_i处相关谱的值r_i能反映两红外光谱在[_i-n, _i+n]区间内线性相关程度的大小,值在-1～1之间,r_i>0意味着两光谱正相关,r_i<0意味着负相关,r_i=0则没有线性关系。在偏移量n一定的条件下,依相似谱形状的差异可辅助红外光谱的解析,用相似谱或相似谱提供的信息提取的光谱特征值可用于模式识别。计算了18个黄芪、红兰芪和党参样本在1 600～700 cm-1范围内的红外光谱相似谱,结果表明各类药材均有各自的特征相似谱,凭借这些可实现对它们的鉴别;依灵芝红外光谱相似谱提供的信息,计算了1 560~1 502,1 460~1 421和1 319~1 260 cm-1三个波数区间内93个灵芝样本红外光谱的相关系数,在无先验知识的情况下,K-means聚类分析法成功地将其分为了赤芝和紫芝类、黑芝类、青芝类和黄芝类,这一分类结果与形态分类法得到的结果基本一致。     

聚合氯化铝铁溶液的可见光谱与碱化度、总铁浓度关系研究

研究了不同碱化度Ｂ、不同铝铁摩尔比的聚合氯化铝铁（ＰＡＦＣ）溶液的可见光谱。发现它们在４６０ｎｍ波长处吸光度Ａ与溶液的碱化度Ｂ线性相关;用该波长处吸光度Ａ对铝铁摩尔比作图出现的折点与它们的ｐＨ－ｎＡｌ／ｎＦｅ（铝铁摩尔比）曲线上ｐＨ突跃点正好对应。说明这些折点分别代表了不同Ｂ值下溶液中配体ＯＨ＾－在Ｆｅ（Ⅲ）与Ａｌ（Ⅲ）羟基配合物间的平衡配比。由此找出了ＰＡＦＣ溶液的碱化度Ｂ、总铁浓度〔Ｆｅ〕Ｔ与     

隐性字迹的快速光谱显现与高光谱分类技术研究

擦除、密写、掩盖等隐性字迹的快速、无损显现与检验是法庭科学文件检验领域的研究难点。当前多采用切换多波段光源与滤光片的方法对隐性字迹进行显现,但对隐性字迹显现的光谱学机理分析较少,因此隐性字迹的显现效率与检验成功率均不高。为提高擦除、密写、掩盖三类隐性字迹的显现效率与检验精度,通过测量字迹的激发与荧光光谱、反射与透过光谱、微观形貌,对其显现机理与快速显现方法进行深入研究。并且基于液晶可调谐滤光器（LCTF）的高光谱成像技术与支持向量机（SVM）分类算法,提出一种对隐性字迹同时显现与分类的快速检验方法。晨光与百乐可擦笔字、荧光密写笔、柠檬汁均可在365 nm长波紫外光激发下发出较强荧光,其中可擦笔和柠檬汁的荧光波长为716 nm左右,荧光密写笔荧光波长为447 nm。此外,采用254或365 nm波长对柠檬汁隐性字迹进行紫外反射成像也可有效显现柠檬汁字迹。掩盖字迹的研究中发现,在700～2 500 nm红外波段,走珠笔、记号笔、可擦笔字迹透过率在60%以上,而中性笔字迹透过率在20%以下。因此,采用近红外波段850 nm成像有效显现了百乐走珠笔所覆盖的晨光中性笔字迹。同时,采用LCTF高光谱相机对三类隐性字迹在400～720 nm范围进行步长为5 nm的高光谱成像,并通过SVM分类算法对图像中不同笔迹成分进行同时显现和分类,分类总精度达99.284 4%,Kappa系数达0.959 1。以365 nm波长光源作为激发光进行光致发光成像可有效显现擦除与密写字迹。由于不同墨迹在近红外波段反射率差异较大,近红外成像可以有效显现掩盖字迹。基于LCTF高光谱成像的SVM分类技术可实现不同类别隐性字迹的同时显现与分类,并且有较高的显现效率与分类精度。     

1.06μm区域的Cs2分子吸收光谱

用ＲＫＲ（Ｒｙｄｂｅｒｇ－Ｋｌｅｉｎｎ－Ｒｅｅｓ）方法计算了Ｃｓ２分子的Ｘ＾１∑ｇ和Ａ＾１∑ｕ的势能曲线，求解了Ｃｓ２分子核运动的径向薛定谔方程，获得Ｘ态与Ａ态间跃迁的Ｆｒａｎｃｋ－Ｃｏｎｄｏｎ因子和１．０６μｍ附近区域的吸收光谱，并与实验测得的吸收光谱作了比较，两者相当符合。     

利用地表土壤的反射光谱勘探油气的方法研究

反射光谱分析提供了一种高效和低成本的鉴别物质成分和结构的方法,油气微渗漏理论则建立了油气藏与其上部地表特定蚀变之间的因果关系,因此,可以通过检测地表蚀变的反射光谱来勘探油气。野外实地测量和高光谱遥感均能够实现反射光谱的检测。文章首先提出了典型含气区测点的光谱曲线的宏观特征;然后,给出了一种基于野外测量的反射光谱来确定特定蚀变的地表分布(即分类)的方法。将本方法应用于青海××地区野外测量的反射光谱的分析中,得到的蚀变异常区与该地区的已有气田成功吻合。本方法的鲁棒性实验表明,当分类过程中选用不同的参数组合(例如：分类样本,研究波段范围和相似度阈值)时,均能得到较好的分类结果。为该地区进行中的Hyperion高光谱遥感油气勘探项目提供了有效的分类样本和参考算法。     

Improving information content of images of vegetation objects using spectral data

We propose a calculation procedure for obtaining multispectral images in remote sensing of vegetation objects in the spectral range 400–1000 nm, based on three-channel spectral zonal images and reference spectra measured at several points of the recorded scene. The procedure makes it possible to improve the information content of the data for solving various thematic classification problems. __________ Translated from Zhurnal Prikladnoi Spektroskopii, Vol. 74, No. 5, pp. 670–676, September–October, 2007.     

基于BP神经网络的血液荧光光谱识别分类研究

光谱技术在生物和医学检测方面具有积极的应用前景。由于血液成分的复杂性和类同性,有关不同动物血液光谱识别分类的技术研究尚未出现较为完善的结论。基于机器学习理论, 以BP神经网络为工具, 建立了对不同动物血液荧光光谱进行特征提取和识别分类的方法。实验采用Cary Eclipse光谱仪分别采集了鸽、鸡、鼠、羊四种动物不同浓度(1%和3%)的全血与红细胞荧光光谱数据(每个类型样本各50组数据);基于移动平滑算法对原始数据进行了平滑处理,以减少实验仪器噪声对特征提取和识别分类的影响;进一步根据血液光谱数据的特性, 该文出了“组合放大”的特征提取方法, 并建立了BP神经网络分类器进行训练和识别。相比于常用的光谱数据(单一)特征, 提出的“组合放大”特征和所设计的BP神经网络能对不同动物、不同类型(全血与红细胞)、不同浓度(1%和3%)的血液荧光光谱实现100%的准确分类, 同时神经网络测试误差均远小于设定的允许误差值。研究的动物血液光谱特征提取及识别技术具有较好的普适性和可靠性, 在农业、食品检查、以及生物医学检测等方面均可发挥重要作用。