基于匹配追踪的拉曼光谱信号重构算法

拉曼光谱技术是一种高灵敏度、无损伤、振动分子光谱技术,在医药、生物、分析化学等诸多领域有着重要的作用。然而,由于拉曼散射强度低,实际测得的拉曼信号容易被噪声所污染。特别是在较短的曝光时间,收集到的拉曼光谱的信噪比很低。因此,提出了一种基于匹配追踪算法的信号重构方法,用于提取低信噪比的拉曼信号。该方法首先通过阈值循环迭代的方法在平均谱上找出特征峰的位置、估计峰的区间。根据峰的位置区间等信息,用高斯密度函数生成字典。在噪声谱上,根据特征峰位置和区间,将其区分为有信号区间和无信号区间,在有信号区间上利用匹配追踪算法重构被噪声所掩盖的拉曼信号。该算法不仅能够很好的逼近掩盖在噪声中的拉曼信号,且在重构信号的过程中也会对基线进行扣除,无须作基线校正处理。在仿真和实验中对该算法与常规算法进行了比较,结果证明,该算法在低信噪比条件下能够较好的恢复拉曼信号。该算法不同于传统光谱去噪算法,能同时对拉曼光谱进行了基线扣除以及噪声的处理,且能取得较为理想的结果,不需要使用不同的算法对基线和噪声分别处理。其次,在算法上我们创造性地将匹配追踪算法用于拉曼光谱信号的稀疏逼近求解。     

基于噪声水平估计的多孔准直X射线荧光CT去噪算法

X射线荧光CT(XFCT)是X射线CT与X射线荧光分析相结合的新型成像方式,可用于探测被修饰后的纳米金颗粒在肿瘤内部的分布及质量分数,在早期癌症诊疗方面具有较好的应用潜力。如何抑制XFCT成像的康普顿散射噪声是当前的热点问题。本文基于深度学习方法,通过卷积神经网络学习图像中的噪声分布规律,从而抑制噪声。基于此,提出了一种基于噪声水平估计和卷积神经网络的XFCT去噪网络（NeCNN）算法,该算法运用噪声估计子网络及去噪主网络进行去噪。估计子网络通过去噪卷积神经网络（DnCNN）估计噪声水平并初步降噪,随后将估计结果输入去噪主网络——全卷积神经网络（FCN）用于学习康普顿散射的分布规律,同时为兼顾局部与全局最优解采用均方误差（MSE）及结构相似度（SSIM）作为损失函数。数据集通过Geant4软件模拟扫描填充各种金属纳米颗粒（Au、Bi、Ru、Gd）的空气模体及聚甲基丙烯酸甲酯（PMMA）模体来获取,且设置不同入射X射线的强度,以此模拟不同噪声水平,增强模型泛化能力。实验结果表明,与三维块匹配滤波（BM3D）及DnCNN算法相比,NeCNN算法的去噪结果最优,其SSIM为0.95066,峰...     

自适应多尺度窗口平均光谱平滑

去噪算法是极其重要的光谱预处理步骤,能够显著提高后续光谱分析算法的准确性。然而,大多数去噪算法都需要通过反复试验的方式来人为设置初始参数,不能自动完成光谱去噪。为了能够对光谱进行自动且可靠的平滑去噪,提出了一种自适应多尺度窗口平均平滑(AMWA)去噪算法。该算法针对光谱中不同位置采用不同宽度的平滑窗口,这些窗口的宽度将直接影响到平滑效果。当窗口宽度选择不合适时,可能出现去噪过度,使得峰畸变或者丢失;也有可能导致去噪不足,使得光谱的较平坦区域仍包含大量的噪声。因此判断每个窗口宽度是否合适,是光谱平滑的关键。该算法通过迭代的方法不断优化各个窗口的宽度,并以统计学中的Z检验来判断窗口宽度是否为最佳。另外,为了提高假设检验的可靠性,用不同信噪比的模拟数据对假设检验中使用的阈值进行比较,发现当阈值设为1.1时可使去噪效果最佳。用模拟光谱和实际光谱对该算法进行了测试,该算法能够自动适应不同的光谱形状和噪声强度。还将AMWA去噪算法与SG算法及移动窗口平均平滑算法进行了全面的比较,AMWA算法都明显优于其他两种算法。结果表明AMWA算法不仅去噪效果更好,而且准确性及保真性也更高,对模拟光谱和实际光谱都具有极好的平滑效果。     

基于小波模极大值移位相关的光谱去噪方法

提出一种小波模极大值移位相关滤波算法,用来对吸收光谱进行去噪处理。首先,依据小波变换模极大值理论,识别吸收光谱的二进小波系数中的噪声成分和有用信号成分;然后将其中相邻尺度的有用成分在波数轴上移位对齐,修正模极大值在尺度间的“漂移”现象,并对其中噪声成分进行平滑;最后将预处理后的相邻尺度的小波子带相乘,根据得到的小波系数尺度间的相关度,进一步强化信号的重要特征,同时衰减噪声。相比SSNF及MPTH等去噪方法,新的算法不需要估计噪声强度,可避免引入误差和复杂计算;也不需要进行迭代计算,可消除算法收敛缓慢甚至不收敛的危险;同时,该算法修正了光谱谱峰在不同尺度的模极大值位置的“漂移”,可弥补这一现象造成的谱信息的损失。实验结果证明,提出的滤波算法在保留SF₆气体红外吸收光谱的有用成分的前提下,有效的滤除了噪声。     

自适应的EEMD残余相关基线校正算法

基线校正是光谱分析的重要环节,现有算法通常需要设定关键参数,不具备自适应性。根据总体平均经验模态分解(ensemble empirical mode decomposition,EEMD)残余量特点,提出用残余量拟合光谱基线。通过残余量与信号相关性、残余量自相关和互相关性(称为残余相关准则)判断残余量是否是基线组成部分,以此为基础提出一种自适应的EEMD残余相关基线校正算法。对叠加曲线背景和线性背景的模拟光谱数据进行实验,结果显示在已知基线数学假设情况下,EEMD残余相关法逊于多项式拟合,同非线性拟合相差不多,优于小波分解。在没有光谱背景知识情况下,对真实拉曼光谱数据进行试验。经过上述方法预处理过的玉米叶片光谱采用3层BP神经网络建立与叶绿素之间预测模型,经过残余相关基线校正的模型具有最大校正相关系数和预测相关系数,最小交叉验证标准差和相对分析误差。各种基线校正方法中,残余相关基线校正对特征峰峰位、峰强和峰宽影响最小。实验表明,该算法可用于拉曼谱图基线校正,无需分析样品成分的先验知识,无需选择合适的拟合函数、拟合数据点、拟合阶次以及基函数和分解层数,也无需基线信号分布的数学假设,自适应性很强。     

红外光谱预处理中去噪的研究

红外(IR)光谱由于包含了噪声等各种外界干扰因素.应该先进行光谱预处理,以便降噪,提高分析准确度.本文采用了一种基于最优小波包基的信号去噪算法,该算法根据最小代价原理,采用不同的阈值算法对光谱的高频和低频信号进行量化处理,用量化后的系数重构得到去噪信号,从而达到较好的去噪效果.实验表明,本方法处理后光谱曲线非常光滑、噪声消除效果明显.     

基于凸优化的激光诱导击穿光谱基线校正方法

在激光诱导击穿光谱定量分析中,基线是LIBS光谱信号的重要组成部分,由于受到实验参数设置及实验环境变化等影响,导致等离子体的发射谱线呈现不同程度的基线漂移现象,因此基线校正是光谱分析的重要环节。现有算法如多项式拟合通常需要设定关键参数,不具备自适应性。由于激光诱导产生的等离子体光谱信号的特征峰具有明显的独立性和稀疏性,以及基线具有低通特性,因此在凸优化约束框架下,提出了非参数化基线校正模型。同时,利用高效率的迭代算法来保证结果的收敛性。首先对23个高合金钢样本的光谱信号进行基线校正,然后以合金钢样本中的铬(Cr)元素为分析对象,并选取11条分析线进行定量分析。分别采用PLS和SVM定量模型进行训练和预测,并且与传统方法相比较,证明了所提出方法可以提高定量分析精度。     

基于FFT奇异值分解的光谱信号去噪算法

微型光谱仪在采集光谱信号过程中,光谱数据经常受到来自仪器光学系统和电子电路中的干扰出现噪声和光源特征峰,严重干扰了真实光谱信号的图谱特征,因此需要使用合理的预处理方法保留光谱信号中有用信号并尽可能过滤噪声信号同时将光源特征峰滤除,从而提高光谱信息定量分析的稳健性和准确性。并且在线检测系统要求尽可能减少人为参数选择对去噪效果的影响,奇异值分解经常应用于由系统电路引起的噪声去噪,奇异值降噪阶次的选取对提高信号信噪比十分关键,但是往往参数选取主要依赖经验调试和实验验证。因此,提出了一种基于奇异值重构信号分量频率的光谱信号去噪算法。该算法首先重构原始光谱信号单个奇异值分量信号,然后对每个奇异值分量信号作快速傅里叶变换,得到每个奇异值分量信号快速傅里叶变换结果中振幅最大所对应的频率值,最后按照奇异值递减方式对相应分量信号频率值进行一阶滞后差分,得到频率差分谱,研究表明,差分谱第一个谱峰值在大于设定阈值处所对应的奇异值即为奇异值分解降噪的有效阶次。结果表明：对包含多种重金属离子的溶液在线测量的紫外可见光谱信号,添加不同强度的随机噪声,并进行去噪处理,使用信噪比和均方根误差两个性能指标进行对比。所提算法相较于SG滤波算法和小波变换去噪算法信噪比分别提高了22.05%,10.88%,均方根误差分别降低了74.28%,41.29%。所提算法完全基于数据驱动,在处理真实紫外可见光谱信号中不仅抑制了噪声影响,而且将微型光谱仪的光源特征峰有效滤除,在紫外可见光谱信号的定量分析中具有较好的应用前景。     

基于分组三维离散余弦变换字典的植物高光谱数据去噪方法EI北大核心CSCD

针对植物高光谱图像各波段噪声强度不同,以及空间域和谱域均存在噪声污染的问题,提出了一种基于分组三维(3D)离散余弦变换(DCT)字典的稀疏表示去噪方法。首先分析了植物光谱特征,根据谱间相关性对波段进行分组;然后采用边缘块剔除的局部均值标准差法对高光谱图像进行噪声标准差估计,为去噪算法提供参考阈值;最后构建三维DCT字典的稀疏表示去噪方法,对植物高光谱图像进行去噪。实验结果表明,与原始数据和二维DCT字典去噪方法相比,谱域噪声评估中平均信噪比分别提高18.2dB和9.2dB。因此,该方法不仅具有较好的空间域去噪能力,也有较好的谱域去噪能力。     

基于DE算法和NURBS曲线的ICP-AES光谱基线校正方法研究

电感耦合等离子体原子发射光谱(ICP-AES)分析法是一种常用的溶液元素浓度分析方法,但在ICP-AES测量过程中,由于温度漂移、杂散光和仪器暗电流等原因,光谱往往会存在一定程度的基线漂移,导致元素光谱强度值的测量结果存在误差,进而影响元素浓度的定量分析结果,因此基线校正是ICP-AES分析法中的必要环节之一。对传统光谱基线校正方法进行简要分析,在此基础上设计了一种基于非均匀B样条曲线和差分进化算法的ICP-AES光谱基线漂移校正方法;首先验证了光谱信号中噪声的概率密度分布服从高斯分布,然后对原始光谱进行预处理,通过高斯滤波对光谱信号去噪;然后以光谱基线校正过程中极小值序列的标准偏差作为评价指标,以非均匀B样条曲线作为基线模型,以曲线的控制点序列C和内接点序列T作为评价函数特征参数,建立ICP-AES光谱基线校正评价函数,将光谱基线校正问题转换为求解评价函数特征参数全局最优解的问题;最后简要介绍了差分进化算法的流程,通过差分进化算法求解使得评价函数取得最小值时的特征参数的全局最优解,即非均匀B样条曲线的控制点序列C与内接点序列T的取值,并以此拟合相应的非均匀B样条曲线作为光谱基线,实现...     

基于GADF变换和多尺度CNN的哈密瓜表面农药残留可见-近红外光谱判别方法

针对哈密瓜表面农药残留化学检测方法成本高且具有破坏性等问题,探索了可见-近红外（Vis-NIR）光谱技术对农药残留定性判别的可行性。以哈密瓜为载体,百菌清和吡虫啉农药为研究对象,采集哈密瓜表面无残留、百菌清和吡虫啉残留的可见-近红外漫反射光谱,利用格拉姆角场（GAF）将一维光谱数据转换为二维彩色图像,构建GAF图像数据集。设计一种包含Inception结构的多尺度卷积神经网络模型用于哈密瓜表面农药残留种类判别,包括1层输入层、3层卷积层、1层融合层、1层平坦层、2层全连接层和1层输出层。模型测试混淆矩阵结果表明,格拉姆角差场（GADF）变换对哈密瓜表面农药残留的可见-近红外光谱表达能力较强。此外,构建AlexNet、VGG-16卷积神经网络（CNN）模型和支持向量机（SVM）、极限学习机（ELM）机器学习模型与提出的多尺度CNN模型进行性能对比。结果表明,3种CNN模型对哈密瓜表面有无农药残留的判别效果较好,综合判别准确率均高于SVM和ELM模型。对比3种CNN模型性能,多尺度CNN模型的性能最佳,训练耗时为14 s,综合判别准确率为98.33%。多尺度CNN模型结构利用多种小尺寸滤波器组合（1×1,3×3和5×5）和并行卷积模块,能够捕获不同层次和尺度的特征,通过级联融合模式进行深度特征融合,提高了模型的特征提取能力。与传统深度CNN模型相比,在保证计算复杂度不变的情况下,多尺度CNN模型的精度得到了有效提高。实验结果表明,GADF变换结合多尺度CNN模型可以有效进行光谱数据解析,利用可见-近红外光谱技术可以实现哈密瓜表面农药残留的定性判别。研究结果为大型瓜果表面农药残留的快速无损检测技术的研发提供了理论参考。     

拉曼光谱的局域动态移动平均全自动基线校准算法

基线校准是极其重要的光谱预处理步骤,能够显著提高后续光谱分析算法的准确性。目前基线校准算法大多数都是手动或半自动的,手动基线校准算法完全依赖于用户的经验,个人主观因素会严重影响基线校准的准确性,半自动基线校准需要针对不同的拉曼光谱设置不同的优化参数,使用不便。提出了一种局域动态移动平均(LDMA)全自动基线校准算法,并且详细阐明了该算法的基本思想和具体算法步骤。该算法采用了改进移动平均算法(MMA)实现拉曼光谱峰的逐渐剥离,通过自动识别原始拉曼光谱的基线子区间来将整个拉曼光谱区间自动分割为多个拉曼峰子区间,从而实现了在每个拉曼峰子区间中动态改变MMA窗口半宽度和控制平滑迭代次数,最大程度地避免了基线校准过度和基线欠校准现象。无论对于凸形基线、指数形基线、反曲线形基线模拟拉曼光谱,还是真实物质的拉曼光谱,LDMA全自动基线校准算法都取得了很好的基线校准效果。     

水体透射光谱的多特征融合COD含量估算研究

化学需氧量（chemical oxygen demand,COD）是一项可以快速检测有机污染物的参数,能够很好地反映水污染的程度。提出一种基于透射光谱测量的多特征融合水体COD含量估算模型,透射高光谱法采集100组COD水体光谱信息,对光谱数据进行预处理以及特征波段的选取,分析不同预处理方法对模型精度的影响并进行特征融合,建立BP神经网络模型,通过比较模型的精度选择最优模型进行水体COD含量的检测。结果显示,基于多特征融合BP神经网络模型决定系数R2高达0.991 64,均方根误差RMSE为0.030 9,与偏最小二乘法相比,该模型拟合优度更大,精确度更高。基于多特征融合的BP神经网络高光谱检测方法能够实现水体中COD含量的检测,并运用到水体其他成分的检测中。     

基于小波系数图和卷积神经网络的太赫兹光谱物质识别

许多太赫兹光谱物质识别方法依靠寻找该物质在太赫兹波段范围内不同光谱表现出的不同特征来识别特定物质。吸收峰提取法是常用的光谱特征提取算法,但当光谱无明显特征吸收峰或峰位、峰值相近或难以识别时,难以利用吸收峰特征辨别物质。将机器学习和统计学习技术用于太赫兹光谱的识别中虽减少了吸收峰的干扰,但常常需要人为定义特征而导致分类误差。深度学习法能自动提取特征,但在识别前往往需要进行复杂的预处理操作,并且在特征提取的过程中容易丢失部分特征从而导致分类误差。针对以上问题,提出了一种基于小波系数图和卷积神经网络的太赫兹光谱识别方法。利用太赫兹光谱信号进行小波变换时,由于小波系数矩阵的每一行系数与原始光谱信号存在着对应关系,因此将太赫兹光谱的吸收系数通过小波变换在频率域上展开,能得到不同的二维的频率-尺度分布图,又称小波系数图。然后构造一个卷积神经网络(CNN)对小波系数图进行分类,可得到太赫兹光谱物质的分类结果。为了验证所提出算法的有效性,将三组小波系数图数据与原始光谱数据分别输入CNN、Support Vector Machin (SVM)、Multilayer Perceptron (MLP)三种不同的分类器作对比,从实验结果可以发现本文算法在三组数据中的识别率均达到了100%,说明相比于传统方法,本文方法能准确分类没有明显特征吸收峰的光谱,证明了使用卷积神经网络识别小波系数图的有效性。为了体现本文算法的优势,与小波脊线寻峰识别算法作对比,实验结果表明本文算法几乎不受峰频、峰位、峰值的影响,无论是识别不存在吸收峰的淀粉,还是识别相似度高的蔗糖和葡萄糖,都具有较高的识别率,分类准确率达97.62%,证明了所提算法的优越性。该算法为太赫兹光谱数据识别提供了一种新思路,同时也可以推广运用到其他谱图物质的识别中。     

基于卷积神经网络与光谱特征的夏威夷果品质鉴定研究

夏威夷果含油量高,在开缝之后容易发生变质,现有关于夏威夷果品质鉴定的方法多为传统的破坏性检验,很难满足无损检测的需求。卷积神经网络(CNN)作为应用最广泛的深度学习网络模型之一,具有比浅层学习方法更强的特征提取与模型表达能力,在光谱数据方面的应用拥有很大潜力。基于夏威夷果在可见-近红外的光谱特征分析,研究用于提取夏威夷果光谱特征的卷积神经网络模型,并提出一种高效无损鉴定夏威夷果品质的方法。首先以三种不同品质的夏威夷果(好籽、哈籽及霉籽)为研究对象,分析样本在500~2 100 nm的光谱信息;在光谱数据预处理中引入白化处理方法,用以增强数据的相关性差异;然后在模型训练过程中,将样本随机分为训练集和预测集,探讨不同CNN结构、卷积层数、卷积核大小及个数、池化层类型、全连接层神经元个数以及激活函数对分类结果的影响,并采用激活函数ReLU和Dropout方法,预防样本数据过少引起的过拟合现象;最后通过分析模型分类准确率和计算效率,确定了一个6层结构的CNN模型： 输入层-卷积层-池化层-全连接层(200神经元)-全连接层(100神经元)-输出层。实验结果表明： 上述网络模型对校正集和预测集的分类准确率均达到100％。因此,改进后的卷积神经网络模型可充分学习夏威夷果的光谱特征并有效分类,将深度学习理论与光谱分析相结合的方法能够实现对夏威夷果品质的准确鉴定,同时为夏威夷果等坚果类食品的高效、无损、实时在线检测提供了新思路。     

基于卷积神经网络的恒星光谱自动分类方法

恒星光谱自动分类是研究恒星光谱的基础内容,快速、准确自动识别、分类恒星光谱可提高搜寻特殊天体速度,对天文学研究有重大意义。目前我国大型巡天项目LAMOST每年发布数百万条光谱数据,对海量恒星光谱进行快速、准确自动识别与分类研究已成为天文学大数据分析与处理领域的研究热点之一。针对恒星光谱自动分类问题,提出一种基于卷积神经网络(CNN)的K和F型恒星光谱分类方法,并与支持向量机(SVM)、误差反向传播算法(BP)对比,采用交叉验证方法验证分类器性能。与传统方法相比CNN具有权值共享,减少模型学习参数;可直接对训练数据自动进行特征提取等优点。实验采用Tensorflow深度学习框架,Python3.5编程环境。K和F恒星光谱数据集采用国家天文台提供的LAMOST DR3数据。截取每条光谱波长范围为3 500~7 500 部分,对光谱均匀采样生成数据集样本,采用min-max归一化方法对数据集样本进行归一化处理。CNN结构包括：输入层,卷积层C1,池化层S1,卷积层C2,池化层S2,卷积层C3,池化层S3,全连接层,输出层。输入层为一批K和F型恒星光谱相同的3 700个波长点处流量值。C1层设有10个大小为1×3步长为1的卷积核。S1层采用最大池化方法,采样窗口大小为1×2,无重叠采样,生成10张特征图,与C1层特征图数量相同,大小为C1层特征图的二分之一。C2层设有20个大小为1×2步长为1的卷积核,输出20张特征图。S2层对C2层20张特征图下采样输出20张特征图。C3层设有30个大小为1×3步长为1的卷积核,输出30张特征图。S3层对C3层30张特征图下采样输出30张特征图。全连接层神经元个数设置为50,每个神经元都与S3层的所有神经元连接。输出层神经元个数设置为2,输出分类结果。卷积层激活函数采用ReLU函数,输出层激活函数采用softmax函数。对比算法SVM类型为C-SVC,核函数采用径向基函数,BP算法设有3个隐藏层,每个隐藏层设有20,40和20个神经元。数据集分为训练数据和测试数据,将训练数据的40%,60%,80%和100%作为5个训练集,测试数据作为测试集。分别将5个训练集放入模型中训练,共迭代8 000次,每次训练好的模型用测试集进行验证。对比实验采用100%的训练数据作为训练集,测试数据作为测试集。采用精确率、召回率、F-score、准确率四个评价指标评价模型性能,对实验结果进行详细分析。分析结果表明CNN算法可对K和F型恒星光谱快速自动分类和筛选,训练集数据量越大,模型泛化能力越强,分类准确率越高。对比实验结果表明采用CNN算法对K和F型恒星光谱自动分类较传统机器学习SVM和BP算法自动分类准确率更高。