基于数据挖掘的光纤通信网络异常数据检测研究

为了提高光纤通信网络中异常数据的识别能力,提出了基于熵目标函数最优化的异常数据检测算法。首先,对数据样本进行属性分类,依据异常数据特征密度指标完成邻域区间半径的选取;其次,通过对高阶统计量的大数据聚类度循环迭代,完成特征提取参数的优化;最后,由样本属性概率计算熵目标函数的最优值,并利用最优值完成异常数据检测。实验对1 000组通信数据进行测试,结果显示,该算法的检测精度均值约为95.7%,其数据融合率、检测耗时与平均误检率均优于2种传统方法。该算法具有精度高、收敛快、误检率低的优势,具有一定的应用价值。     

基于大数据的配电网馈线故障智能识别定位方法研究

配电网故障识别、分类与定位对快速隔离故障和保证电网安全运行具有重要意义。以大数据驱动法为基础,提出了最少测量单元选择和区域最佳节点选择两种算法,两种算法基于分类特征评估法,在节点的选择策略上有所不同。分别使用决策树分类器和随机森林分类器验证算法性能,在仅使用7%的节点数据时算法1的最高准确率达91%,算法2使用16%节点数据的最高精度达到85%。实验结果表明,提出的算法无需使用全部节点的数据,可以在系统观测性较低的情况下,实现配电网馈线故障线路智能识别定位,具有测量节点数量少、准确率高等优势。     

基于多区间映射评价优选的光谱数据融合显示算法

研究降维、去冗后光谱数据色彩显示问题。传统的光谱数据色彩显示时,常采用截取或压缩至0~1范围进行映射,容易丢失图像细节,提出一种基于多区间平移映射评价优选方法的光谱数据色彩融合显示算法。首先对光谱数据立方体进行主成份变换,将前三成分分别赋值给对色空间的黑白通道、红绿通道和黄蓝通道,然后经过空间变换到sRGB空间,将数据分段平移到0~1范围,映射至8位RGB空间,并对每次平移映射图像进行标准差、熵、平均梯度的单项评价,全部平移结束后,对所有的评价值进行综合评价,选取综合评价值最高的区间输出映射。实验结果表明,融合图像能最大限度地保证图像的能量、信息和清晰度,有利于人眼的快速识别判断。     

基于机器学习的轨道校正方法

轨道校正是加速器束流调节最基本的步骤之一,也是目前各加速器实验室共同面对的问题之一。在传统方法中,线性代数工具被应用于各种类型的响应矩阵,以解决响应矩阵的奇异性等问题。提出一种基于机器学习的加速器轨道校正方法,可以避免处理响应矩阵的问题通过直接读取BPM数据和校正磁铁强度值实时构建机器学习模型快速地对轨道进行修正。对机器学习的轨道校正方法进行了介绍,并从数学公式、算法模型、在模拟和真实数据上的测试等方面对该方法进行了讨论。结果表明,在误差范围内该方法能有效的对加速器束流轨道进行校正。     

基于启发式算法的异常用电检测研究

随着社会经济的高速发展,电网规模不断增大,电网容量不断提高,电力损耗问题日趋严重,为了合理高效地利用电力,对于网用电量异常的研究十分关键。针对电网用电量异常的问题,对某城市一区域电网用电量数据进行逻辑分组聚类预处理,并运用启发式算法构建两种针对性的启发式模型。利用从电网部署的检测仪表收集到的数据进行实验验证,结合启发式算法进行检测,异常用电情况下的相对异常指数较正常情况扩大6～10倍,能够对电网的异常电量使用现象有较好的识别与检测能力,验证了所提出方法的有效性。     

基于多传感器融合的摔倒检测算法的研究

针对传统摔倒检测算法中误报和漏报率高的不足,提出一种基于多传感器融合的摔倒检测算法。该算法分别以人体的加速度和姿态角值为判定依据。首先,采用三轴加速度传感器和电子罗盘对上述两种数据进行采集,并通过无线模块发送至PC机。之后对采集数据进行分析和处理,进而根据阈值进行异常姿态检测。最终,综合加速度和姿态角的分析结果给出准确的检测结论。实验结果表明,该算法检测的准确率达99.2%、与传统检测算法相比具有更强的稳定性与可靠性。     

基于信息熵的变星光谱快速识别方法

变星对人类研究宇宙的起源与发展具有重要意义,对于变星研究的困难首先源于对变星的筛选和识别,即如何从海量恒星光谱数据中有效识别变星光谱。传统的异常数据定义试图通过不同的方式寻找异常数据与一般模式之间的偏差,进而予以定量分析和筛选。然而,这种方法的时间复杂度过大,且结果存在不可理解和无法解释的问题。文章利用熵可以反映系统有序程度与稳定程度的特性,引入信息熵作为衡量数据集一般模式的标准,提出了基于信息熵的变星光谱快速识别方法。该方法显著降低了算法的时间复杂度,有效地消除了人为主观因素对识别结果的影响。采用国家天文台提供的Sloan数字巡天数据实验验证了该方法的可行性和有效性。     

改进的对向传播网络及其在多传感器目标识别中的应用

针对多传感器数据融合和目标识别的特点,提出了改进的对向传播网络(MCPN),并与Dempster-Shafer(D-S)证据推理相结合,实现了决策层数据融合目标识别.文中利用仿真数据对所提出的网络训练算法和融合结构进行了实验研究.结果表明:改进后的对向传播网络识别性能优于传统的对向传播网络(CPN),融合后的目标识别率较单传感器明显提高.最后,将该方法应用于前视红外(FLIR)和可见光摄像机目标跟踪系统对算法和融合结构进行验证,结果表明文中提出的方法是可行的.     

基于稀疏子空间的类星体光谱异常特征并行提取与分析

类星体是人类所观测到的最遥远天体,对于了解早期宇宙的演化具有重要科学意义。由于类星体距离地球较远,其红移一般较大,导致在光学观测窗口中只有很少的特征（发射线）,且难以识别。类星体光谱的异常特征提取与分析可对未知类星体的识别,提供有效的判别依据。离群检测作为数据挖掘领域的一个主要研究内容,旨在发现那些稀有、特殊数据对象及异常特征,可作为从海量类星体光谱数据中,发现特殊、未知类星体的一种有效途径和手段。Spark作为新一代大数据分布式处理框架,可为海量天体光谱的有效分析和处理,提供一个高效且可靠的并行编程平台。本文充分利用集群系统和Spark编程模型的强大数据处理能力,提出一种基于稀疏子空间的类星体光谱异常特征并行提取与分析方法,其工作由三个模块组成,即类星体光谱特征约减、类星体光谱的稀疏子空间构造和搜索、类星体光谱异常特征提取并行算法设计与分析。类星体光谱特征约减模块,通过属性相关性分析来识别呈现聚类结构的类星体光谱特征线,这些特征线通常会聚集在稠密区域且对类星体光谱异常特征检测毫无意义。光谱特征约减旨在运行异常特征检测算法之前剪枝类星体光谱的冗余特征线,缩小光谱数据检测范围。类星体光谱的稀疏子空间构造和搜索模块,通过设定的稀疏系数阈值来测量类星体光谱的子空间密度,并采用粒子群优化方法作为稀疏子空间的搜索策略,从而快速、高效地获取类星体的异常特征。在第三个模块中,提出了一种MapReduce框架下的类星体光谱异常数据并行检测算法,该算法由并行化数据约减策略、稀疏子空间并行搜索技术两个MapReduce构成,达到适应海量光谱数据的处理目标。最后对检测出的部分类星体异常特征进行了理论分析、测量及人眼证认,充分说明稀疏子空间可为识别特殊、未知类星体候选源,提供有效支持和有力证据。     

星图识别算法的优化设计与实现

在INS／CNS组合导航系统中,为了有效实时地用CNS的输出姿态信息校正INS的陀螺漂移,必须提高CNS中星图识别算法的运行速度。提出了一种改进的三角形星图识别方法,基三角形识别成功后,增加一颗附加检测星,计算出附加检测星和基三角形的三个星点的角距值。分析结果表明传统的星图识别算法在主频为600MHz的DSP6414上运行需要300ms左右的时间,算法改进后,只需40-80ms,数据输出率提高到10Hz。改变的算法在不存在伪星的情况下成功识别率近100％,存在伪星时,可以有效去除伪星。同时,解决了传统星图识别算法在嵌入式系统中实现难、耗时长的问题。该算法可以实时地校准惯导系统的误差。     

基于特征级融合的多波段舰船目标识别方法

针对复杂情况下海上舰船目标单波段特征识别能力不足的问题,研究可见光、中波红外和长波红外三波段特征图像融合技术,重点解决图像融合方法中存在的算法耗时和融合策略选择的问题,提出了一种新的基于区域协方差矩阵的多波段特征级融合方法,针对可见光图像和红外图像分别设计11维和5维特征向量,协方差矩阵可以将多个特征进行融合,既保证了不同目标之间的区别性,同时又减小计算量。该方法首先利用显著性检测,快速定位图像中的目标区域,然后,针对不同波段图像设计的特征向量定义协方差阵的距离计算公式并进行匹配,通过对图像的一次遍历操作获得积分图像,在协方差计算时达到快速计算的目的,最后利用k-阶最近邻算法对多种舰船目标进行分类识别。利用实拍的3 400余张三波段舰船目标图像作为测试数据。实验主要分为两部分,首先对比单波段和三波段融合识别的识别率,验证所提出的融合方法具有更广的应用范围;然后,在计算效率上对比多种传统的像素级方法,验证采用的特征级融合在计算时间上的优势。实验结果表明,该方法可达到95.1%的识别率,单帧计算耗时约为0.5 s,在实时性和检测率方面都有明显提高。     

一种背景误差累积的高光谱图像异常检测算法

针对背景信息对高光谱图像异常检测的强干扰问题,提出了一种背景误差累积的异常检测算法.该算法通过构造背景子空间,利用各像素到该子空间的正交投影,得到有效抑制背景并突显目标的背景误差数据,用于后续的异常目标检测.最后用真实的高光谱数据进行仿真实验,理论分析比较和实验结果表明该算法具有较好的检测效果.     

一种背景误差累积的高光谱图像异常检测算法

针对背景信息对高光谱图像异常检测的强干扰问题,提出了一种背景误差累积的异常检测算法.该算法通过构造背景子空间,利用各像素到该子空间的正交投影,得到有效抑制背景并突显目标的背景误差数据,用于后续的异常目标检测.最后用真实的高光谱数据进行仿真实验,理论分析比较和实验结果表明该算法具有较好的检测效果.     

基于多模态数据特征融合的舰船识别算法研究

在复杂海域场景下如何综合利用舰船监测的多模态数据进行高效特征提取和特征融合，以此来综合提升舰船识别精度仍存在巨大挑战。针对海域环境中舰船单一数据源识别准确率问题，提出一种有效的多模态数据特征提取和特征融合的舰船识别算法，然后基于深度残差网络模型进行特征融合以提升舰船识别准确率。通过实验结果对比，相比于其他算法基于多模态数据的舰船识别算法平均准确率提升约18%，有效地提升了舰船识别准确率，对相关船舶领域的研发工作具有借鉴意义。     

彩色图像边缘检测及其在图像融合中的应用

提出了一种新的基于小波变换的彩色图像边缘检测方法,运用噪声和微弱边缘的识别以及动态双域值的选取,使得检测出来的边缘定位精度高,抑制噪声性能好。利用基于区域特征的信息融合策略,比较待融合图像的边缘点的值和区域能量特征值,选择特征突出者对应的原始图像区域组成融合结果。实验结果表明,该算法可以良好地保留两幅图像的细节信息,得到高质量的融合图像。     

采用多项式递归核的高光谱遥感异常实时检测算法

高光谱遥感目标检测是遥感信号处理领域的热点问题,基于核机器学习的KRX算法能充分利用高光谱波段间的非线性光谱特性,在原始光谱的特征空间进行探测,能够获得较好的检测效果。针对KRX算法检测过程计算复杂、不能满足快速处理要求的缺陷,引入了卡尔曼滤波器的递归思想,提出了一种核递归的高光谱异常目标检测算法。从光谱分析的角度,应用Woodbury引理从上一时刻的状态迭代更新当前像元的Gram核矩阵,避免了高维矩阵数据重复计算。实验结果表明,与传统RX、因果RX和KRX等算法相比,在检测精度有所提高的同时,大大缩短了算法检测时间,提高了异常目标检测效率。     

物联网环境下Web数据库异常数据检测方法研究

物联网环境下web数据库网络承载着不同的网络载体和网络信道,web数据库通过云储存的形式来实现资源共享,云储存产生的异常数据会给网络信息web数据库空间带来一种危机感和存储数据容量空间的不足,所以对物联网环境下web数据库异常数据的检测要求更精准。传统的异常数据检测方法采用简化梯度方法进行web数据库异常数据检测,对含有干扰频率成份的web异常数据不能准确的去除,检测性能低。为此,提出一种基于时空关联的分布式的web数据库异常数据检测方法,通过与集中式算法的精度和消耗量进行对比,仿真实验表明,所提方法进行异常数据检测,减少了web数据的能量消耗,信号幅值大于干扰噪声数据幅值,具有较好的抗干扰性能。     

矿石拉曼光谱模型拟合分类方法

拉曼光谱因具有简单、快速及无损等特点,非常适合矿石的分类与鉴别。拉曼光谱模型拟合分类方法无需构建参考光谱库且避免了复杂的逐项光谱匹配,具有明显的优势。然而,已有的基于机器学习及深度学习的矿石拉曼光谱分类研究所采用的学习模型比较单一,缺乏具有参考意义的综合比较。对基于机器学习及深度学习的矿石拉曼光谱模型拟合分类方法进行综合评估验证,对比了KNN, XGBoost, SVM, RF四种传统机器学习方法和CNN, DNN, RNN三种深度学习模型在RRUFF矿物拉曼光谱数据集上的分类效果,验证了4种数据预处理方法和样本量对模型分类效果的影响。为提升机器学习模型的分类性能,本文还提出了一种拉曼光谱强度曲率的数据预处理方法,对经基线矫正后的拉曼光谱序列强度计算曲率作为构造特征,使模型更有效的提取出拉曼光谱的特征峰位置。实验结论：数据预处理对提升机器学习模型的分类性能效果明显,而对深度学习模型不敏感;样本量为影响模型分类效果的关键因素,当样本量较大时,深度学习模型的分类效果优于传统的机器学习模型;对于微小样本,深度学习模型难以发挥其优势,而辅以预处理的机器学习具有更优的分类性能。     

联合微光辅助红外遥感数据的夜间微小火点识别算法

基于美国国家极地操作环境（NPP）卫星可见光红外成像辐射仪（VIIRS）的红外和微光遥感数据开展夜间火点检测识别研究,并提出一种联合微光辅助红外遥感数据的夜间微小火点识别（FRJLI）算法。首先,采用VIIRS多天数据融合获得研究区的城市灯光背景图,为火点检测消除城市灯光影响;然后,在传统红外通道火点识别算法的基础上,联合微光通道的火点阈值调试,通过多通道阈值判别、绝对火点识别和上下文判别得到最终的识别结果。以韩国2022年3月4—13日森林火灾和蒙古国2022年4月18—19日草原火灾案例进行实验,根据夜间假彩图和植被指数验证了FRJLI算法识别火点的正确性,分析每天识别火点的亮温和辐射值关系,得出红外与微光数据的相关性及敏感性差异,FRJLI算法较NASA官方火点产品或其他火点算法结果具有更高的识别质量,特别是提高了微小火点的识别率,为更高效准确地识别火点提供了技术支持。针对森林和草原火点的识别效果表明,该算法适用性更广。     

基于BSS和BPNN-DS算法的光纤入侵传感网络信息的高精度识别

采用传统单路传感光纤实现对信息特征的测量,常由于交叉敏感等不可控因素使测量数据出现异常值,导致信息分析偏差较大,识别准确度低。因此,提出了一种基于双相干谱、样本熵和奇异值分解(BSS)和反向传播神经网络(BPNNDS)算法的多路光纤入侵传感系统信息的特征提取与识别方法。针对含3路传感光纤的布里渊光时域反射(BOTDR)传感入侵检测系统,该方法利用BSS算法分别对不同入侵类型的多路信号进行特征提取;采用BPNN算法对不同入侵振动特征矢量进行分类;经Dempster Shafer(DS)证据理论算法对多路传感光纤的时空信息进行融合。数值分析与仿真实验结果表明,提出的信息提取方法可以有效提取出多路传感网络的信息特征,且使用BPNN-DS证据理论的多路信息融合方法能够准确识别多路入侵传感网络的信号类型,具有较高的准确度和可信度。