共查询到20条相似文献,搜索用时 62 毫秒
1.
MapReduce是云计算技术主流的分布式计算模型,它充分利用计算机集群的处理能力;能对大规模数据进行高效的挖掘分析;在研究MapReduce模型架构的基础上,将云计算技术与数据挖掘技术结合在一起,提出了基于MapReduce模型的Apriori算法;该算法对事务集和项集进行双重二进制编码,只需"与"运算和"或"运算,提高了模式匹配和连接的效率;试验结果表明,该算法执行效率比传统集中式Apriori算法有很大幅度的提高。 相似文献
2.
针对网络安全态势评估过程中存在数据源单一、实时性不强、准确率不高的问题,提出一种基于改进关联规则算法(Apriori算法)的网络安全态势感知方法。通过对数据的分析,发现在网络中存在关于安全态势的关联规则;通过网络攻击影响熵值序列的分析,对关联规则进行分类为空间正常和异常空间,进而对关联规则进行聚类分析;根据聚类后的规则划分网络安全态势等级。将改进后的算法应用到网络安全态势感知当中,实验结果表明,该方法满足了网络安全危险预警和实时监控的要求。改进的算法用于安全态势感知是可行的、有效的。 相似文献
3.
从海量天体光谱数据中挖掘光谱数据特征和物理化学性质之间内在的、隐含的相关性,是人类探索天文规律的一种有效方法。利用基于约束FP树的关联规则挖掘方法作为天体光谱数据相关性分析手段,采用VC++和Oracle9i作为开发工具,设计与实现了天体光谱数据相关性分析系统,给出了其系统的软件体系结构和模块功能,并对光谱数据预处理、背景知识表示、CFP树构造、频繁模式提取及关联规则生成等关键技术以及关键模块的实现技术,进行了详细描述。系统运行结果表明,利用关联规则来描述、分析天体光谱数据特征和物理化学性质之间存在的相关性,是可行的和有价值的,从而为寻找天体规律提供了一种有效手段。 相似文献
4.
5.
6.
基于Isomap算法的恒星光谱离群点挖掘 总被引:1,自引:0,他引:1
如何从已分类的海量光谱中发现被错分的光谱一直是天文数据处理专家重点研究的问题,探讨的Isomap算法在该问题方面有很好的表现。通过Isomap算法与主成分分析方法(PCA)算法的实验结果对比发现:(1)PCA将具有不同特征的光谱投影到邻近的区域,而Isomap算法却可以将具有相似特征的光谱投影到邻近区域,而将具有不同特征的光谱投影到相距较远的区域;(2)Isomap算法给出的大部分离群点较易判断,且是具有很高科学价值的双星;而PCA给出的离群点难以判断,科学价值不高。因此,在光谱离群点发掘上Isomap算法比PCA有明显优势。由于使用的数据为SDSS最新发布的M型的九种光谱次型的光谱,因而Isomap算法能够快速发现被斯隆数字巡天数据处理流程(SDSS pipeline)错分的光谱,可帮助有效提高现有光谱分类算法的准确率。更进一步,由于被SDSS pipeline错分的光谱大部分是双星,因而Isomap算法还可以进一步帮助我们发现有很高科学研究价值的双星,提高双星的发现效率。虽然实验显示Isomap算法对信噪比变化较为敏感,在具有较低信噪比的光谱上表现较差,但由于信噪比低的光谱的光谱型难以判断,因而该缺点并不影响Isomap算法的在光谱发掘上的应用。 相似文献
7.
8.
9.
为了提高异构式分布下的internet数据的利用率,增加internet的多样化使用功能和数据传输率,减少internet运行的时间,需要对异构式分布下的internet数据进行挖掘。当前的数据挖掘方法多是先采用SOM系统的可视化功能对异构式分布下的internet数据进行聚类,然后根据聚类结果的计算完成对异构式分布下的internet数据挖掘。但该方法存在操作过程复杂,internet数据经常性丢失的问题。为此,提出了一种基于本体论的异构式分布下的internet数据挖掘优化方法。该方法首先对异构式分布下的internet数据进行预处理选取出数据特征,并利用特征选择决策系统对挖掘数据进行特征选择,在此基础上利用信息熵实现异构式分布下的internet数据的过滤,过滤过程中通过信息熵数据过滤的理论值减小的变动,得到最佳数据过滤值,最后以预处理中获得的各项数据信息为基础,采用决策树生成算法中的信息增益值的迭代计算结果对异构式分布下的internet数据进行高精度挖掘。仿真实验结果证明,所提方法提高了异构式分布下的internet数据操作的灵活度,增加了internet数据的可循环利用率,使异构式分布下的internet操作更加简洁化、高效率化,为该领域的研究发展提供了强有力的依据。 相似文献
10.
针对当前多无源传感器数据关联算法构造关联代价时,未考虑位置估计不确定性所引入的误差,提出一种基于位置估计不确定性的被动传感器数据关联算法;首先通过量测与伪量测概率密度函数之间的瑞利熵构建关联代价函数,以准确描述两个相似的概率密度函数之间差异,然后通过具体实验测试本文算法的有效性和优越性;实验结果表明,相对于当前经典的数据关联算法,文章算法提高了数据关联的正确率和速度,具有更高的实际应用价值。 相似文献
11.
针对小型四旋翼无人机姿态解算数据精度低、缺少余度控制、易发散等问题,提出一种基于GPS、三轴陀螺仪加速度计、三轴磁力计的随机加权自适应滤波算法估计无人机姿态。建立四旋翼无人机姿态旋转矩阵,搭建加速度计和磁力计获取无人机姿态信息的模型,以及采用四元数解算法的陀螺仪定姿解算模型。采用随机加权自适应估计法,依据多元函数求极值定理,在保证总体均方差最小的情况下导出最优随机加权因子,进而解算出姿态角信息,提高四旋翼无人机姿态解算滤波精度与稳定性。仿真与试验结果表明:随机加权自适应滤波与平均值滤波算法相比解算精度更高,输出结果更平稳,且无人机各项预期功能均能正常实现,能够满足四旋翼无人机自主飞行的需要。 相似文献
12.
针对目前各行业数字化、智能化产品应用日趋广泛,数据的获取、传输、分析、应用尤为重要,如何避免采集设备接口单一、功能固定、实用性差等缺点,提出采用ARM嵌入式工控模块M9080-N20为基础,采用VK3266串口芯片扩展UART串行接口,提出基于73K222AU调制解调器、HR219307变压器实现采集器二线模拟通信,并支持以太网、CAN总线和UART串行通信,可以有效解决数据远程采集、传输和控制,适用于特殊环境设备故障检测、诊断和抢修。实验结果证明,智能数据采集器不仅具有多种型号设备故障诊断功能;还能实现野外快速通信组网,不同类型设备数据远程采集、传输、分析和控制功能,在军民融合产品上具有广阔的应用前景和实用价值。 相似文献
13.
14.
随着空中交通管理技术的发展,1090MHz扩展电文(1090ES)数据链已经成为承载地空通信、空空通信的重要数据链,在民用航空及通用航空领域得到了广泛应用。传统的二次雷达或ADS-B地面站设备大而沉重,为了构建便携、低成本的1090ES数据链数据采集系统,提出了一种基于Android智能终端和广播数据采集板卡的解决方案,利用1090MHz天线接收广播信号,由单片机(PIC18F2550)实现模数信号转换,通过USB-OTG接口发送至Android智能终端;开发了数据采集APP,实现数据的融合解译、数据采集以及航空器的飞行监视。经测试验证,系统能够有效采集1090ES数据链公开协议航空数据,覆盖范围超过150公里,即插即用,应用前景广泛。 相似文献
15.
为了保证Hadoop平台的安全性,确保执行MapReduce作业的TaskTracker节点符合Hadoop平台的安全管理要求,杜绝非法用户对TaskTracker节点访问并对其分配任务,提出了一种对JobTracker节点进行身份认证的方法,设计实现了对JobTracker节点进行身份认证的认证体系。该认证体系主要是基于802.1x进行准入控制,重点分析了MapReduce分布式计算的流程,提出了总体设计方案,完成了相关模块的配置实现,最终结果显示只有通过认证的JobTracker才能通过交换机的可控端口给相应的TaskTracker节点分配任务,有效地避免了非法用户的访问,增强了Hadoop平台的安全性、可靠性,为建设安全的大数据环境提供了很好的技术支持。 相似文献
16.
针对基于相关函数的波达方向(Direction of Arrival, DOA)估计方法在冲击噪声环境下性能下降明显甚至失效的问题,提出基于相关熵 (Correntropy)的二维ESPRIT算法。该方法利用相关熵在冲击噪声环境下具有鲁棒性的优点,将受干扰信号的自相关函数替换为相关熵函数,并结合二维ESPRIT算法实现在冲击噪声环境下进行二维DOA估计。仿真表明,与基于分数低阶统计(Fractional Lower Order Statistics, FLOS)算法相比,该算法呈现明显优势,特别在高的冲击噪声条件下 能对信源方向进行更加有效的估计,且均方误差值仍保持很低。 相似文献
17.
近年来,工作流技术越来越多的应用于软件程序中,与之相关的新工作流语言以及工作流引擎也得到了快速的发展。但是,目前辅助工作流应用软件的测试方法仍显不足,特别是工作流引擎测试方面还存在着严重的局限性。为此,本文提出了基于模型测试的方法对工作流引擎进行测试,此外,还引入了抽象测试框架的概念,将其应用到工作流的测试上,它能够为工作流引擎构建测试环境和测试套件。最后,在Cumbia平台上搭建的一个工作流引擎上进行应用,说明了基于模型的测试方法和抽象测试框架可以有效应用于工作流引擎的测试。 相似文献
18.
为满足FP系列流速仪的计量检定需求,提出了一种小型便携式流速仪检定系统的设计方案。根据匀速运动时间等约束条件确定了环形水槽的几何参数。采用FPGA和上位机作为数据处理和控制核心,实现了对伺服电机转速的精确控制。设计了光电编码器和无线摄像机与上位机之间的通信方式,实现了检定装置标准流速值和被检仪器示值的数据读取。对测试数据的处理方法和测控软件的结构框架进行了分析。同时,对实验装置的测量误差进行了分析。结果表明,标准流速值的扩展不确定度为1.28×10-3m/s,检定装置符合量值传递要求,可作为FP系列流速仪计量检定的标准装置。 相似文献
19.
提出了一种基于多方向、多尺度Top-hat变换的图像边缘检测方法,应用于阻塞性睡眠呼吸暂停低通气综合症(Obstructive Sleep Apnea Hypopnea Syndrome, OSAHS)早期病理图像的边缘检测及诊断。首先,构造不同方向、不同尺度的Top-hat算子增强图像的对比度,利用形态学梯度进行边缘检测,然后把各个算子检测到的图像边缘按照一定的权重进行组合,得到理想的边缘,以便准确地获得病理图像的相关参数,进而实现医学电子诊断。本文以口腔图像、咽喉声带处图像、鼻道内部图像的处理为例,这三组图像的处理结果表明,与传统的边缘算子相比较,该方法能使图像的边缘信息更完整、更准确,图像的边缘闭合度可达到97.67%。 相似文献
20.
在电力系统中,利用计算机视觉和图像处理技术对输电线路的进行检测,在保障电力系统的安全运行方面具有非常重要的作用。针对复杂背景下的输电线路,本文提出了一种基于切比雪夫多项式描述子输电线路提取算法,该算法首先对输入图像进行预处理,其次利用随机Hough 变换提取图像中的直线和曲线,然后利用切比雪夫多项式描述子的曲线描述优势,对所提取的对象进行特征描述,为了提高提取的精确度,通过K-means聚类分析方法来训练视觉字典,通过视觉字典的比对,最终确定图像中的输电线路。实验结果说明了本文方法可以精确地提取复杂背景下的输电线路。 相似文献