异构环境下基于双重预取的Hadoop调度算法

Hadoop处理海量数据时,无论是Map任务还是Reduce任务都需要耗费大量的时间传输数据,故提出一种基于双重预取的调度算法;该算法通过估算节点上任务执行的进度来预测Map任务的执行节点,然后通知节点提前预取所需的数据,并且在Map任务完成的数量达到预定值时,开始为Reduce任务预取部分数据;由于在异构的环境下集群中节点的性能各不相同,为此采取了改进的预测模型,以提高任务进度判断的准确性;实验证明,本算法在作业响应时间等方面优于现有的调度算法。     

云计算Hadoop平台的异常数据检测算法研究

近年来,随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入,云平台下的数据处理已成为大规模数据的主要处理方式。但是,现有的云计算Hadoop平台在海量数据异常涌入状态下,常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题,造成无法对上述异常数据进行有效检测处理,严重影响云计算Hadoop平台的数据运算准确性。针对上述问题,提出云计算Hadoop平台的异常数据检测算法研究方法。采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决。通过仿真模拟实验证明,提出的云计算Hadoop平台的异常数据检测算法研究方法,具有异常数据识别率高,准确性高,速度快、可实施性强、稳定性好的特点。     

基于Hadoop社交网络分析平台的设计与实现

随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题。针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化。最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。     

基于Hadoop平台的地铁NCC数据中心方案研究

线网指挥中心是地铁管理控制中的承上启下的重要环节,接入线网各线路的控制中心,实时的监测线网整体的运营状况。并通过与上级政府交通管理部门系统的对接,将相关数据提交至交通管理系统,配合交通管理部门的工作。数据中心是线网指挥中心的核心环节,存储线网所有线路的生产数据和业务数据。目前线网指挥中心的数据中心都是基于传统的数据仓库的架构来创建的,而随着线路的不断增多,数据的种类和数量都在不断增加,传统数仓暴露出成本高,扩容难,维护困难的缺点。本方案提出的基于Hadoop大数据平台的数据中心建设方案,极大了降低了使用和维护成本,Hadoop生态圈包含了各类的组件模块,能够解决建设和使用中遇到的各类问题,提高了数据中心的性能。     

基于Hadoop的农产品安全监控平台的设计

针对当前传统数据库已经不能满足海量农产品安全监控信息的存取及处理需求,借鉴Hadoop平台的分布式文件系统和Map/Reduce并行计算方法设计了农产品安全监控平台的框架,在此基础上,提出了一种用于监测农产品各项指标的Map/Reduce算法;最后通过Linux集群技术,搭建了一个基于Hadoop的农产品安全监控数据存储处理实验性平台,该平台能够有效地对海量农产品数据进行及时存储与处理。实验最终结果表明,相比传统的数据库,该平台能够大幅提升海量农产品数据的吞吐率及数据处理性能,由此验证了平台的合理及有效性。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

基于Hadoop大数据平台和无简并高维离散超混沌系统的加密算法

针对目前大数据环境中存在的数据安全问题,提出一种基于Hadoop大数据平台和无简并高维离散超混沌系统的加密算法.算法采用流密码对称加密方式,在Hadoop平台上读取存储于HDFS(Hadoop distributed file system)的大数据,进行分片处理和MapReduce编程后,用Map函数实现数据并行加密和解密,通过Reduce函数实现数据的合并操作并存储于HDFS.该算法具有较好的执行效率.与正李氏指数发生简并的低维混沌系统相比,无简并高维离散超混沌加密算法能提高系统安全性能,李氏指数均为正并且足够大,具有更好的统计特性,可通过严格的TESTU01测试,并行加密的密文之间互相关性很小.密钥参数众多使得估计或辨识难度增大.在密文闭环反馈条件下,具有抵御已知明文攻击和选择明文攻击的能力.     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

基于Hadoop的GA-BP网络在山洪预测中的研究

研究了山洪灾害监测预警系统中雨情数据的分布式存储和分布式预测。针对采集到的水文数据急剧增长和对预测精度和预报时效的要求不断提高,分别应用Hadoop分布式文件系统对数据进行分布式存储和 MapReduce框架结合遗传算法优化神经网络的权值和阈值进行分布式预测。采用基于BP神经网络的多因子山洪灾害雨量预测模型,结合遗传算法能够实现全局优化特点来优化神经网络的权值和阈值,并在数据并行处理过程中,采用了批处理和MapReduce工作流的方式,以误差和准确率来评估预测模型,解决了神经网络在处理海量数据时训练时间长等问题。实验表明,该方法可以在不影响准确度的前提下,大大缩短运行时间,提高预测效率。     

物联网技术平台在车间作业调度中的应用

通过物联网的原理和架构,对其关键技术进行研究,构建以物联网关键技术为基础的运营平台;对网络环境下的车间作业调度系统进行分析和研究,结合物联网技术平台,利用平台中的RFID等信息传感设备将采集到的车间底层信息通过无线传感器网络传送到中央信息系统,实现对待加工零件的实时信息采集和识别,进而通过开放式的计算机网络循环结构实现车间底层、管理层和用户层的信息交换和共享;车间现场数据采集的实时化、自动化和可视化使企业信息实现全程"透明"管理,实时监控生产加工过程,为企业在智能生产领域的长远发展提供了重要依据。     

Small target detection based on accumulated center-surround difference measure

Small target detection is a critical problem in the Infrared Search And Track (IRST) system. Although it has been studied for years, there are some difficulties remained due to the clutter environment such as the cloud edge and the horizontal line. In the homogeneous area such as sky, cloud-inner area and sea surface area, target can easily be detected, but in heterogeneous area which contains cloud edge, sky-sea line the target may be falsely detected. This paper proposes a novel method called accumulated center-surround difference measure to detect infrared small target in heavy clutter. Each pixel’s accumulated center-surround difference measure is computed by using sliding window manner. The measure can effectively distinguish target region and heterogeneous region. Experimental results show our method achieves better performance.     

现代数字物理教学连载⑩——在数字技术平台上的研究式学习

介绍了大学物理教学中,如何利用数字技术平台引导学生进行自主的研究式学习.首先是知识的拓展与转移,接着是教师指导下的研究与探索,最后是学生自主独立的研究与创新.实践证明,我们创造的这一教学方法对于培养学生的科学素质与能力十分奏效.     

基于STM32的故障电弧检测装置设计

检测负载电流信号特征是判断低压配电线路中是否发生电弧故障的有效方法之一。依据国家标准GB/T 31143-2014《电弧故障保护电器(AFDD)的一般要求》,搭建模拟串联故障电弧实验平台,研究故障电弧发生时电流波形的特征,并采用db4小波函数作为小波基函数,对降噪后的电流波形进行小波分解重构,提取小波高频分量,计算小波高频分量的周期方差值,将周期方差值作为主要特征值来进行电弧故障检测;为了在硬件上验证该检测算法的可行性和有效性,将电弧故障检测算法移植到STM32平台,设计了基于STM32的故障电弧检测装置,该装置可以实现电流信号采集、数据处理和串联电弧故障检测识别功能。在以阻性负载、LED灯、吸尘器和微波炉为屏蔽负载的实验结果表明,该装置能够检测出串联电弧故障,且可靠性高,不会在没有产生故障电弧的情况下产生误判。     

基于Shark-Hartmann理论的波前探测技术研究

精确的波前探测是反射镜面型检测及光束波前畸变测量的重要依据,论文根据Shark-Hartmann理论对波前探测技术进行了模拟和实验研究。将平行光经过球面透镜/柱面透镜后形成的球面波/柱面波作为探测波前。实验采用商用的微透镜阵列和CCD搭建Shark-Hartmann传感器,利用实际光束作为参考光,避免了参考光的不准直性对实验的影响。模拟计算结果表明平均曲率误差为13.423 mm,实验结果实现了对球面/柱面/倾斜波的探测及复原。     

基于ACR9000控制器的自动光学检测平台设计 

针对自动光学检测（AOI）平台运行过程中的定位精度控制问题,提出了一种基于速度和加速度前馈控制与PID反馈控制的复合控制算法,该算法对输入量进行跟踪补偿控制以消除系统稳态误差,用于提高AOI平台定位精度。基于开放式的数控系统设计方法设计了AOI平台。在Matlab/Simulink环境下,构建了基于该复合控制算法的定位精度控制仿真模型,仿真结果验证了复合控制算法的有效性。将该复合控制算法作为ACR9000控制器的控制算法,并基于ACR9000控制器进行AOI平台实验研究。应用该AOI平台进行了印刷电路板（PCB）检测实验,实验结果表明文中复合控制算法能够提高AOI平台定位精度,AOI平台的定位精度满足印刷电路板检测要求,可以将该AOI平台用于印刷电路板检测。     

基于ODDD水下机器人故障诊断方法

近年来数据挖掘技术的快速发展使得利用水下机器人作业过程中积累的大量数据进行故障诊断成为可能。基于数据挖掘的故障诊断技术能够从数据中获取潜在的诊断知识。针对水下机器人推进器系统数据特征,提出一种基于聚类和距离的离群点检测方法(Outlier Detection based on DBSCAN and Distance,ODDD)。首先,对数据进行粗聚类,然后采用剪枝规则进行离群点检测,来实现故障诊断。仿真实验结果表明算法能够实现水下机器人快速有效的故障检测。