云计算Hadoop平台的异常数据检测算法研究

近年来,随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入,云平台下的数据处理已成为大规模数据的主要处理方式。但是,现有的云计算Hadoop平台在海量数据异常涌入状态下,常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题,造成无法对上述异常数据进行有效检测处理,严重影响云计算Hadoop平台的数据运算准确性。针对上述问题,提出云计算Hadoop平台的异常数据检测算法研究方法。采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决。通过仿真模拟实验证明,提出的云计算Hadoop平台的异常数据检测算法研究方法,具有异常数据识别率高,准确性高,速度快、可实施性强、稳定性好的特点。     

基于Hadoop和双密钥的云计算数据安全存储策略设计

针对原有的Hadoop平台仅通过CRC-32循环冗余校验保证数据存储的安全性,设计了一种基于双密钥和混沌信号的云计算安全存储策略;首先,介绍了原有的Hadoop框架下的数据存储对应的文件读写过程,并基于加密机制设计了改进的Hadoop数据存储模型,然后根据云存储数据量大和响应要求及时的特点,设计了一种基于双密钥的改进对称密钥算法,在传统的私钥的基础上加入动态公钥,并作为敏感函数的输入获得最终的密钥,从而实现明文的加密和密文的解密,最终定义了具体的基于Hadoop和改进双密钥对称加密算法的云计算安全存储算法;通过搭建Hadoop仿真实验平台进行实验,结果表明文中方法能有效地实现云计算环境下的安全存储,存储时间与其它方法相比少15%以上,具有安全性高和存储效率高的优点,具有一定的优越性。     

大数据环境下MapReduce准入控制的设计与实现

为了保证Hadoop平台的安全性,确保执行MapReduce作业的TaskTracker节点符合Hadoop平台的安全管理要求,杜绝非法用户对TaskTracker节点访问并对其分配任务,提出了一种对JobTracker节点进行身份认证的方法,设计实现了对JobTracker节点进行身份认证的认证体系。该认证体系主要是基于802.1x进行准入控制,重点分析了MapReduce分布式计算的流程,提出了总体设计方案,完成了相关模块的配置实现,最终结果显示只有通过认证的JobTracker才能通过交换机的可控端口给相应的TaskTracker节点分配任务,有效地避免了非法用户的访问,增强了Hadoop平台的安全性、可靠性,为建设安全的大数据环境提供了很好的技术支持。     

基于Hadoop的农产品安全监控平台的设计

针对当前传统数据库已经不能满足海量农产品安全监控信息的存取及处理需求,借鉴Hadoop平台的分布式文件系统和Map/Reduce并行计算方法设计了农产品安全监控平台的框架,在此基础上,提出了一种用于监测农产品各项指标的Map/Reduce算法;最后通过Linux集群技术,搭建了一个基于Hadoop的农产品安全监控数据存储处理实验性平台,该平台能够有效地对海量农产品数据进行及时存储与处理。实验最终结果表明,相比传统的数据库,该平台能够大幅提升海量农产品数据的吞吐率及数据处理性能,由此验证了平台的合理及有效性。     

基于云计算和物联网的网络大数据技术研究

为了使网络大数据应用的范围更广,更大程度地提高网络数据存储与管理精度,减少网络数据处理与控制的时间,需要对网络大数据进行研究。当前的网络大数据研究方法多是采用Hadoop基础架构对网络大数据进行研究,在数据存储中没有设定具体的安全存储指标,无法得到数据安全存储指标权重,存在数据存储安全性能低,网络大数据研究精度偏差大等问题。为此,提出一种基于云计算和物联网的网络大数据研究方法。该方法首先利用分级网络编码对网络数据进行传输,以传输的数据为基础,采用CRC算法实现网络数据的计算,然后依据分组存储的方式将数据进行存储,最后利用分层逆序叠加定位法对网络数据进行高精度查询,由此完成对网络大数据的研究。实验结果表明,所提方法可以全面具体地对网络大数据进行研究,提高了数据处理精度和网络数据计算速度,增加了网络数据存储空间容量和查询效率,减少了网络数据运行时的丢失率,扩展了网络数据的运作范围,为后续网络大数据的研究提供了强有力的依据。     

飞行仿真转台的软件控制系统设计

飞行仿真转台作为航空、航天领域中进行半实物仿真和测试的关键设备,在飞行器的研制过程中起着非常关键的作用。以五轴飞行仿真转台为研究对象,介绍了系统的软硬件平台设计体系,然后根据软件控制系统的基本原则,采用模块化设计,以通用性、安全性为出发点,采用面向对象的程序设计思想,分别从模式选择、实时显示、数据保存、精度补偿、状态监控、安全保护和网络通讯等7个方面阐述了其设计思想。该系统经过实际的联机测试和控制实验,证明稳定可靠,界面友好,达到了理想的效果。     

基于物联网的地铁区域安全监控系统设计

为更好的保障地铁行车安全,及地铁站内环境安全和对灾害事故的预防,需要对地铁区域安全监控进行设计。当前采用的方法是利用传感器获取的监控信号经过现场中心接口传送至监控中心,在监控中心完成对数据信号的采集分析,通过网络与数据中心进行数据通信,在监控数据中心中完成对数据参数的处理以及预警和报警等功能,并对地铁进行实时监控。虽然该方法成本较低,但存在监控数据过程中产生数据丢失问题。为此,提出一种基于物联网的地铁区域监控安全监控系统设计方法。该方法首先对地铁区域安全硬件系统进行设计,硬件系统主要由感知层模块以及网络层模块和应用层模块三部分构成,利用分段曲线算法对监控到的数据进行传输,以传输的数据为基础,结合粒子滤波对监控数据进行处理,以数据处理结果完成对地铁区域安全监控系统设计。实验结果表明,所提方法能有效地提高地铁行车的安全性,保证乘车安全,为地铁安全建设发展提供依据。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

可信计算模式下P2P匿名通信系统设计

为了提高P2P匿名通信系统的安全性与可信性,需要对P2P匿名通信系统进行设计。当前使用的匿名通信系统,无法在用户节点匿名的情况下,保证P2P匿名通信系统匿名节点的可信性。因此,提出一种基于可信计算模式的P2P匿名通信系统设计方法。该系统的硬件部分分为系统登录模块、通信模块、数据模块、可信计算模块4大模块,模块之间相互合作,形成一个完整的匿名通信系统,匿名通信系统软件设计部分通过建立可信计算的联接,实现在匿名通道中进行数据传递,并对待传递的数据进行层次性打包加密,同时采用可信度计算对匿名通信系统中节点、匿名通道进行计算,形成安全可信的匿名传递通道。实验仿真证明,该方法在保证该系统数据传递的效率的同时提高了匿名通信系统的安全性与可靠性。     

卫星遥测数据处理软件的Excel VBA实现

为解决航天领域遥测数据处理复杂、判读困难的问题,采用Excel VBA技术,设计了一种卫星遥测数据处理软件,利用该软件可以很方便地对卫星遥测数据进行分析和判读,得到各遥测量的曲线显示及变化状态,并能给出遥测异常时的报警信息;该软件运行于通用计算机平台,需要Office、Excel支持,它包括卫星遥测数据的处理分析和遥测数据的曲线显示两大部分;该数据处理软件的使用为卫星遥测数据处理提供了一种新方法,实现了卫星遥测数据处理自动化处理和判读,大大提高了卫星遥测数据的分析判读效率,该软件现已成功应用于某型号卫星的遥测数据分析系统。     

基于多维评价模型及改进蚁群优化算法的云计算资源调度策略

针对云计算环境下资源调度模型未充分考虑资源评价的问题,为更好适应不同节点计算性能和大规模数据环境的处理需求,提出了一种基于多维评价模型的虚拟机资源调度策略。首先,在云计算环境下建立包括网络性能在内的多维资源评价模型,在此基础上提出一种改进的蚁群优化算法实现资源调度策略;然后在云计算仿真平台CloudSim上进行实现。实验结果表明,该算法可以更好适应不同网络性能的计算环境,显著提高了资源调度的性能,同时降低了虚拟机负载均衡离差,满足了云计算环境下的虚拟机资源负载均衡需求。     

云计算技术在未来智能电网信息处理平台中的应用

未来的电网将会是一个高度自动化、智能化的电网,如此一个庞大、复杂的系统从发电、输电一直到变、配、用电的过程时刻都会生成海量的电能信息及设备运行状态数据,这就需要一个强有力的信息处理平台作为支撑,且这个平台应具有对海量数据的可靠存储、准确分析、实时同步更新及共享的功能,尤其是音视频等异构数据的分析与处理.云计算技术在大数据处理中具有得天独厚的优势,本文将云计算技术引入到未来智能电网的信息处理平台的建设中,针对未来智能电网信息处理平台的各项功能需求,对比目前电网信息处理平台的诸多瓶颈进行深层次的探讨,证明了将云计算技术应用到未来智能电网信息处理平台中的可行性。     

基于NAS的私有云存储平台的设计与实现

随着大数据时代的到来与高速网络建设的快速推进,数据化网络资源共享已渗透到人们的日常工作、学习、生活当中。数据网络化储存、多人资源共享成为现代信息传播与保存的重要方式。但是,网络储存平台的安全性一直令使用者担忧。因此,各种各样的私有云储存平台孕育而生,为使用者提供相对独立的个人使用空间。经过长期的使用发现,传统的私有云存储平台虽然可以达到一定的安全性,但是,安全性只相对公共开放网盘而言。同时,存在多用户瞬时访问下协议拥堵、大数据交互节点回馈延迟高的问题。针对传统私有云的架构特点与问题产生原因,提出基于NAS的私有云存储平台的设计与实现方法。采用基于NAS的协议加密技术、多路访问优化单元、数据压缩单元对传统私有云存在的问题进行针对性解决。通过仿真实验证明,提出的基于NAS的私有云存储平台的设计与实现方法,具有数据储存安全性高、峰值状态下访问点网络畅通性好、数据网络传输交互率高、延迟小等优点。     

基于LabVIEW的水质监测中心软件设计

针对目前我国的水质污染情况严重,水质监测手段相对落后的现状,设计了基于LabVIEW的多功能水质监测上位机软件。系统采用网络通信方式,从物联网云平台上获取数据,并结合MATLAB、Access数据库和Elman神经网络技术,分别设计出了系统概述模块、数据接收模块、水质报警模块、数据存储模块、记录查询模块和数据预测模块,完成了数据接收、存储、查询、预测等功能。测试结果表明,该系统稳定可靠,各功能模块均能正常运行,达到了软件设计标准,实现了预期的功能。     

基于物联网的水质在线监测系统设计与实现

针对以往水质监控系统水质传感器数据采集盲区多,传统处理器、通信模块无法满足大量的数据的处理和传输等问题。设计并实现了一种基于物联网技术的水质在线监测系统。该系统由数据采集节点、数据汇聚节点与监测中心计算机构成。设计了以INA118仪用放大器为核心的微弱信号调理电路,通过STM32微处理器进行实时数据采集和处理,结合ZigBee低速短距离和CDMA2000高速远距离通信等物联网技术将水质数据上传至物联网云平台。监测中心计算机通过下载物联网云平台数据实时显示。通过测量数据的对比性实验,结果表明整个系统的实时性好、测量精度较高,温度,pH值和电导率的平均相对误差分别约为0.64%,1.33%和2.33%,能够较好地满足水质监测的要求。     

基于特征定位的航空航天制孔多视测量拼接方法

为满足航空航天大部件对制孔质量的数字化原位检测需求，提出一种基于特征板的制孔多视点云拼接方法，实现孔壁完整三维形貌重建与检测。分析制孔多视检测的需求，提出采用特征定位板辅助的多视点云配准方法。介绍了内角不等四边形特征板的设计与相应的点云分割、识别算法。说明基于特征自定位的多视点云拼接及参数提取方法。结合机械臂搭建实验平台，对常用钛、铝及复合材料的试件模拟原位检测，结果显示各平均误差分别为0.011 mm、0.034 mm、0.041 mm，验证了配准算法的可靠性；并对比传统单视与该方法检测结果，体现该方法的鲁棒性。     

基于Storm的城市消防联网远程监控系统的实时数据处理应用

针对城市消防联网远程监控系统中实时信息数据逐渐增长而引出的大数据问题,传统的消防系统无法实时、高效地处理消防实时数据的问题,提出了一种基于云计算和Storm实时数据处理系统的解决方案;对于开源的Storm框架进行需求和性能分析,实现对其技术架构上的改进,并结合消防系统的特点,提出一套高实时性、高可扩展性的消防联网监控中心的数据实时处理的体系架构,同时也进行了云计算平台的搭建,利用心跳检测机制保证各个监控单位的实时性连接;研究表明,基于云计算和Storm平台架构完全适用于消防联网监控中心的实时消防数据的处理,具有高效性、高可靠性、性能显著等特性。