大数据环境下地铁自动售检票系统设计与实现

近年来,随着经济领域蓬勃发展,我国加快了现代化建设进程,交通设施建设不断推进;受互联网大数据技术变革的影响,传统地铁售检票系统无法满足高客流量、大数据流处理的高强度工作要求;在日常实践应用中,传统地铁售检票系统经常出现检票识别率低、售票信息运算处理响应速度慢、多人员、多任务操作执行准确率差的问题;针对上述问题,结合大数据资源运算能力,提出大数据环境下地铁自动售检票系统设计;采用大数据实名高检处理引擎(VBDKG)、多路分处运算模组(ICGRU)与动态身份比对算法(DBTDE),针对传统地铁自动售检票系统存在的问题进行解决;通过仿真实验测试证明,提出的大数据环境下地铁自动售检票系统设计具有较强的实施性与可操作性;同时,运行处理准确性高,运行稳定。     

基于Hadoop和双密钥的云计算数据安全存储策略设计

针对原有的Hadoop平台仅通过CRC-32循环冗余校验保证数据存储的安全性,设计了一种基于双密钥和混沌信号的云计算安全存储策略;首先,介绍了原有的Hadoop框架下的数据存储对应的文件读写过程,并基于加密机制设计了改进的Hadoop数据存储模型,然后根据云存储数据量大和响应要求及时的特点,设计了一种基于双密钥的改进对称密钥算法,在传统的私钥的基础上加入动态公钥,并作为敏感函数的输入获得最终的密钥,从而实现明文的加密和密文的解密,最终定义了具体的基于Hadoop和改进双密钥对称加密算法的云计算安全存储算法;通过搭建Hadoop仿真实验平台进行实验,结果表明文中方法能有效地实现云计算环境下的安全存储,存储时间与其它方法相比少15%以上,具有安全性高和存储效率高的优点,具有一定的优越性。     

云计算下石油化工罐区储罐液仪表设计与实现

近年来,随着我国互联网云计算的不断发展,云计算技术被应用于诸多领域。针对传统石油化工领域中储罐液仪表存在的罐内压力检测精准度差、温度感应灵敏度低与储罐液状态数据分析面窄等问题,提出云计算下石油化工罐区储罐液仪表设计。通过大数据运算核心进行框架构建,在此基础上,采用PCJD气流密度差算法、微感热源运算单元与数据流云算技术,对传统储罐液仪表进行设计改进,从问题的根源进行针对性解决。仿真对比试验证明,提出的云计算下石油化工罐区储罐液仪表设计,具有罐内液压力数据反馈精准度高,温度感应灵敏度高、储罐液综合数据分析速度快、数据分析完整度高等优点。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

电子对抗系统网络入侵检测技术优化研究

近年来,随着互联网技术的飞速发展,网络入侵防御技术成为互联网安全研究领域中的重要课题。针对现有电子对抗系统存在的网络后台安全逻辑欠缺,导致系统安全度降低、外端数据监测机制断裂的问题,提出电子对抗系统网络入侵检测技术优化研究方法。采用网络电子数据动态交互流特征定向技术、数据溢出监测算法与数据完整度监测机制三大模组对现有问题进行针对性解决。从问题产生根源对电子对抗系统网络入侵检测技术进行优化,通过仿真实验测试表明,提出电子对抗系统网络入侵检测技术优化研究方法具有入侵源监测响应速度快、准确度高、扩展性强、应用性好的特点。     

云计算环境下动态数据聚集算法研究

云计算技术的普及带动了数据的增长,为了对云环境下动态数据进行管理,防止数据损坏甚至丢失,方便后续利用,需要对云计算环境下动态数据进行聚集。但目前大多数算法都是基于线性时间概率计数的数据聚集算法,通过数据聚集操作在中间节点预先对数据进行处理,去除数据冗余,减少数据传输,实现节能,对于云计算环境下数据聚集操作存在的重复计数问题,通过研究对副本不敏感的概要结构并优化某些特性,从而完成数据聚集,但这种方法存在占用的存储空间较大,且不能保证动态数据聚集的准确性的问题。为此,提出一种基于粒子群优化算法的云计算环境下动态数据聚集算法,该算法通过对云计算环境下动态数据聚集算法数学模型进行分析,在此基础上,提出基于粒子群优化算法的云计算环境下动态数据聚集算法。首先对云计算环境中的动态数据结构模型进行分析,完成对云计算环境下动态数据的离散样本频谱特征的计算,实现云计算环境下动态数据聚集样本的特征提取和信息模型构建。针对粒子群算法收敛速度慢的问题,本文通过混沌映射方法对其进行优化,通过生成混沌序列,解决粒子群算法存在的问题,利用粒子群优化算法进行特征聚集,从而完成云计算环境下动态数据聚集算法。实验结果表明,本文所提算法能够有效提高动态数据聚集的可靠性和稳定性,降低聚集时间,减少所占内存空间,具有较强的实践性,为该领域的发展创造了条件。     

大数据背景下的数据通信调度方法研究

大数据背景下,传统数据通信调度方法研究由于预测要素引入面窄、预测算法逻辑同意性差,导致数据调度出现数据调度断层现象;针对上述问题,提出大数据背景下数据通信调度3+1集成法设计;采用3+1集成法,通过CPU信号强度波动算法、处理器数据节点动态数检测技术、电频信号转换算法与快速执行代码,解决传统的数据通信调度过程中的数据响应慢、数据调度断层的问题;通过仿真实验证明,提出的大数据背景下数据通信调度3+1集成法具有数据调度速度快、资源开销小、调度数据准确度高的特点。     

基于Hadoop社交网络分析平台的设计与实现

随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题。针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化。最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。     

混沌参数调制下RSA数据加密算法研究

随着网络信息通讯技术的发展,信息数据的通讯安全成为信息化网络信息数据通讯过程中的重要问题。面对大量侵入程序与数据漏洞的威胁,一套强有效的数据加密算法成为数据研究领域的研究方向。RSA数据加密算法作为如今常用的安全性最高的算法,在大数据动态数据节点混沌排列的条件下,无法有效保证数据的加密安全。混沌参数下,出现加密逻辑断裂、溢出、数列逆排等严重的算法漏洞。对此,提出混沌参数调制下RSA数据加密算法研究,采用混沌参数特征处理单元、特征序列逻辑控制单元与混沌FIE-RSA算法,对传统RSA加密算法存在的问题进行针对性解决。通过仿真实验证明,提出的混沌参数调制下RSA数据加密算法研究中,采用的一系列方法具有加密处理响应速度快、处理运算时间短、加密安全度高、反破解性能强等特点。     

Hadoop平台下自响应故障感知的检测技术研究实现

当今云计算环境下,Hadoop已经成为大数据处理的事实标准。然而云计算具有大规模、高复杂和动态性的特点,容易导致故障的发生,影响Hadoop上运行的作业。虽然Hadoop具有内置的故障检测和恢复机制,但云环境中不同节点负载大小的变化,被调度的作业仍然导致失败。针对此问题提出自响应故障感知的检测调度方法,对异构环境负载能力的不同,而做出服务器快节点和慢节点的判断,把作业分配调度到合适的节点上执行,调整任务决策来尽可能的防止任务失败的发生。最后在Hadoop框架下与基本调度器进行实验性能比较,结果显示该方法减少作业失败率最高达19%,并缩短了作业执行时间,同时也减少CPU和内存的使用。     

基于Storm的城市消防联网远程监控系统的实时数据处理应用

针对城市消防联网远程监控系统中实时信息数据逐渐增长而引出的大数据问题,传统的消防系统无法实时、高效地处理消防实时数据的问题,提出了一种基于云计算和Storm实时数据处理系统的解决方案;对于开源的Storm框架进行需求和性能分析,实现对其技术架构上的改进,并结合消防系统的特点,提出一套高实时性、高可扩展性的消防联网监控中心的数据实时处理的体系架构,同时也进行了云计算平台的搭建,利用心跳检测机制保证各个监控单位的实时性连接;研究表明,基于云计算和Storm平台架构完全适用于消防联网监控中心的实时消防数据的处理,具有高效性、高可靠性、性能显著等特性。     

云计算在航天测试领域的研究与应用

为满足航天测试领域日益增长的数据处理需求,利用云计算技术提高航天测试领域的数据处理性能和数据可靠性,数据安全性,主要从三个方面对云计算技术与航天测试领域结合进行了研究,首先建立以Hadoop为基础架构的云计算平台,设计新的测试数据传输方案,并以Hadoop冗余备份机制为基础,提高数据可靠性;其次,对云计算平台的数据处理模块进行了研究,并与航天测试领域的数据比对工作相结合;最后,为云计算平台设计了安全性更高的身份认证和加密模块.通过与原有航天测试工作对比分析可以看出,云计算对航天测试领域数据处理速度的提升是巨大的,安全模块也有效的对数据进行了保护,适应了航天测试领域对安全方面的高要求,将云计算应用于航天测试领域具有极大的潜力和广阔的前景。     

基于Open VG云电子书系统的多级优化框架设计

针对电子书应用存在的文件格式、性能效率低下和图像失真等问题,设计了一种应用于云电子书系统的多级优化框架,优化框架主要体现在如下三个方面。第一,对向量图形类库的性能进行描述,并提出了一种优化算法,减少了类库的时间复杂度。第二,在嵌入式GPU上并行进行坐标系统的计算。利用GPU在并行计算方面的优势,云电子书在向量图形类库方面获取了显著的性能提升。第三,云电子书将文件转化功能转嫁给Hadoop云平台,节省了移动设备的能量消耗和计算时间。同时为了对Hadoop调度过程中的数据位置问题进行优化,将位置感知调度器运用到提出的系统。实验结果表明：云电子书系统与最初的Open VG类库相比,性能提升了约70%,而且云电子书系统与连续服务器平台相比,计算时间减小了约60%。     

基于云计算的大数据自动分类处理系统设计

随着现代网络技术不断进步,系统数据量也在逐渐增多。传统的大数据自动分类处理系统已经无法满足现阶段用户需求,其软件与硬件的设计都比较单一,存在能源消耗大、分类速度慢、处理时间长、内存占用率高等问题,为此,提出基于云计算的大数据自动分类处理系统的设计。首先设计系统硬件结构,主要包括数据采集器、数据处理器以及数据自动存储模块,并详细的介绍了各硬件结构;然后利用时域特征提取数据的算法对频域特征数据进行提取,从而实现数据自动分类处理系统的软件设计;最后对两种系统性能进行对比实验。实验结果证明,基于云计算的大数据自动分类处理系统的资源不仅占用率低,内存消耗小,而且数据库内存较大。该系统不但可以提高数据自动分类精准度,还能加快数据分类速度,从而使系统拥有更好的分类性能。     

基于云计算和物联网的网络大数据技术研究

为了使网络大数据应用的范围更广,更大程度地提高网络数据存储与管理精度,减少网络数据处理与控制的时间,需要对网络大数据进行研究。当前的网络大数据研究方法多是采用Hadoop基础架构对网络大数据进行研究,在数据存储中没有设定具体的安全存储指标,无法得到数据安全存储指标权重,存在数据存储安全性能低,网络大数据研究精度偏差大等问题。为此,提出一种基于云计算和物联网的网络大数据研究方法。该方法首先利用分级网络编码对网络数据进行传输,以传输的数据为基础,采用CRC算法实现网络数据的计算,然后依据分组存储的方式将数据进行存储,最后利用分层逆序叠加定位法对网络数据进行高精度查询,由此完成对网络大数据的研究。实验结果表明,所提方法可以全面具体地对网络大数据进行研究,提高了数据处理精度和网络数据计算速度,增加了网络数据存储空间容量和查询效率,减少了网络数据运行时的丢失率,扩展了网络数据的运作范围,为后续网络大数据的研究提供了强有力的依据。     

基于遗传算法的云计算资源调度策略研究

对云计算环境中的资源调度问题进行了研究,鉴于当前云计算环境中资源利用率不高,节点负载不均衡的问题,提出了一种新的基于遗传算法的关于虚拟机负载均衡的调度策略。根据历史数据和系统的当前状态以及通过遗传算法,该策略能够达到最佳负载均衡和减少或避免动态迁移,同时还引入了平均负载来衡量该算法的全局负载均衡效果。最后通过在CloudSim平台进行仿真实验,结果表明,该策略具有相当好的全局收敛性和效率,当系统虚拟机被调度之后,算法在很大程度上能够解决负载不均衡和高迁移成本问题,并且极大地提高了资源利用率。     

基于稀疏子空间的类星体光谱异常特征并行提取与分析

类星体是人类所观测到的最遥远天体,对于了解早期宇宙的演化具有重要科学意义。由于类星体距离地球较远,其红移一般较大,导致在光学观测窗口中只有很少的特征（发射线）,且难以识别。类星体光谱的异常特征提取与分析可对未知类星体的识别,提供有效的判别依据。离群检测作为数据挖掘领域的一个主要研究内容,旨在发现那些稀有、特殊数据对象及异常特征,可作为从海量类星体光谱数据中,发现特殊、未知类星体的一种有效途径和手段。Spark作为新一代大数据分布式处理框架,可为海量天体光谱的有效分析和处理,提供一个高效且可靠的并行编程平台。本文充分利用集群系统和Spark编程模型的强大数据处理能力,提出一种基于稀疏子空间的类星体光谱异常特征并行提取与分析方法,其工作由三个模块组成,即类星体光谱特征约减、类星体光谱的稀疏子空间构造和搜索、类星体光谱异常特征提取并行算法设计与分析。类星体光谱特征约减模块,通过属性相关性分析来识别呈现聚类结构的类星体光谱特征线,这些特征线通常会聚集在稠密区域且对类星体光谱异常特征检测毫无意义。光谱特征约减旨在运行异常特征检测算法之前剪枝类星体光谱的冗余特征线,缩小光谱数据检测范围。类星体光谱的稀疏子空间构造和搜索模块,通过设定的稀疏系数阈值来测量类星体光谱的子空间密度,并采用粒子群优化方法作为稀疏子空间的搜索策略,从而快速、高效地获取类星体的异常特征。在第三个模块中,提出了一种MapReduce框架下的类星体光谱异常数据并行检测算法,该算法由并行化数据约减策略、稀疏子空间并行搜索技术两个MapReduce构成,达到适应海量光谱数据的处理目标。最后对检测出的部分类星体异常特征进行了理论分析、测量及人眼证认,充分说明稀疏子空间可为识别特殊、未知类星体候选源,提供有效支持和有力证据。