海量数据分布式存储技术研究

随着计算机技术的不断发展,互联网业务也在逐渐地扩大,海量用户纷纷涌入到网络中,使得网络系统数据存储空间日益增大。然而海量数据的存储容量往往同存储性能是相反的,传统的数据库在面对海量数据时早已不堪重负,渐渐地就出现了扩展性能差、网络延迟、效率低下等问题。基于此,就车联网海量数据的分布式存储处理技术为研究方向,通过详细分析,构建出一种基于传统数据库存储模式的分布式存储技术,通过仿真实验测试后表明,该技术能够有效解决现有问题,具有一定的参考意义及推广价值。     

基于分布式云计算技术进行海量数据运营的探讨

电信企业内部会在清单、信令、日志等多个地方生成海量数据,传统的处理方式成本高、速度慢,无法应对互联网时代快速、高效的要求.针对这一问题,采用云计算技术Hadoop集群处理海量用户清单,为业务系统和分析系统提供一个分布式可动态扩充的数据库,有效地提升了清单入库、查询和统计速度,同时硬件成本降低了90％以上.     

基于Spark分布式ETL在海量后勤数据的应用

在处理某大型企业的海量后勤大数据时,传统的基于MapReduce的ETL技术在数据提取、转换过程中,因为频繁进行磁盘读取的原因,存在数据处理效率不足的问题。考虑到Spark是基于内存操作的计算引擎,不依赖于磁盘操作,对数据的提取、转换效率的提升有一定帮助,因此文中采用了基于Spark的分布式ETL技术来处理这些海量数据,并通过实验进行效率比较。     

基于Flink+QLExpress处理海量数据的实时监控告警系统

为了满足大数据监控告警系统具备灵活告警及实时动态更新各类配置的需求,在深入研究各大数据监控告警系统架构的基础上,提出一种基于Flink+QLExpress新架构的处理海量数据的实时监控告警系统.首先通过Canal采集数据,然后利用聚合程序聚合数据后推送至Kafka,利用Flink从Kafka数据源获取源数据,并通过Fl...     

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

海量数据装载工具SQL Loader技术分析

为了提高海量数据的装载速度,甲骨文(Oracle 8)数据库提供了一种将外部数据文件中的数据高速批量装载到数据库表中的结构化查询语言装载工具(SQL Loader)。对SQL Loader的工作机制进行了分析、组件进行了剖析、功能进行了解析,提出了改善SQL Loader性能的技术措施。运用实例说明了SQL Loader的操作过程及方法,并通过与常规装载方法的对比分析试验说明了该装载工具的优点。     

基于网络的分布式海量存储

面对宽带数据的急剧增长,海量存储将成为限制发展的"瓶颈".文章提出基于网络的分布式海量存储及运算方案.该方案通过网络各服务器间的协同工作,利用特征码避免相同资源的冗余存储,加入纠错码以进行差错重建,利用进程迁移平衡负载,采用超流水线执行技术加速程序运行速度,最终实现网络信息资源及存储资源的共享.     

基于云计算的业务海量数据处理方法

企业数据急剧膨胀,海量存储挑战愈加严峻。同时,对于各类行业的企业而言,在爆炸性增长的海量数据信息中,传统的商业智能(BI)工具(关系型数据库和桌面数学计算包)在处理企业的海量数据时有些困难。因此,基于云计算的海量数据处理方法已成为各企业研究的课题。     

海量数据过滤系统中匹配算法的研究

模式匹配算法是数据过滤系统的重要组成部分,其效率直接影响到海量数据过滤系统的性能.为了应对当前不断增加的网络数据量对网络安全造成的威胁,提出了一种新的模式匹配算法——改进的AC-BM算法,并将其应用到海量数据过滤系统中.改进后的算法明显减少了匹配时间,提高了海量数据过滤系统执行效率.     

基于二维GIS技术对直升机巡检海量数据存储管理

传统的直升机巡检海量数据存储管理系统存在着存储效率低、冗余数据量高的缺陷,为了解决上述问题,引入二维GIS技术对直升机巡检海量数据存储管理系统进行设计与研究。根据现有系统存在的问题提出直升机巡检海量数据存储管理系统总体设计,对直升机巡检海量数据存储模块与管理模块进行分别设计。     

研究物联网海量数据处理下的数据库技术研究

随着社会不断进步,科学技术飞速发展,对数据处理技术的要求也越来越高,在这种时代背景下,物联网数据库技术开始受到人们广泛关注,它集海量处理和快速处理等优点于一身,能有效满足人们日益多层次、多元化的数据处理需要。本文从物联网基本概念入手,简要介绍其发展过程,结合目前数据处理技术,重点研究、阐述物联网海量数据处理下的数据库技术。     

海量数据如何管——电信运营支撑系统中数据系统体系的改进

近10年来，中国移动的用户数呈爆炸式增长，其BOSS和经分系统的数据积累已达天文数字，其后台系统之复杂和巨大也毫无悬念地堪称世界之最。那么，除了计费以外，这些丰富的数据资源给我们带来了哪些财富？管理这些数据的成本又占据了多少运营成本？更重要的是，在竞争环境发生变化、电信市场的竞争进入以数字业务或全业务为主要产品的长尾市场竞争时，     

一种基于海量数据的信息云系统及其关键技术研究

随着互联网的发展,互联网信息呈现海量化、社会化、多样化等趋势,如何获取这些海量信息并完成智能化的处理是本文研究的重点,本文提出了基于云计算技术构建海量数据的信息云系统,此系统采用信息自动聚合、智能分析、智能预测、自动推送技术完成整个信息处理的自动化和智能化,根据用户的标签自动挖掘出对用户有价值的信息并主动推送给用户。     

基于Hadoop的分布式集群平台构建方法研究

随着网络技术的发展,用户的数据量呈现指数级的增长,产生的海量数据单靠一台高性能的计算机存储,成本很高,不适合大部分的用户。基于Hadoop分布式集群平台,在构建低价的硬件上,成本低,应用场合广泛,能够满足海量数据存储的需求。介绍了Hadoop发展前景趋势和三大核心技术,详细分析了分布式集群的构建方法,成功构建分布式集群平台。     

基于SQL-Like语言的分布式推荐系统

Hadoop应用的开发要求用户掌握分布式编程的相关知识,造成了一定的开销,Apache Pig则提供了一种轻量级的开发方式,用户通过编写类SQL（Structured Query Language）语句,即可调用Hadoop的分布式处理能力。本文将结合Apache Pig和Item-Based协同过滤算法,设计并实现一种轻量级、可维护性较高的分布式推荐系统。     

基于Hadoop的分布式ETL系统研究

针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。     

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

基于SQL Server数据库的ADO．NET数据访问技术

ADO.NET是一组向.NET程序员公开数据访问服务的类,是一个具有互操作性且伸缩性强的数据访问体系结构。以VB.NET为编程语言,系统、实例化地介绍ADO.NET对SQL Server数据库的连接方法,并对常用数据访问技术(如添加、删除、更新等)进行归纳介绍,为初学者提供参考。     

基于Hadoop及关系型数据库的海量数据分析研究

Hadoop可以在大量廉价的硬件设备组成的集群上运行应用程序,全面地将计算推向数据,在处理海量数据方面具有一定的优势。本文对Hadoop和关系型数据库进行了比较分析,讨论了将二者结合构建海量数据分析系统的可行性,同时给出了实际的应用场景。