一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

无线传感器网络的HBase数据存储模型性能分析

基于HBase数据存储结构的特点,设计了一个有效的实时存储模型,实时的数据流在集群数据库中存储速度更快,满足了用户对数据存储性能的多种需求.使用可拓学原语整合存储在HBase数据库中的异构数据集,存储管理目录研究双层分布式存储架构,提高了存储和访问的效率.研究了在存储空间不够或者集群文本系统的存储空间太大的情况下,HBase数据库集群如何动态地更新或优化数据库空间.仿真结果表明,简单的动态更新HBase数据库集群有助于优化数据库空间使用.     

基于Hadoop企业私有云存储平台的构建

针对企业级用户面临文件和数据量的指数级增长,现有的文件存储设施不能适应业务增长问题,提出基于Hadoop构建企业私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理业务。比较了私有云存储和传统存储模式,分析了私有云存储技术优势和可行性,提出企业私有云存储架构模型。分析结果表明:企业私有云存储平台适用于关键业务应用、在线事务处理,满足企业对海量数据存储、数据规模易扩展性的要求。     

Hadoop中海量小文件的处理分析

论文将通过具体设计,提出一个行之有效的处理分析Hadoop中海量小文件的应用方法。     

应用分布式文件系统优化广西柳工机械股份有限公司海量文件型数据管理

应用微软公司在Windows2003服务器版提供的分布式文件系统(DFS)新功能优化柳工机械股份有限公司文件型数据管理.优化重组后的广西柳工机械股份有限公司海量文件型数据,实现了统一的管理模式,所有的员工只需要进入统一的地址,就可以快速地访问到自己所在单位的数据,同时,也可以实现与其他单位的数据交换,不用再担心找不到对方的文件.     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验.为减少读写速率的损失,系统通过调用HDFS(Hadoop distributed filesystem)的API接口方式实现数据存储及对集群的状态监控和管理.实验表明:传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低.     

浅析大数据时代的产品与技术

介绍了大数据数据结构的特点,分析了大数据平台的系统架构和关键技术．比较了主流的数据库产品。     

基于云存储的分组域监测系统

针对当前电信分组域监测系统海量数据应用环境的高效性、可扩展性和安全性的不足,提出一种基于云存储的新监测系统.新系统采用Hadoop云存储技术,融合了电信私有云,解决了系统及时处理和存储海量数据的难题,优化了系统整体的性能.通过测试验证,新系统稳定可靠,适合电信大容量监测需要.     

云存储系统中数据冗余策略优化问题

针对云存储系统现有冗余策略及其改进策略的不足, 提出一种将完全备份与改进的RS(Reed\|Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下, 提出一个动态副本管理优化模型DRMO（Dynamic Replication Management Optimized）对其进行改进。实现副本数和副本位置的动态调整。分析表明, RIRS充分融合了完全备份和纠删码冗余的优势, 能节省存储空间, 降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时, 进一步节省存储空间并实现负载均衡。     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

基于语义的自主式存储中介文件系统及其访问策略

自主式存储中介系统(ASAS)是一个联系用户或应用程序与海量存储系统(可同时采用DAS、NAS、SAN等多种存储技术)的中间平台.ASAS能够自主地发现存储系统中所使用的存储设备的种类和可利用的各种资源;针对传统语义文件系统的主要缺点,即无法得到质量较高的文件属性,利用用户访问的模式捕捉用户状态,将直接文件属性设置与间接属性设置方法结合起来,实现基于语义的ASAS文件系统;通过ASAS文件系统扩展元数据的帮助,增加文件属性的数量,提高文件的可分类性;使ASAS能够自动收集用户的应用信息和需求,便于用户合理地存储数据并高效地进行访问.     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于分级安全局域网的分布式文件系统模型

分布式文件系统是云计算研究领域内一个重要的分支,尽管分布式系统的分级安全功能的重要性很早就被意识到,但是在安全网络下进行分布式文件系统工作却极少。该文提出并设计基于分级安全局域网的分布式文件系统。采用主从式的结构,通过在客户端采取驱动式编程,用Reed-Solomen算法进行数据拆分存储,实现安全分布式文件系统的基本功能,包括数据传输、存储、数据加密、数据拆分、访问控制等。该系统性能测试实验结果满足多级安全局域网的性能要求。