基于Ceph存储的数据均衡分布算法

针对Ceph分布式存储系统中可扩展哈希下的受控复制（Controlled Replication Under Scalable Hashing,CRUSH）数据分布算法导致设备间存储数据容量之差达到40%,进而在数据量大、高并发情况下“热点”成为系统性能瓶颈的问题,本文对CRUSH算法进行深入研究,设计并实现了Writing＿Balance算法来对数据分布进行性能优化,以达到消除“热点”所导致的负载失衡以及磁盘利用率过高的问题。通过实验发现,Writing＿Balance算法可使“热点”的PG数量分布优化率较之前提升4.4%;磁盘利用率稳定性提高了3%左右;并且在较小输入key空间下对于数据整体均衡度优化也有明显的提升。     

非对称集群存储系统的块虚拟化方法

非对称集群存储系统以其在高I/O性能、高可扩展和易管理等方面的优势而成为研究的热点.存储虚拟化是提高其可扩展性和易管理性的关键技术之一.从构建智能存储路由器的思路出发,提出了一种分层映射的块虚拟化方法,可实现资源的集中式管理和分布式映射.该方法支持物理存储资源的动态添加,从而可使整个存储系统具有良好的可扩展性和可管理性.     

具有自恢复能力的机群监控系统结构

提出了一种具有自恢复能力的机群监控系统结构,采用该结构的监控系统可以自动、及时地完成机群系统中故障的发现和排除,从而可极大地增强机群监控系统的智能化和主动控制能力,有效提高整个机群系统的可靠性.采用该结构开发的机群监控系统已经在Linux机群存储系统中得以应用,取得了良好的效果.     

面向云存储的归档方法

针对目前云存储系统主要提供文件备份的现状,提出了一种面向云存储的归档方法,该方法将不活跃的文件数据以归档的形式存放在云端存储系统,并在客户端保留其存根信息以供读取时使用,从而不仅大大节约了客户端存储空间,改善了客户端性能,而且实现了对用户透明的归档数据访问.     

对象存储系统中基于监控的动态负载均衡方法

负载均衡在存储系统领域一直是研究的热点,但在分布式的对象存储系统中的应用与实现方面仍存在缺陷.针对对象存储系统中负载均衡方法大都依靠经验或有限的动态配置指导自适应算法进行、在负载再平衡过程中无法控制迁移节奏,算法实现复杂,未充分考虑存储节点实时负载状况等不足,提出了一种基于监控的动态负载均衡方法.该方法将监控系统引入对象存储系统,完成对各存储节点负载状况的实时感知;根据节点负荷、异构性等因素进行综合估计来触发迁移算法,避免了依靠经验及预设值指导算法执行;利用监控系统灵活的自定义事件触发机制和故障自动化处理机制,设计负载迁移策略,动态完成节点间的负载再平衡,降低算法实现复杂难度;使用监控系统动作执行过程中的多步操作顺序流控制完成一次一迁移,有效掌控负载迁移节奏.将该方法应用到自主研发的对象存储系统CSCloud进行验证的结果表明,该方法能及时获取集群中各节点的负载信息,并实现及时、准确的动态负载平衡,为对象存储系统和其他分布式存储系统实现负载均衡提供了新思路.