一种基于自学习的大数据多租户配置优化方法

在大数据应用领域中,Hadoop的分布式存储和并行计算,经过多年的实践,其高可靠性、高扩展性和高容错性等特点已日益成熟,并广泛应用于云计算应用场景。在如今的应用系统建设中,提倡扁平化管理,摒弃烟囱式系统,Hadoop集群的分布式存储和并行计算的优势明显,但是多集群独立建设,带来管理成本和投入成本增加,不便于日常管理。与此同时,由于大数据应用场景的多样化,多租户场景多、资源分配不合理、调度不灵活等问题在Hadoop并行计算领域问题已不能满足用户的需求。因此,研究Hadoop集群多租户技术及YARN资源调度控制架构,实现多应用计算资源隔离,不断优化多任务、多用户下的大数据集群资源分配,合理资源分配与资源调度,减少资源浪费,提高集群资源利用率,降低资源投入成本,在大数据应用领域具有重大意义。