基于Storm的多租户槽感知调度策略

Storm默认任务调度采用轮询算法将任务平均分配到每一个工作节点,但是在多个拓扑提交的情况下Storm默认调度将任务随机分配到工作节点的槽,造成槽分配不均衡的问题并导致工作节点的负载不均衡.针对这一问题,本文提出了多租户槽感知调度策略:首先,根据节点的优先级权重划分,将工作节点按照队列的形式排序,并由队列的FIFO的特点进行优先级分配任务;其次,按照每个工作节点占用的槽越小优先级越高的特点分配任务;然后,每个工作节点被占用的槽不能超过工作节点的槽被占用的最大阈值;最后,实时更新每个工作节点的槽的占用信息进行任务调度,降低工作节点的CPU负载,提高吞吐量,降低延迟.实验证明,在集群4个工作节点的环境下基于benchmark基准测试运行4个作业拓扑的结果表明,本文提出的多租户槽感知调度策略与默认调度相比,分别在数据流的吞吐量提高24.2%、延迟降低29%、CPU负载相对降低了15.1%.