异构Spark集群数据倾斜修正调度策略

Spark星团有木桶效应。不合理的并行性导致任务分配与工作节点计算能力的适应性差，影响集群计算效率和资源利用率。为了解决这一问题，首先建立模型，分析耦合关系的数据分布、并行参数和节点任务分配，提出算法的优化目标，设计异构Spark集群的数据倾斜校正调度策略DSC，包括并行预测算法，数据倾斜校正算法和异构节点任务分配算法。预测算法预先设置并行度。数据倾斜校正算法根据第一计算阶段的统计信息重新划分数据并修改并行性。异构节点任务分配算法合理分配集群不同计算能力的工作节点的任务，提高数据计算量与节点计算能力的适应性，优化Spark集群的整体性能。实验结果表明，在不同作业类型和不同数据集的情况下，该算法取得了一定的性能改进，并能有效降低工作节点外部内存溢出的概率。