Spark效用感知的检查点缓存并行清理策略

针对Spark的检查点缓存数据清理工作完成后需要等待程序员清理，可能导致无效数据积累和内存占用的问题，分析了检查点的执行机制，建立了模型，并推导出随着检查点数量的增加，检查点缓存清洗方法不具有可扩展性，提出利用检查点缓存效用熵模型来感知检查点缓存与内存插槽的匹配程度，利用效用最佳匹配原理推导出检查点缓存清洗的最佳时机。基于效用熵的检查点缓存并行清理（PCC）策略通过使检查点缓存清理时间近似等于HDFS中的检查点写入时间来优化内存资源。实验结果表明，在基于公平调度的多任务执行环境中，随着检查点数量的增加，未优化程序的执行效率变差。采用PCC策略后，程序执行时间、功耗和GC时间分别减少了10.1%、9.5%和19.5%，在存在多个检查点的情况下，可以有效提高程序执行效率