上QQ阅读APP看书,第一时间看更新
4.6 本章总结
本章内容紧紧围绕Spark调度器(Scheduler)的运行机制,介绍了其中涉及的重要概念,如Spark Driver Program、Spark Job、高层调度器(DAGScheduler)、底层调度器(TaskScheduler)和调度器的通信终端(SchedulerBackend)。同时,从外围的运行框架,到内部的调度器和通信终端,分别深度剖析了各自的运行原理。并且,每个原理都结合了Spark源码的解析,加深对整个Spark调度器运行机制的理解。
SparkContext、DAGScheduler、TaskScheduler、SchedulerBackend在应用程序启动时只实例化一次,应用程序存在期间始终存在这些对象。