Spark大数据商业实战三部曲:内核解密|商业案例|性能调优
上QQ阅读APP看书,第一时间看更新

4.6 本章总结

本章内容紧紧围绕Spark调度器(Scheduler)的运行机制,介绍了其中涉及的重要概念,如Spark Driver Program、Spark Job、高层调度器(DAGScheduler)、底层调度器(TaskScheduler)和调度器的通信终端(SchedulerBackend)。同时,从外围的运行框架,到内部的调度器和通信终端,分别深度剖析了各自的运行原理。并且,每个原理都结合了Spark源码的解析,加深对整个Spark调度器运行机制的理解。

SparkContext、DAGScheduler、TaskScheduler、SchedulerBackend在应用程序启动时只实例化一次,应用程序存在期间始终存在这些对象。