XXX党支部

欢迎进入xxx党建引领
注册    登录

Spark中ApplicationMaster 的执行流程

来源: 
达仁乡党支部
      时间: 2020-12-22 17:42:02

在Yarn-Cluster部署模式下,程序在提交之后会依次启动三个进程:SparkSubmit,Application和CoarseGrainedExecutorBackend。

ApplicationMaster与Hadoop的YARN中的ApplicationMaster的作用基本是一样的。主要作用如下:
(1)创建一个Driver子线程来执行用户主类(在这期间会初始化SparkContext等)
(2)向集群管理器ResourceManager注册并且申请资源
(3)获取资源后,向某个(或者多个)DataNode的发送command指令,在容器中启动CoarseGrainedExecutorBackend进程