Spark框架的核心是一个计算引擎，整体来说，它采用了标准master-slave的结构
如下图所示，它展示了一个Spark执行时的基本结构，图形中的Driver表示master，负责管理整个集群中的作业任务调度，图形中的Executor则是slave，负责实际执行任务。
由上图可以看出，对于Spark框架有两个核心组件：
Driver
Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作 ，Driver在Spark作业执行时主要负责;
- 将用户程序转化为作业（job）
- 在Executor之间调度任务（task）
- 跟踪Executor的执行情况
- 通过UI展示查询运行情况
实际上，我们无法准确地描述Driver的定义，因为在整个的编程过程中没有看到任务有关Driver的字眼，所以简单理解，所谓的Driver就是驱使整个应用运行起来的程序，也称之为Driver类
Executor
Spark Executor是集群中工作节点（Worker）中的一个JVM进程，负责在Spark作业中运行具体任务（Task），任务彼此之间相互独立，Spark应用启动时，Executor节点被同时启动，并且始终伴随着整个Spark应用的生命周期而存在，如果有Executor节点发生了故障或者崩溃，Spark应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点上继续运行。
Executor有两个核心功能
- 负责运行组成Spark应用的任务，并将结果返回给驱动器进程
- 他们通过自身的块管理器为用户程序中要求缓存的RDD提供内存式存储，RDD是直接缓存在Executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算
Master & Worker
Spark集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能，所以环境中还有其他两个核心组件：Master和Worker，这里的Master是一个进程，主要负责资源的调度和分配，并进行集群的监控等职责，类似于Yarn环境中的RM，而Worker也是进程，一个Worker运行在集群中的一台服务器上，由Master分配资源对数据进行并行的处理和计算，类似于Yarn环境中NM
ApplicationMaster
Hadoop用户向Yarn集群提交应用程序时，提交程序中应该包含ApplicationMaster，用于向资源调度器申请执行任务的资源容器Container，运行用户自己的程序任务job，监控整个任务的执行，跟踪整个任务的状态，处理任务失败等异常情况
说的简单点就是，ResourceManager（资源）和Driver（计算）之间的解耦合靠的就是ApplicationMaster
Executor与Core
Spark Executor是集群中运行在工作节点（Worker）中的一个JVM进程，是整个集群中的专门用于计算的节点，在提交应用中，可以提供参数指定计算节点的个数，以及对应的资源，这里的资源一般指的是工作节点Executor的内存大小和使用虚拟核（Core）数量。
应用程序相关启动参数如下：
| 名称 | 说明 |
|---|---|
| –num-executors | 配置Executor的数量 |
| –executor-memory | 配置每个Executor的内存大小 |
| –executor-cores | 配置每个Executor的虚拟CPU core数量 |
并行度
在分布式计算框架中一般都是多个任务同时执行，由于任务分布在不同的计算节点进行计算，所以能够真正地实现多任务并行执行，我们将整个集群并行执行任务的数量称之为并行度，那么一个作业到底并行度是多少呢？这个取决于框架的默认配置，应用程序也可以在运行过程中动态修改。
Spark核心编程
Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景，三大数据结构分别是：
- RDD：弹性分布式数据集
- 累加器：分布式共享只写变量
- 广播变量：分布式共享只读变量
)
)
