全部版块 我的主页
论坛 数据科学与人工智能 大数据分析 spark高速集群计算平台
1549 0
2016-05-13

前言:

我们为什么要这样写程序?为何要这样运行程序?以及程序运行背后发生了什么?



关于Spark Runtimre

T}8[@TXUWIV1IX46%}}7%DX.png


Driver:

       运行程序时候,具有Main方法,并且创建了SparkContext的一个对象,他是程序运行调度的调度器,在程序运行中,Driver端的主要代码为SparkConf 和SparkContext两部分如下图所示:

JE{WHTTE5B3GMKQBCR[P(R6.png

Worker


       运行程序时候,Worker端是集群中具体运行操作代码的节点,他不运行程序的代码,管理当前节点内存CPU等计算资源的使用状况并接收master指令来分配具体资源Executor(在新的进程中分配),程序计算运行在Executor中。

0JI9UXK1P89VRKB)2E(8S@7.png

Executor:


       Executor是运行在worker节点上一个进程里面的对当前应用程序处理所开启的一个对象,这个对象负责了task的执行,计算通过线程池内线程并发执行和复用的方式。

91G{SW}LVW8)UQYSXV9IVFU.png



注:本学习笔记来自DT大数据梦工厂


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群