投稿

大数据之路--Spark_04

93

0

2019-10-23 21:27:35

未经作者授权，禁止转载

可可freding 发消息

cpa、大数据分析师

【不怕死挑战】看完这个，你可以跑起来了吗？

01.前情回顾

13:31

02.自定义的分区器---优化的自定义分区器

30:22

03.展示量和点击量的作业题

16:10

04.RDD的依赖综述

12:03

05.窄依赖的使用

10:00

06.宽依赖的使用--特殊的join算子

16:41

6.提交stage---到组装taskSet

15:23

07.join算子的补充---分区数量不一致的rdd进行join之后得到的rdd的分区的数量

07:20

08.依赖和stage的切分

05:22

09.依赖和容错

07:22

10.DAG有向无环图的生成

11:19

11.上午回顾

13:20

12.spark任务运行的流程简介图

04:30

13.spark-submit开始触发任务执行---自己的main方法被解析提交

17:17

14.从action算子到开始进行任务的切分

08:56

15.stage的切分

10:00

17.taskscheduler的调度task

09:32

18.executor执行task

09:08

19.Master和worker之间的通信

11:38

20.spark任务中的4大调度

09:22

21.spark任务运行的几个数据值

23:40

22.关于spark任务运行的补充说明--environment

03:21

23.今日重点 ---作业题的需求分析

13:29

顶部