投稿

Spark基础及源码分析

1077

0

2019-10-01 05:28:47

https://space.bilibili.com/346441475 https://space.bilibili.com/346441475

萧曵__ 发消息

https://blog.csdn.net/chenyao1994

1、认识scala-1

09:32

2、安装开发环境-1

06:07

3、scala Shell、用idea创建maven项目-1

15:11

4、配置maven本地仓库、导入切换项目等其它配置-1

07:51

5、变量的声明-1

06:45

6、scala的7种值类型和条件表达式-1

08:33

7、for循环-1

13:16

8、方法和函数的声明以及方法转换成函数-1

18:01

9、数组-1

20:35

10、映射-1

09:03

11、元组-1

12:40

12、集合之seq-1

18:34

13、集合之set-1

07:57

14、集合之map-1

05:53

1、lazy关键字-1

11:04

2、函数式编程练习之常用方法-1

26:17

3、函数式编程之reduce-1

14:32

4、函数式编程之fold-1

08:42

5、函数式编程之aggregate-1

07:20

6、函数式编程之交并差集-1

03:20

7、scala实现wordcount-1

19:24

1、创建类、属性-1

20:41

2、构造器、辅助构造器-1

20:40

3、单例对象-1

15:12

4、伴生对象-1

10:30

5、apply和unapply方法-1

23:05

6、private关键字-1

14:42

7、特质、抽象类、继承、重写、实现等-1

20:02

8、模式匹配之匹配字符串-1

09:27

9、模式匹配之匹配类型-1

07:14

10、模式匹配之匹配数组、元组、集合-1

18:35

11、模式匹配之样例类-1

09:16

12、模式匹配之偏函数-1

08:42

1、作为值的函数-1

08:06

2、柯里化概念及声明方式-1

17:34

3、柯里化练习-1

10:45

4、隐式转换和隐式参数-1

11:19

5、隐式转换练习1-1

14:36

6、隐式转换练习2-1

18:21

7、泛型-1

12:00

8、upperbound-1

12:46

9、viewbound-1

16:13

10、contextbound-1

10:37

1、actor概念-1

10:32

2、actor实例之创建actor-1

07:47

3、actor实例之消息的接收与发送（异步没有返回值）-1

19:52

4、actor实例之消息的接收与发送（同步有返回值）-1

04:54

5、actor实例之消息的接收与发送（异步有返回值）-1

08:36

6、actor实例之并行编程思想实现单词计数-1

30:25

7、akka简介-1

10:16

8、akka案例需求分析-1

08:07

9、akka案例代码分析-1

21:00

1、spark简介-1

11:39

2、spark集群搭建、启动-1

06:45

3、spark Shell.启动和提交任务-1

12:11

4、spark Wordcount-1

19:21

5、上传并执行任务-1

12:54

1、rdd的概念-1

13:15

2、生成rdd的两种方式-1

05:36

3、两种类型的算子：transformation和action-1

18:42

4、常用算子练习1-1

24:30

5、常用算子练习2-1

16:58

1、案例需求-求用户在某基站停留的时间-1

12:57

2、案例实现-求用户在某基站停留的时间-1

21:38

3、案例实现-求用户访问学科的子网页top3-1

08:34

4、案例实现-求用户访问学科的子网页top3-chache、自定义分区器-1

19:19

1、spark集群启动流程-1

07:27

2、spark任务提交流程-1

05:50

3、wordcount中创建了那些rdd-1

13:06

4、案例分析实现-按照ip统计区域访问量-1

21:59

1、rdd之间的依赖关系-1

11:14

2、dag的生成和stage的划分-1

11:32

3、webui观察stage划分和任务的生成-1

12:04

4、自定义二次排序-1

23:11

1、checkpoint-1

16:05

2、sparksql介绍-1

08:26

3、创建dataframe-1

09:22

4、dataframe常用操作-dsl风格语法-1

10:15

5、dataframe常用操作-sql风格语法-1

03:36

6、通过反射推断schema-1

18:04

7、通过structtype直接指定schema-1

12:11

8、hive-on-spark-1

21:40

1、sparkstreaming简介-1

09:09

2、实例分析：sparkstreaming获取netcat产生的数据进行实时分析-1

06:50

3、sparkstreaming实现按批次累加-1

24:22

4、窗口函数概念及使用场景-1

17:29

5、窗口函数实现wordcount-1

08:36

6、spark-on-yarn-1

26:02

7、补充：sparkstreaming依赖-1

00:59

1、关于查看源码的一些介绍-1

09:06

2、导入源码-1

05:23

3、集群启动流程-master类-1

23:17

4、集群启动流程-worker类-1

12:47

5、sparksubmit提交任务-1

09:02

6、sparkcontext-1

17:10

7、创建driveractor和clientactor的过程-1

13:37

8、clientactor向master注册任务信息过程-1

07:33

9、任务调度的两种方式及master通知worker启动executor的过程-1

11:00

10、executor向driveractor反向注册的过程-1

06:22

11、rdd生成和stage划分-1

20:46

千锋大数据教程：12、生成任务并提交-1

06:22

千锋大数据教程：13、task任务执行流程-1

10:57

千锋大数据教程：14、总结-任务生成及提交流程-1

15:23

顶部