投稿

大数据系列6:Spark

1878

0

2019-06-25 18:14:32

未经作者授权，禁止转载

大数据工具包链接：https://pan.baidu.com/s/1MlVDElYgiISo0iO_bDdXyw 提取码：r9sr

-下个ID见发消息

联系邮箱：yan_518@outlook.com

豆包-会思考的AI助手,轻松应对复杂需求,立即体验!

1万人感兴趣

1.认识scala

09:32

2.安装开发环境

06:07

3.cala Shell、用idea创建maven项目-1

15:11

4.配置maven本地仓库、导入切换项目等其它配置

07:51

5.变量的声明

06:45

6.scala的7种值类型和条件表达式

08:33

7.for循环

13:16

8.方法和函数的声明以及方法转换成函数

18:01

9.数组

20:35

10.映射

09:03

11.元组

12:40

12.集合之seq

18:34

13.集合之set

07:57

14.集合之map

05:53

15.lazy关键字

11:04

16.函数式编程练习之常用方法

26:17

17.函数式编程之reduce

14:32

18.函数式编程之fold

08:42

19.函数式编程之aggregate

07:20

20.函数式编程之交并差集

03:20

21.scala实现wordcount

19:24

22.创建类、属性

20:41

23.构造器、辅助构造器

20:40

24.伴生对象

10:30

25.apply和unapply方法

23:05

26.private关键字

14:42

27.特质、抽象类、继承、重写、实现等

20:02

28.模式匹配之匹配字符串

09:27

29.模式匹配之匹配类型

07:14

30.模式匹配之匹配数组、元组、集合

18:35

31.模式匹配之样例类

09:16

32.模式匹配之偏函数

08:42

33.单例对象

15:12

34.作为值的函数

08:06

35.柯里化概念及声明方式

17:34

36.柯里化练习

10:45

37.隐式转换和隐式参数

11:19

38.隐式转换练习

14:36

39.隐式转换练习

18:21

40.泛型

12:00

41.upperbound

12:46

42.viewbound

16:13

43.contextbound

10:37

44.actor概念

10:32

45.actor实例之创建actor

07:47

46.actor实例之消息的接收与发送（异步没有返回值）

19:52

47.actor实例之消息的接收与发送（同步有返回值）

04:54

48.actor实例之消息的接收与发送（异步有返回值）

08:36

49.actor实例之并行编程思想实现单词计数

30:25

50.akka简介

10:16

51.akka案例需求分析

08:07

52.akka案例代码分析

21:00

53.spark简介

11:39

54.spark集群搭建、启动

06:45

55.spark Shell.启动和提交任务

12:11

56.spark Wordcount

19:21

57.上传并执行任务

12:54

58.rdd的概念

13:15

59.生成rdd的两种方式

05:36

60.两种类型的算子：transformation和action

18:42

61常用算子练习

24:30

62.常用算子练习

16:58

63.案例需求-求用户在某基站停留的时间

12:57

64.案例实现-求用户在某基站停留的时间

21:38

65.案例实现-求用户访问学科的子网页top

08:34

66.案例实现-求用户访问学科的子网页top3-chache、自定义分区器

19:19

67.spark集群启动流程

07:27

68.spark任务提交流程

05:50

69.wordcount中创建了那些rdd

13:06

70.案例分析实现-按照ip统计区域访问量

21:59

71.rdd之间的依赖关系

11:14

72.dag的生成和stage的划分

11:32

73.webui观察stage划分和任务的生成

12:04

74.自定义二次排序

23:11

75.checkpoint

16:05

76.sparksql介绍

08:26

77.创建dataframe

09:22

78.dataframe常用操作-dsl风格语法

10:15

79.dataframe常用操作-sql风格语法

03:36

80.通过反射推断schema

18:04

81.通过structtype直接指定schema

12:11

82.hive-on-spark

21:40

84.实例分析：sparkstreaming获取netcat产生的数据进行实时分析

06:50

85.sparkstreaming实现按批次累加

24:22

86.窗口函数概念及使用场景

17:29

87.窗口函数实现wordcount

08:36

88.spark-on-yarn

26:02

89.补充：sparkstreaming依赖

00:59

90.关于查看源码的一些介绍

09:06

91.导入源码

05:23

92.集群启动流程-master类

23:17

93.集群启动流程-worker类

12:47

94.sparksubmit提交任务

09:02

95.sparkcontext

17:10

96.创建driveractor和clientactor的过程

13:37

97.clientactor向master注册任务信息过程

07:33

98.任务调度的两种方式及master通知worker启动executor的过程

11:00

100.executor向driveractor反向注册的过程

06:22

101.rdd生成和stage划分

20:46

102.生成任务并提交

06:22

103.task任务执行流程

10:57

顶部