投稿

大数据技术之_Spark及内核优化

1875

1

2020-03-22 02:16:24

未经作者授权，禁止转载

资料链接：https://pan.baidu.com/s/1IcipwNjDDJqYWXvjatKumw 提取码：27gx

vlog加油新学期

大数据攻城狮发消息

01_回顾

33:55

02_课程介绍

02:49

03_spark概述

29:08

04_local模式安装使用

14:14

05_local模式的wordcount

20:05

06_集群角色

04:48

07_Standalone模式安装及参数说明

15:49

08_standalone历史服务器

09:02

09_standalone配置高可用（HA）

11:47

10_standalone运行流程

08:36

11_Yarn模式安装及历史服务器配置

16:33

12_yarn运行流程

12:32

13_几种模式对比

02:54

14_端口号总结

01:29

15_考试总结

13:45

16_wordcount_idea调试

34:57

17_distinct()去重算子

08:33

17_sparkcore课程简介

04:52

18_RDD属性

23:41

19_编程模型

03:00

20_rdd创建

15:43

21_集合的分区源码

22:28

22_文件创建RDD的分区源码

18:00

23_分区算法补充

04:01

24_map算子

06:37

25_mapPartitions算子

09:51

26_mapPartitionsWithIndex算子

07:19

27_flatmap算子

04:07

28_glom算子

05:59

29_groupBy()分组算子

17:01

30_sample()采样算子

17:20

31_coalesce和repartition

25:50

32_sortBy

08:55

33_pipe算子

09:46

34_双value算子

08:32

35_partitionBy

13:42

36_reduceByKey

06:14

37_reduceByKey和groupByKey

05:44

38_aggregateByKey

08:46

39_foldByKey

03:08

40_combineByKey

22:14

41_reduceByKey、foldByKey、aggregateByKey、combineByKey

05:24

42_sortByKey

02:36

43_mapValues

04:27

44_join、cogroup

07:08

45_top3需求分析

11:32

46_top3案例实现

20:32

47_action算子（上）

08:28

48_action算子（下）

14:23

49_foreach

04:36

50_top3补充

02:10

51_序列化前提（闭包检查源码分析）

17:38

52_序列化属性和方法

12:23

53_Kryo序列化框架

03:36

54_查看血缘

12:02

55_依赖关系（宽窄）

07:11

56_任务切分基本概念

20:08

57_任务切分流程图

10:51

58_任务切分源码分析

25:31

59_任务切分源码流程回顾

12:53

60_Stage任务划分源码回顾

23:26

61_cache缓存

22:53

62_checkpoint

15:38

63_checkpoint集群存储

04:33

64_RDD数据分区

11:02

65_数据的保存和读取

14:58

66_系统累加器使用

17:57

67_累加器注意事项

05:12

68_自定义累加器

31:11

69_广播变量

08:30

70_项目介绍

03:03

71_数据准备

15:46

72_需求1分析（方案一）

05:32

73_需求1分析（方案二）

07:41

74_需求1分析（方案三）

09:53

75_需求1实现（方案三）

42:32

76_需求1实现（方案四）

10:37

77_需求1分析（方案五）

06:20

78_需求1实现（方案五）

29:49

79_需求2需求分析

09:29

80_需求2需求实现

19:19

81_需求描述

16:41

82_需求3需求分析

15:38

83_需求3需求分析（二）

14:26

84_需求3代码实现

23:44

85_spark总结

20:36

86-尚硅谷-SparkCore-回顾（运行模式&提交流程）

18:14

87-尚硅谷-SparkCore-回顾（RDD属性&创建方式）

15:27

88-尚硅谷-SparkCore-回顾（算子回顾）

20:37

89-尚硅谷-SparkCore-回顾（血缘关系&任务切分&WordCount）

13:07

90-尚硅谷-SparkSQL-课程介绍

06:59

91-尚硅谷-SparkSQL-概念

06:09

92-尚硅谷-SparkSQL-特点

02:57

93-尚硅谷-SparkSQL-DataFrame

14:21

94-尚硅谷-SparkSQL-DataSet

07:43

95-尚硅谷-SparkSQL-新的起点

03:38

96-尚硅谷-SparkSQL-DF的创建

08:51

97-尚硅谷-SparkSQL-DF的使用(SQL风格)

11:26

98-尚硅谷-SparkSQL-DF的使用(DSL风格)

04:01

99-尚硅谷-SparkSQL-RDD转换为DF(手动指定方式)

14:24

100-尚硅谷-SparkSQL-RDD转换为DF(样例类反射方式)

05:37

101-尚硅谷-SparkSQL-DF转换为RDD

04:41

102-尚硅谷-SparkSQL-DataSet的创建

05:04

103-尚硅谷-SparkSQL-RDD转换为DS

03:12

104-尚硅谷-SparkSQL-DS转换为RDD

01:07

105-尚硅谷-SparkSQL-DF和DS的互相转换

06:12

106-尚硅谷-SparkSQL-RDD、DF&DS之间的互相转换

07:05

107-尚硅谷-SparkSQL-IDEA开发SparkSQL测试

15:03

108-尚硅谷-SparkSQL-IDEA开发SparkSQL DF的使用

05:00

109-尚硅谷-SparkSQL-补充(编程方式将RDD转换为DF)

19:35

110-尚硅谷-SparkSQL-回顾(1)

18:52

111-尚硅谷-SparkSQL-回顾(2)

05:35

112-尚硅谷-SparkSQL-UDF

11:35

113-尚硅谷-SparkSQL-UDAF(说明)

10:00

114-尚硅谷-SparkSQL-UDAF(方法介绍&类型选定)

14:07

115-尚硅谷-SparkSQL-UDAF(代码实现)

06:56

116-尚硅谷-SparkSQL-UDAF(测试)

19:42

117-尚硅谷-SparkSQL-数据通用的加载方式

07:12

118-尚硅谷-SparkSQL-数据通用的保存方式&小总结

19:59

119-尚硅谷-SparkSQL-默认数据源格式

07:47

120-尚硅谷-SparkSQL-加载MySQL数据

15:18

121-尚硅谷-SparkSQL-写入MySQL数据

08:33

122-尚硅谷-SparkSQL-内置Hive的使用

05:53

123-尚硅谷-SparkSQL-外部Hive的使用

14:32

124-尚硅谷-SparkSQL-Spark-Sql命令

02:41

125-尚硅谷-SparkSQL-IDEA中操作Hive

17:47

126-尚硅谷-SparkSQL-回顾

19:44

127-尚硅谷-SparkSQL-实战(数据准备)

13:42

128-尚硅谷-SparkSQL-实战(需求说明)

14:52

129-尚硅谷-SparkSQL-实战(读取Hive数据)

18:01

130-尚硅谷-SparkSQL-实战(大区点击总数)

11:44

131-尚硅谷-SparkSQL-实战(UDAF数据类型定义)

14:03

132尚硅谷-SparkSQL-实战(UDAF区内&区间的计算)

21:59

133-尚硅谷-SparkSQL-实战(UDAF计算城市占比)

15:48

134-尚硅谷-SparkSQL-实战(UDAF测试)

06:49

135-尚硅谷-SparkSQL-实战(大区分组取点击数Top3的商品)

09:17

136-尚硅谷-SparkSQL-小总结

07:07

137-尚硅谷-SparkStreaming-课程介绍

06:18

138-尚硅谷-SparkStreaming-概念

11:01

139-尚硅谷-SparkStreaming-架构&背压机制

15:27

140-尚硅谷-SparkStreaming-WordCount(项目创建&流式程序入口)

10:35

141-尚硅谷-SparkStreaming-WordCount(编码&测试)

15:41

142-尚硅谷-SparkStreaming-WordCount(数据流分析)

07:17

143-尚硅谷-SparkStreaming-回顾

15:07

144-尚硅谷-SparkStreaming-RDD(WordCount)

21:44

145-尚硅谷-SparkStreaming-自定义数据源(自定义Receiver)

20:51

146-尚硅谷-SparkStreaming-自定义数据源(代码测试)

05:30

147-尚硅谷-SparkStreaming-Kafka数据源(版本选型)

10:39

148-尚硅谷-SparkStreaming-Kafka数据源ReceiveAPI(代码实现)

11:23

149-尚硅谷-SparkStreaming-Kafka数据源ReceiveAPI(代码测试)

13:10

150-尚硅谷-SparkStreaming-Kafka数据源DirectAPI(01实现&测试)

14:51

151-尚硅谷-SparkStreaming-Kafka数据源DirectAPI(02实现)

16:25

152-尚硅谷-SparkStreaming-Kafka数据源DirectAPI(02测试)

04:26

153-尚硅谷-SparkStreaming-Kafka数据源DirectAPI(手动传入offset)

26:04

154-尚硅谷-SparkStreaming-Kafka数据源DirectAPI(手动打印offset)

28:28

155-尚硅谷-SparkStreaming-Kafka数据源DirectAPI(010版本)

30:07

156-尚硅谷-SparkStreaming-Kafka数据源(小总结)

13:58

157-尚硅谷-SparkStreaming-回顾

08:38

158-尚硅谷-SparkStreaming-Transform(使用)

14:19

159-尚硅谷-SparkStreaming-Transform(扩展)

11:36

160-尚硅谷-SparkStreaming-有状态转换(说明)

08:44

161-尚硅谷-SparkStreaming-有状态转换(UpdateDateStateByKey应用)

26:13

162-尚硅谷-SparkStreaming-有状态转换(UpdateDateStateByKey补充)

07:28

163-尚硅谷-SparkStreaming-有状态转换(UpdateDateStateByKey数据流)

02:18

164-尚硅谷-SparkStreaming-有状态转换(窗口操作参数说明)

10:30

165-尚硅谷-SparkStreaming-有状态转换(窗口操作代码实现及测试)

17:33

166-尚硅谷-SparkStreaming-有状态转换(ReduceByKeyAndWindow)

22:55

167-尚硅谷-SparkStreaming-DStream的输出操作

11:20

168-尚硅谷-SparkStreaming-优雅的关闭

20:55

169-尚硅谷-SparkStreaming-实战(模拟数据生成)

19:33

170-尚硅谷-SparkStreaming-实战(消费数据测试)

13:23

171-尚硅谷-SparkStreaming-实战(Redis测试)

16:02

172-尚硅谷-SparkStreaming-实战(转换数据结构&思路分析)

12:25

173-尚硅谷-SparkStreaming-实战(写入黑名单逻辑)

30:42

174-尚硅谷-SparkStreaming-实战(写入黑名单测试)

04:07

175-尚硅谷-SparkStreaming-回顾

11:22

176-尚硅谷-SparkStreaming-实战需求一(根据黑名单校验数据方案一)

12:42

177-尚硅谷-SparkStreaming-实战需求一(根据黑名单校验数据方案二)

12:35

178-尚硅谷-SparkStreaming-实战需求一(根据黑名单校验数据方案三

04:44

179-尚硅谷-SparkStreaming-实战需求一(根据黑名单校验数据方案四思路分析）

14:08

180-尚硅谷-SparkStreaming-实战需求一(根据黑名单校验数据方案四代码&测试）

15:09

181-尚硅谷-SparkStreaming-实战需求二(计算单日各大区城市广告点击总数）

15:00

182-尚硅谷-SparkStreaming-实战需求二(写入Redis方案一&测试）

12:37

183-尚硅谷-SparkStreaming-实战需求二(写入Redis方案二）

21:00

184-尚硅谷-SparkStreaming-实战需求二(写入Redis方案二测试）

02:41

185-尚硅谷-SparkStreaming-实战需求三(思路分析）

16:25

186-尚硅谷-SparkStreaming-实战需求三(调整需求二代码）

08:26

187-尚硅谷-SparkStreaming-实战需求三(统计每天各地区各广告点击量Top3）

09:48

188-尚硅谷-SparkStreaming-实战需求三(转换为JSON格式&写库操作）

11:25

189-尚硅谷-SparkStreaming-实战需求三(代码测试）

04:14

190-尚硅谷-SparkStreaming-实战需求四(思路分析）

14:42

191-尚硅谷-SparkStreaming-实战需求四(统计最近2min各个广告被点击总数）

10:13

192-尚硅谷-SparkStreaming-实战需求四(写入Redis测试-有问题方案）

17:08

193-尚硅谷-SparkStreaming-实战需求四(写入Redis测试方案二）

28:27

194-尚硅谷-SparkStreaming-回顾&需求三的批量写入代码实现

20:46

195-尚硅谷-SparkStreaming-回顾&需求四的批量写入代码实现

11:44

196-尚硅谷-Spark内核与优化-课程介绍

11:04

197-尚硅谷-Spark内核与优化-Driver&Executor

03:24

198-尚硅谷-Spark内核与优化-通讯架构概述

08:57

199-尚硅谷-Spark内核与优化-通讯架构解析

14:17

200-尚硅谷-Spark内核与优化-Spark启动程序脚本分析

18:32

201-尚硅谷-Spark内核与优化-Master启动

19:31

202-尚硅谷-Spark内核与优化-Worker启动

18:49

203-尚硅谷-Spark内核与优化-MasterWorker启动总结

28:16

204-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(SparkSubmit)

24:09

205-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(Yarn.Client)

20:57

206-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(ApplicationMaster启动Driver)

14:43

207-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(ApplicationMaster申请资源)

16:44

208-尚硅谷-Spark内核与优化-回顾

15:05

209-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(SparkContext核心属性)

08:50

210-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(ExecutorBackend)

23:51

211-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(DAGScheduler)

21:46

212-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(TaskScheduler)

04:53

213-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(小总结)

14:33

214-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(Stage任务划分)

04:24

215-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(将任务放置调度池)

21:11

216-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(调度池的比较规则)

27:55

217-尚硅谷-Spark内核与优化-YarnCluster模式提交源码(Task调度小总结)

12:02

218-尚硅谷-Spark内核与优化-任务运行Shuffle(HashShuffle)

08:53

219-尚硅谷-Spark内核与优化-任务运行Shuffle(SortShuffle概述)

13:32

220-尚硅谷-Spark内核与优化-任务运行Shuffle(SortShuffle源码一)

15:58

221-尚硅谷-Spark内核与优化-任务运行Shuffle(SortShuffle源码二普通SortShuffle)

08:47

222-尚硅谷-Spark内核与优化-任务运行Shuffle(SortShuffle源码三ByPassSortShuffle)

09:25

223-尚硅谷-Spark内核与优化-回顾

23:00

224-尚硅谷-Spark内核与优化-内存管理(堆内&堆外内存)

15:28

225-尚硅谷-Spark内核与优化-内存管理(静态内存管理)

13:04

226-尚硅谷-Spark内核与优化-内存管理(统一内存管理)

12:25

227-尚硅谷-Spark内核与优化-内存管理(存储内存管理)

11:15

228-尚硅谷-Spark内核与优化-内存管理(执行内存管理)

04:23

229-尚硅谷-Spark内核与优化-常规性能调优

15:49

230-尚硅谷-Spark内核与优化-算子调优

04:39

231-尚硅谷-Spark内核与优化-Shuffle调优

06:57

232-尚硅谷-Spark内核与优化-JVM调优

02:24

233-尚硅谷-Spark内核与优化-数据倾斜

15:21

234-尚硅谷-Spark内核与优化-问题解决

09:15

顶部