大数据系列6:Spark

1877
0
2019-06-25 18:14:32
32
15
280
7
大数据工具包链接:https://pan.baidu.com/s/1MlVDElYgiISo0iO_bDdXyw 提取码:r9sr
联系邮箱:yan_518@outlook.com
视频选集
(16/101)
自动连播
1.认识scala
09:32
2.安装开发环境
06:07
3.cala Shell、用idea创建maven项目-1
15:11
4.配置maven本地仓库、导入切换项目等其它配置
07:51
5.变量的声明
06:45
6.scala的7种值类型和条件表达式
08:33
7.for循环
13:16
8.方法和函数的声明以及方法转换成函数
18:01
9.数组
20:35
10.映射
09:03
11.元组
12:40
12.集合之seq
18:34
13.集合之set
07:57
14.集合之map
05:53
15.lazy关键字
11:04
16.函数式编程练习之常用方法
26:17
17.函数式编程之reduce
14:32
18.函数式编程之fold
08:42
19.函数式编程之aggregate
07:20
20.函数式编程之交并差集
03:20
21.scala实现wordcount
19:24
22.创建类、属性
20:41
23.构造器、辅助构造器
20:40
24.伴生对象
10:30
25.apply和unapply方法
23:05
26.private关键字
14:42
27.特质、抽象类、继承、重写、实现等
20:02
28.模式匹配之匹配字符串
09:27
29.模式匹配之匹配类型
07:14
30.模式匹配之匹配数组、元组、集合
18:35
31.模式匹配之样例类
09:16
32.模式匹配之偏函数
08:42
33.单例对象
15:12
34.作为值的函数
08:06
35.柯里化概念及声明方式
17:34
36.柯里化练习
10:45
37.隐式转换和隐式参数
11:19
38.隐式转换练习
14:36
39.隐式转换练习
18:21
40.泛型
12:00
41.upperbound
12:46
42.viewbound
16:13
43.contextbound
10:37
44.actor概念
10:32
45.actor实例之创建actor
07:47
46.actor实例之消息的接收与发送(异步没有返回值)
19:52
47.actor实例之消息的接收与发送(同步有返回值)
04:54
48.actor实例之消息的接收与发送(异步有返回值)
08:36
49.actor实例之并行编程思想实现单词计数
30:25
50.akka简介
10:16
51.akka案例需求分析
08:07
52.akka案例代码分析
21:00
53.spark简介
11:39
54.spark集群搭建、启动
06:45
55.spark Shell.启动和提交任务
12:11
56.spark Wordcount
19:21
57.上传并执行任务
12:54
58.rdd的概念
13:15
59.生成rdd的两种方式
05:36
60.两种类型的算子:transformation和action
18:42
61常用算子练习
24:30
62.常用算子练习
16:58
63.案例需求-求用户在某基站停留的时间
12:57
64.案例实现-求用户在某基站停留的时间
21:38
65.案例实现-求用户访问学科的子网页top
08:34
66.案例实现-求用户访问学科的子网页top3-chache、自定义分区器
19:19
67.spark集群启动流程
07:27
68.spark任务提交流程
05:50
69.wordcount中创建了那些rdd
13:06
70.案例分析实现-按照ip统计区域访问量
21:59
71.rdd之间的依赖关系
11:14
72.dag的生成和stage的划分
11:32
73.webui观察stage划分和任务的生成
12:04
74.自定义二次排序
23:11
75.checkpoint
16:05
76.sparksql介绍
08:26
77.创建dataframe
09:22
78.dataframe常用操作-dsl风格语法
10:15
79.dataframe常用操作-sql风格语法
03:36
80.通过反射推断schema
18:04
81.通过structtype直接指定schema
12:11
82.hive-on-spark
21:40
84.实例分析:sparkstreaming获取netcat产生的数据进行实时分析
06:50
85.sparkstreaming实现按批次累加
24:22
86.窗口函数概念及使用场景
17:29
87.窗口函数实现wordcount
08:36
88.spark-on-yarn
26:02
89.补充:sparkstreaming依赖
00:59
90.关于查看源码的一些介绍
09:06
91.导入源码
05:23
92.集群启动流程-master类
23:17
93.集群启动流程-worker类
12:47
94.sparksubmit提交任务
09:02
95.sparkcontext
17:10
96.创建driveractor和clientactor的过程
13:37
97.clientactor向master注册任务信息过程
07:33
98.任务调度的两种方式及master通知worker启动executor的过程
11:00
100.executor向driveractor反向注册的过程
06:22
101.rdd生成和stage划分
20:46
102.生成任务并提交
06:22
103.task任务执行流程
10:57
客服
顶部
赛事库 课堂 2021拜年纪