投稿

【公开课】大数据spark入门到精通

5.0万

186

2018-04-01 10:58:32

千锋面向拥有Java语言基础的同学，以Java语言为蓝本，深入浅出的讲解scala语言的语法和特征，并应用scala语言，讲解spark生态系统下的大数据开发技术。

庄七发消息

订阅号：庄七

1、认识scala-1

09:31

2、安装开发环境-1

06:07

3、scala Shell、用idea创建maven项目-1

15:11

4、配置maven本地仓库、导入切换项目等其它配置-1

07:51

5、变量的声明-1

06:45

6、scala的7种值类型和条件表达式-1

08:32

7、for循环-1

13:15

8、方法和函数的声明以及方法转换成函数-1

18:01

9、数组-1

20:35

10、映射-1

09:02

11、元组-1

12:40

12、集合之seq-1

18:34

13、集合之set-1

07:56

14、集合之map-1

05:52

1、lazy关键字-1

11:04

2、函数式编程练习之常用方法-1

26:16

3、函数式编程之reduce-1

14:31

4、函数式编程之fold-1

08:41

5、函数式编程之aggregate-1

07:19

6、函数式编程之交并差集-1

03:19

7、scala实现wordcount-1

19:23

1、创建类、属性-1

20:41

2、构造器、辅助构造器-1

20:39

3、单例对象-1

15:11

4、伴生对象-1

10:30

5、apply和unapply方法-1

23:05

6、private关键字-1

14:41

7、特质、抽象类、继承、重写、实现等-1

20:02

8、模式匹配之匹配字符串-1

09:26

9、模式匹配之匹配类型-1

07:14

10、模式匹配之匹配数组、元组、集合-1

18:34

11、模式匹配之样例类-1

09:15

12、模式匹配之偏函数-1

08:42

1、作为值的函数-1

08:06

2、柯里化概念及声明方式-1

17:33

3、柯里化练习-1

10:45

4、隐式转换和隐式参数-1

11:19

5、隐式转换练习1-1

14:36

6、隐式转换练习2-1

18:21

7、泛型-1

12:00

8、upperbound-1

12:45

9、viewbound-1

16:13

10、contextbound-1

10:37

1、actor概念-1

10:32

2、actor实例之创建actor-1

07:46

3、actor实例之消息的接收与发送（异步没有返回值）-1

19:52

4、actor实例之消息的接收与发送（同步有返回值）-1

04:54

5、actor实例之消息的接收与发送（异步有返回值）-1

08:36

6、actor实例之并行编程思想实现单词计数-1

30:25

7、akka简介-1

10:16

8、akka案例需求分析-1

08:06

9、akka案例代码分析-1

21:00

1、spark简介-1

11:38

2、spark集群搭建、启动-1

06:45

3、spark Shell.启动和提交任务-1

12:11

4、spark Wordcount-1

19:20

5、上传并执行任务-1

12:53

1、rdd的概念-1

13:15

2、生成rdd的两种方式-1

05:36

3、两种类型的算子：transformation和action-1

18:42

4、常用算子练习1-1

24:30

5、常用算子练习2-1

16:58

1、案例需求-求用户在某基站停留的时间-1

12:57

2、案例实现-求用户在某基站停留的时间-1

21:37

3、案例实现-求用户访问学科的子网页top3-1

08:34

4、案例实现-求用户访问学科的子网页top3-chache、自定义分区器-1

19:18

1、spark集群启动流程-1

07:27

2、spark任务提交流程-1

05:50

3、wordcount中创建了那些rdd-1

13:05

4、案例分析实现-按照ip统计区域访问量-1

21:58

1、rdd之间的依赖关系-1

11:13

2、dag的生成和stage的划分-1

11:32

3、webui观察stage划分和任务的生成-1

12:04

4、自定义二次排序-1

23:11

1、checkpoint-1

16:04

2、sparksql介绍-1

08:25

3、创建dataframe-1

09:22

4、dataframe常用操作-dsl风格语法-1

10:15

5、dataframe常用操作-sql风格语法-1

03:35

6、通过反射推断schema-1

18:04

7、通过structtype直接指定schema-1

12:10

8、hive-on-spark-1

21:39

1、sparkstreaming简介-1

09:08

2、实例分析：sparkstreaming获取netcat产生的数据进行实时分析-1

06:49

3、sparkstreaming实现按批次累加-1

24:21

4、窗口函数概念及使用场景-1

17:29

5、窗口函数实现wordcount-1

08:35

6、spark-on-yarn-1

26:02

7、补充：sparkstreaming依赖-1

00:58

1、关于查看源码的一些介绍-1

09:06

2、导入源码-1

05:22

3、集群启动流程-master类-1

23:17

4、集群启动流程-worker类-1

12:47

5、sparksubmit提交任务-1

09:02

6、sparkcontext-1

17:10

7、创建driveractor和clientactor的过程-1

13:36

8、clientactor向master注册任务信息过程-1

07:32

9、任务调度的两种方式及master通知worker启动executor的过程-1

10:59

10、executor向driveractor反向注册的过程-1

06:22

11、rdd生成和stage划分-1

20:45

12、生成任务并提交-1

06:22

13、task任务执行流程-1

10:57

14、总结-任务生成及提交流程-1

15:22

顶部