投稿

Spark编程基础(林子雨)

6598

6

2019-08-09 10:28:22

Spark编程基础

发现《Apollo's Triumph》

Iammyself001 发消息

1.1大数据时代

10:57

1.2大数据概念

07:16

1.3大数据的影响

07:06

1.4大数据关键技术

05:25

1.5大数据计算模型

07:38

1.6.1代表性大数据技术——Hadoop

22:51

1.6.2代表性大数据技术之Spark

15:53

1.6.3代表性大数据技术之Flink和Beam

09:51

2.1.1计算机源起

05:24

2.1.2范式编程

10:06

2.1.3Scala范式语言

05:08

2.1.4Scala安装

08:43

2.1.5Helloworld

09:32

2.2.1Scala基本数据类型和变量

09:40

2.2.2输入输出

10:20

2.2.3控制结构

17:30

2.2.4数据结构(数组、元组)

06:04

2.2.5数据结构(容器、序列)

14:57

2.2.6数据结构(集合、映射)

10:05

2.3.1类的定义

20:10

2.3.2构造器

13:52

2.3.3单例对象

11:52

2.3.4对象apply方法

17:26

2.3.5对象update方法unapply方法

08:24

2.3.6继承

17:37

2.3.7特质

11:42

2.3.8模式匹配

15:25

2.3.9包

04:15

2.4.1函数定义与使用

19:29

2.4.2高阶函数

13:41

2.4.3针对容器的操作——遍历映射

18:07

2.4.4针对容器的操作——过滤规约

12:44

2.4.5函数式编程实例——WordCount

10:08

3.1.1Spark概述

15:00

3.1.2Spark与Hadoop对比

09:59

3.2Spark生态系统

13:44

3.3.1基本概念与架构设计

08:35

3.3.2Spark基本运行流程

07:09

3.3.3RDD运行原理——RDD设计背景

04:48

3.3.4RDD运行原理——RDD概念、操作、特性

15:53

3.3.5RDD运行原理——RDD之间的依赖关系

06:27

3.3.6RDD运行原理——阶段的划分与RDD运行过程

15:27

3.4Spark的部署和应用方式

05:35

4.1安装Spark

08:53

4.2在SparkShell中运行代码

12:12

4.3.1在Spark中开发独立的应用程序——安装编译工具、编写代码

11:05

4.3.2开发独立Spark应用程序——编译打包和运行程序

17:24

4.4Spark集群环境搭建

12:31

4.5 在集群上运行Spark应用程序

14:32

5.1.1RDD创建

09:49

5.1.2RDD操作——Transformation

17:42

5.1.3RDD操作——Action

07:27

5.1.4持久化

07:49

5.1.5分区的作用和原则

09:35

5.1.6设置分区的方法

15:29

5.1.7一个综合实例

06:58

5.2.1键值对RDD的创建

03:16

5.2.2常见的键值对RDD转换操作——reduceByKey和groupByKey

09:59

5.2.3Keys,values,sortByKey,mapValue,join

10:54

5.2.4常用的键值对RDD转换操作

10:33

5.3.1文件数据读写——文件系统数据读写

06:06

5.3.2文件数据读写——JSON文件数据读写

08:44

5.3.3读写HBase数据(HBase简介)

11:27

5.3.4读写HBase数据——创建一个Hbase表

06:45

5.3.5读写Hbase数据——配置Spark并编写程序读取HBase数据

12:34

5.3.6读写HBase数据——编写程序向HBase写入数据

12:48

5.4.1案例1求TOP值

15:44

5.4.2案例2：求最大最小值

09:55

5.4.3案例3：文件排序

09:23

5.4.4案例4：二次排序

09:23

5.4.5案例5：连接操作

28:19

6.1 Spark SQL简介

12:15

6.2 DataFrame

14:54

6.3.1利用发射机制推断RDD模式

12:38

6.3.2使用编程方式定义RDD模式

18:06

6.4.1MySQL数据库准备工作

06:50

6.4.2通过JDBC连接MySQL数据库

15:17

7.1 流计算概述

13:09

7.2 Spark Streaming

09:36

7.3 DStream操作概述

08:37

7.4.1文件流

12:39

7.4.2套接字流(使用NC程序产生数据)

12:39

7.4.3套接字流(使用Socket编程实现自定义数据源)

15:14

7.4.4RDD队列流

09:50

7.5.1使用ApacheKafka作为SparkStreaming数据源——准备工作

15:41

7.5.2编写生产者程序

16:44

7.5.3编写消费者程序、编译运行程序

19:33

7.6.1DSream无状态转换操作

04:06

7.6.2DStream有状态转换操作——华东窗口转换操作

08:24

7.6.3DStream有状态转换——updateStateByKey操作

14:08

7.7 输出操作

12:41

7.8 Structured Streaming

06:26

8.1 Spark MLlib简介

13:23

8.2.1机器学习流水线概念

12:53

8.2.2构建一个机器学习流水线

22:48

8.3.1特征抽取：TF-IDF

25:59

8.3.2特征抽取：Word2Vec

08:35

8.3.3特征抽取：CountVectorizer

09:14

8.4.1逻辑斯蒂回归分类器

21:02

8.4.2决策树分类器

11:08

顶部