尚学堂·大数据全套课程第三阶段:spark体系分布式计算_零基础学大数据 从入门到精通_kafka分布式消息系统精讲课程_大数据视频教程

6109
9
2019-03-05 15:03:09
36
31
270
12
适用人群 对分布式消息系统有兴趣的人员,公司业务有流式计算场景需要缓存数据的从业人员 课程概述 kafka是分布式的消息系统,大数据中的流式计算源头数据有很多是来源于Kafka,kafka相对于其他的消息队列来说,优势在于分布式存储数据,而且数据直接存入磁盘不丢,可以保证多次消费,另外kafka集群是轻量级,吞吐量可达百兆每秒,是消息系统中的一个重要技术。Spark是当前最为流行的基于内存计算的分布式框架,在 Spark 的生态圈中的框架几乎能够解决所有的大数据的应用场景。
需要课件、源码、安装包等资料,可以直接私信留言哦
视频选集
(41/66)
01-Scala 初始
30:11
02-Scala 类和对象01
48:42
03-Scala 类和对象02
27:59
04-scala 函数
46:55
05-函数
34:18
06-String+集合+Trait
52:22
07-Match+case class+Actor+WordCount
53:55
01-Spark初始
01:00:02
02-Spark WordCount01
35:40
03-Spark WordCount02
32:21
04-Spark 核心RDD
45:22
05-Spark Transformation+Action算子
52:50
06-Spark 持久化 cache+persist+checkpoint
44:35
07-Spark 集群搭建+SparkPi任务
31:03
08-Spark复习
34:02
09-Spark 基于Standalone两种提交模式
44:53
10-Spark 基于Yarn两种提交模式
34:19
11-创建RDD
29:07
12-算子
52:03
13-术语解释+RDD宽窄依赖+Stage+pipeline计算模式
01:06:15
14-Spark 资源调度和任务调度
14:41
15-Spark资源调度和任务调度+粗粒度资源申请
45:08
16-Spark 算子
46:49
17-Spark 算子02
36:54
18-Spark PV UV
33:11
19-Spark资源调度源码01
42:57
20-Spark 资源调度源码02
53:33
21-Spark 任务调度源码
17:20
22-Spark shell+WEBUI
50:34
23-Spark 日志保存+历史服务器搭建
25:11
24-Spark Master HA
35:14
25-Spark Shuffle
34:43
26-Spark Shuffle文件寻址+内存管理
41:31
27-Spark shuffle 调优
07:00
28复习+广播变量
50:14
01-复习
28:03
02-Spark 初始+读取json格式的文件加载成DataFrame+读取json格式的RDD加载成DataFrame
01:00:56
03-通过反射的方式将普通RDD转换成DF
27:08
04-通过动态创建Schema方式加载DF+读取parquent文件加载DF+读取Mysql表加载DF
40:38
05-Spark on Hive配置
27:57
05补充-Spark on Hive配置+读取Hive中的数据加载成DF
44:54
06-Spark UDF&UDAF&开窗函数
53:10
01-SparkStreaming 01
33:04
02-SparkStreaming02
50:18
03-算子UpdataStateByKey
17:14
04-reduceByKeyAndWindow
36:46
05-transformation
21:30
01-kafka01
46:02
02-kafka02
33:42
03-复习01
32:13
04-SparkStreaming+kafka Receiver模式
54:37
05-SparkStreaming+Direct模式
33:18
06-SparkStreaming 使用zookeeper管理offset
54:59
ack
58:43
cmcc_project1
45:54
cmcc_project2
01:11:22
drpc1
59:15
drpc2
23:52
drpc3kafka
59:38
flume+kafka+storm
55:54
storm介绍
01:00:37
storm拓扑结构
01:32:16
案例单词统计
01:07:48
全分布与并发
52:30
事物
01:06:15
伪分布
01:01:37
客服
顶部
赛事库 课堂 2021拜年纪