投稿

全网首次披露大数据Spark离线数仓工业项目实战，Hive+Spark构建企业级大数据平台

9.2万

329

2020-06-17 18:06:57

未经作者授权，禁止转载

正在缓冲...

通过大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目基石与前瞻、数据仓库建模方法离线数仓分层、Sqoop数据存采集、数仓ODS&DWD层建设、数仓DWS维度层建设、数仓DWB指标层建设、数仓ST主题层建设、一站制造任务调度、Prometheus概述实现linux服务器监控实现MySQL服务监控实现Flink服务监控 Grafana监控看板。一站制造：运营ciss系统、oa系统、erp系统一体化智能制造大数据分析系统

集群数据调优

大数据教程

黑马程序员发消息

咨询课程、1对1就业指导、技术进阶提升【直接私信】，领取课程源码+资料，关注黑马程序员公众号，回复：领取资源02

好好好，现在AI还能这么玩是吧？！

有问题，问豆包！

知识点01：课程目标

13:07

知识点02：项目背景

12:26

知识点03：项目需求

23:27

知识点04：业务流程

15:27

知识点05：技术选型

36:05

知识点06：Docker的介绍

16:56

知识点07：Docker的网络

06:56

知识点08：Docker的使用

08:24

知识点09：Oracle的介绍

15:32

知识点10：集群软件规划

03:23

知识点11：项目环境导入

03:57

知识点12：项目环境配置

04:09

知识点13：项目环境测试：Oracle

12:06

知识点14：项目环境测试：MySQL

03:26

知识点15：项目环境测试：Hadoop

03:59

知识点16：项目环境测试：Hive

22:54

知识点17：项目环境测试：Spark

07:08

知识点18：项目环境测试：Sqoop

01:17

知识点01：课程回顾

50:43

知识点02：课程目标

07:15

知识点03：数仓设计回顾

10:58

知识点04：分层整体设计

19:02

知识点05：分层具体功能

08:14

知识点06：业务系统结构

12:36

知识点07：业务系统数据

12:44

知识点08：全量与增量分析

06:05

知识点09：Sqoop命令回顾

09:53

知识点10：YARN资源调度及配置

25:38

知识点11：MR的Uber模式

13:52

知识点12：Sqoop采集数据格式问题

15:51

知识点13：问题解决：Avro格式

11:13

知识点14：Sqoop增量采集方案回顾

03:00

知识点15：脚本开发思路

27:47

知识点16：全量及增量采集脚本运行

11:36

知识点17：Schema备份及上传

13:33

知识点18：Python脚本

05:15

知识点01：课程回顾

58:19

知识点02：课程目标

04:22

知识点03：数仓分层回顾

07:14

知识点04：Hive建表语法

04:33

知识点05：Avro建表语法

14:18

知识点06：ODS层构建：需求分析

12:52

知识点07：ODS层构建：创建项目环境

17:14

知识点08：ODS层构建：代码导入

10:19

知识点09：ODS层构建：代码结构及修改

39:15

知识点10：ODS层构建：连接代码及测试

46:10

知识点11：ODS层构建：建库代码及测试

11:24

知识点12：ODS层构建：建表代码及测试

48:06

知识点13：ODS层构建：申明分区代码及测试

08:24

知识点14：ODS层与DWD层区别

02:23

知识点15：DWD层构建：需求分析

04:34

知识点16：DWD层构建：建库实现测试

02:08

知识点17：DWD层构建：建表实现测试

16:24

知识点18：DWD层构建：数据抽取分析&知识点19：DWD层构建：数据抽取测试

04:22

知识点20：整体代码重难点回顾

09:25

知识点01：课程回顾

37:42

知识点02：课程目标

07:01

知识点03：维度建模回顾：建模流程

03:50

知识点04：维度建模回顾：维度设计

02:29

知识点05：维度建模回顾：维度模型

02:08

知识点06：一站制造业务主题划分

16:09

知识点07：一站制造业务维度设计

06:12

知识点08：一站制造业务主题维度矩阵

05:24

知识点09：行政地区维度设计

24:21

知识点10：行政地区维度构建

08:23

知识点11：日期时间维度设计

08:03

知识点12：日期时间维度构建

08:31

知识点13：服务网点维度设计

26:02

知识点14：服务网点维度构建

10:56

知识点15：油站维度设计

33:47

知识点16：油站维度构建

04:27

知识点17：其他维度：组织机构

07:06

知识点18：其他维度：仓库、物流

05:18

附录一：在线教育项目回顾

31:19

附录二：一站制造项目回顾

19:51

知识点 01：课程回顾

39:55

知识点 02：课程目标

08:06

知识点03：分层回顾

02:44

知识点04：DWB层的设计

02:54

知识点05：事实主题指标划分

09:41

知识点06：呼叫中心事实指标需求分析

15:17

知识点07：呼叫中心事实指标构建

25:14

知识点08：油站事实指标需求分析

19:51

知识点09：油站事实指标构建

08:00

知识点10：工单事实指标需求分析

13:44

知识点11：工单事实指标构建

16:58

知识点12：安装事实指标需求分析

15:14

知识点13：安装事实指标构建

11:55

知识点14：维修事实指标需求分析

06:17

知识点15：维修事实指标构建

13:23

知识点16：客户回访事实指标需求分析

05:30

知识点17：客户回访事实指标

04:25

知识点18：费用事实指标分析及实现（上）

04:20

知识点18：费用事实指标分析及实现（下）

02:19

知识点19：差旅事实指标分析及实现

11:53

知识点20：网点物料事实指标分析及实现

07:01

顶部