投稿

大数据合集

2.9万

17

2018-11-15 23:32:27

v若水若水发消息

交流群577318662(1群)577843927(2群),希望每一位自学者都找到理想的工作实现心中的梦想。

因为淋过雨所以想给学弟学妹一些建议

数学秋龙哥-北大版

01_linux概述

08:34

02_安装vm和centos

30:26

03_安装vmtool工具

11:24

04_虚拟化技术和屏幕保护设置

02:02

05_linux目录结构

10:49

06_查看网络ip&配置网络ip地址

10:55

07_配置主机名称

09:10

08_防火墙

06:42

09_关机重启

09:45

10_远程登录

10:23

11_用户管理命令

22:10

13_常用快捷键

03:51

14_文件命令（上）

16:41

00_回顾

11:21

01_vi编辑器一般模式

13:43

02_编辑模式和指令模式

07:36

03_文件目录类（下）

33:30

04_时间日期类

09:10

05_用户组管理命令

11:36

06_文件权限

28:01

07_磁盘分区类

11:47

08_搜索查找类

12:29

09_进程线程类

15:50

10_压缩和解压缩

09:28

11_crond定时任务

15:01

01_回顾

20:52

02_rpm查询、卸载、安装

11:53

03_shell脚本的执行方式

09:11

04_shell中变量

30:10

05_运算符

06:48

06_条件判断

04:31

07_if判断

05:53

08_回顾上午内容

09:01

09_case

06:45

10_for循环

09:57

11_while

06:00

12_read

04:30

13_系统函数

02:28

14_自定义函数

08:25

15_网络版yum配置

19:27

16_本地yum配置

35:20

01_课程介绍

03:04

02_大数据概念

07:32

03_大数据特点

07:45

04_大数据能干啥

17:39

05_发展前景

02:26

06_企业的组织结构

09:01

07_hadoop发展历史

13:59

08_hadoop三大发行版本

05:09

09_hadoop发展优势

06:27

10_hadoop组成

16:23

11-大数据生态体系

19:27

12_推荐系统框架图

05:04

13_hadoop安装环境准备

30:53

14_hadoop安装

08:12

15_hadoop官方案例1

16:37

16_hadoop官方案例2

06:26

17_伪分布式案例

31:44

18_HDFS常用命令

04:25

01_bug总结

13:33

02_yarn上运行mr程序

15:26

03_修改临时目录

03:33

04_配置历史服务器

07:19

05_日志聚集功能

08:18

06_配置文件修改

06:10

07_虚拟机准备完成

13:16

08_scp命令

15:17

09_ssh

15:24

10_rsync

08:29

11_xsync脚本编写

15:49

12_xcall

01:31

13_集群规划

04:43

14_配置集群

13:18

15_集群测试

12:42

16_hadoop启动停止方式

02:10

17_集群时间同步

14:20

00_编译源码

01:23:00

01_hdfs产生背景、概念、优缺点

15:57

02_hdfs文件块大小

09:48

03_hdfs命令行操作

20:49

04_hdfs客户端环境准备

24:20

05_获取文件系统

02:41

06_参数优先级

07:15

07_文件下载

07:12

08_创建目录

02:55

09_文件夹删除

03:31

10_修改文件名称

02:16

11_hdfs文件详情

07:56

12_判断文件还是文件夹

03:57

01_回顾

04:11

02_io流的方式文件上传

09:21

03_io流的方式下载文件

06:43

04_io流文件的定位下载

14:08

05_hdfs写数据流程

09:22

06_网络拓扑概念

07:59

07_机架感知

08:50

08_hdfs读数据流程

04:09

09_一致性模型

12:10

10_nn和2nn工作机制

18:10

11_镜像文件和编辑日志

15:19

12_镜像文件和编辑日志2

08:20

13_滚动编辑日志

02:02

14_2nn端口号

03:00

15_检查点时间的修改

02:47

16_2nn目录结构

12:38

17_模拟namenode故障1

06:41

18_模拟namenode故障2

07:48

19_集群安全模式操作

10:07

20_namenode多目录配置

07:34

21_datanode工作机制

07:29

22_数据的完整性

04:52

23_掉线时限参数设置

02:48

24_datanode版本号

03:00

25_datanode多目录配置

06:31

01_回顾

12:39

02_服役新节点

23:07

03_退役旧节点avi

08:47

04_集群间数据拷贝

03:35

05_hadoop归档

10:00

06_快照管理

12:24

07_回收站

17:30

08_hadoop入门和hdfs总结

07:47

09_MapReduce内容简介

03:52

10_ MapReduce定义和优缺点

06:40

11_mapreduce核心思想

12:19

12_mapreduce编程规范

10:06

13_wordcount案例分析

10:51

14_wordcount案例代码完成

52:21

15_本地模式运行

04:09

16_debug

05:47

01_回顾

19:27

02_流量汇总需求1（分析 mapper reducer完成）

34:00

03_流量汇总需求1结束

13:15

04_并行度决定机制

08:25

05_提交job源码分析1

25:25

06_提交job流程和切片机制源码分析

32:14

07_combineTextInputformat

15:42

08_分区案例

21:04

09_手机流量需求3 排序

22:20

10_部分排序案例

04:27

01_mr工作流程

29:29

02_maptask

09:27

03_combiner案例

17:25

04_mr工作流程2

12:13

05_二次排序bean对象

18:19

06_分组案例完成

37:53

07_排序

04:17

08_shuffle机制

13:57

09_inputformat案例

46:03

0_inputform回顾

11:25

01_自定义outputformat

30:01

02_reducejoin的map和bean对象

32:01

03_reducejoin的reduce类

09:46

04_reducejoin合并

13:23

05_mapjoin分布式缓存

28:11

06_总结

58:09

00_回顾总结

08:21

01_日志清洗案例及计数器使用

30:37

02_多job串联案例

33:20

03_共同好友作业

02:14

04_reducetask工作机制

11:28

05_压缩

14:12

06_压缩2

22:48

07_压缩测试

18:27

08_测试解压缩

10:25

09_map端输出压缩和reduce端压缩输出

11:18

01_yarn的概述和架构

10:24

02_yarn工作机制

14:18

03_job提交流程

08:47

04_公平调度器

13:15

05_推测执行算法

13:47

06_mr优化

27:07

07_hdfs小文件优化

06:36

08_inputformat实现类

06:08

09_找共同好友

01:15:50

01_zk概述及工作机制

10:24

02_zk特点

06:10

03_zk数据结构

01:55

04_zk应用场景

07:55

05_zk下载地址

02:02

06_zk本地模式安装

12:48

07_zk选举机制

04:57

09_节点类型

03:59

10_zk完全分布式集群搭建

09:46

11_客户端命令行操作

18:04

12_stat结构体

02:27

13_监听器原理

03:10

14_写数据流程

03:29

15_创建zk客户端

09:05

16_创建子节点

05:19

17_获取子节点

10:44

18_判断节点是否存在

04:42

19_服务器节点动态上下线分析

06:04

20_服务器端代码

10:06

21_客户端代码

15:27

01_课程内容简介

05:20

02_什么是hive

09:56

03_hive的优缺点

07:25

04_hive架构原理

05:17

05_hive和数据库比较

10:45

06_hive安装地址

04:38

07_hive的安装部署

14:16

08_将本地文件导入hive案例，引出多个hive客户端问题

13:04

09_MySql中user表中主机配置

11:21

10_Hive元数据配置到MySql

09:22

11_hive交互命令

11:32

12_hive其他命令操作

04:28

13_hive的常见属性配置

15:56

14_hive数据类型

19:19

15_创建数据库

07:52

16_修改数据库

04:25

17_查询数据库

01:55

18_删除数据库

02:51

19_建表语法

05:15

20_管理表

14:49

01_回顾

20:25

02_外部表

16:56

03_分区表基本操作和二级分区表

26:27

04_分区数据关联的三种方式

11:53

05_修改表

14:33

06_数据导入

24:06

07_数据导出

23:11

08_基本查询

11:49

09_where语句

12:29

10_分组

05:49

11_join

19:25

01_排序

25:08

02_分桶和抽样查询

27:58

03_函数

15:09

04_压缩

12:48

05_存储

20:06

06_存储和压缩结合使用

13:09

07_Fetch抓取

05:21

08_本地模式

05:48

09_小表大表join

12:18

10_大表join大表

17:59

11_mapjoin

08:02

12_group by count

09:26

13_行列过滤

06:11

14_动态分区

09:14

15_数据倾斜

09:27

16_并行度执行

03:40

17_严格模式_JVM重用_推测执行_压缩

07:17

18_执行计划

03:51

19_hive总结

13:29

开篇1

07:19

开篇2

03:40

1、hive知识复习1

29:49

2、hive知识复习2

10:36

3、hive知识复习3

09:26

4、表结构梳理

12:39

5、ETL代码编写

01:03:58

6、建表操作

10:22

7、需求实现1

12:07

8、需求实现2

13:19

9、需求实现3

21:18

10、需求实现4

11:11

11、需求实现5

24:01

1、Sqoop的介绍和安装

22:17

2、额外脚本简述（与Sqoop无关）

19:44

3、Sqoop的import命令

18:01

4、Sqoop的export命令

14:34

5、Sqoop打包脚本

10:38

6、Sqoop其他命令简述

11:15

7、Sqoop其他命令详解

32:40

8、Sqoop详细参数1

38:00

9、Sqoop详细参数2

41:23

1、Flume在集群中的的定位

08:31

2、Flume流模型简介

10:37

3、Flume安装及第一个案例

33:07

4、Flume案例2

33:54

5、Flume案例2_2

00:50

6、Flume案例3

02:03

7、Flume案例3_2

15:19

8、Flume案例4

25:12

9、Flume案例5

08:27

10、Flume监控之Ganglia

31:00

1、kafka介绍、架构，原理等

54:18

2、kafka的部署

11:05

3、kafka控制台生产者与消费者

08:59

4、kafka生产者写入流程

19:11

5、kafka中zookeeper的目录结构

11:39

6、kafka消费流程

12:12

7、消费者组案例

06:41

8、kafkaAPI思路梳理

33:49

9、kafka回顾整理

24:29

10、kafka ProducerAPI

28:06

11、Kafka 分区API、消费者API

24:29

12、Kafka拦截器API

17:31

13、Kafka StreamsAPI

30:28

1、HBase简介

05:12

2、HBase角色以及设计类比

45:37

3、HBase的部署

41:05

4、HBase shell的操作

37:00

1、HBase读数据流程精讲

45:08

2、HBase写数据流程精讲

43:19

3、HBaseAPI操作之Maven项目搭建以及创建表测试

37:04

4、HBaseAPI增删改查

49:54

5、HBase MapReduce1

01:08:10

1、HadoopClasspath的配置问题

06:46

2、HBase MapReduce2

43:20

3、Hive与HBase关联的适配问题，重新编译源码1

26:46

4、Hive与HBase关联的适配问题，重新编译源码2

17:22

5、Hive与HBase关联的适配问题，重新编译源码3

02:52

6、Sqoop与HBase

17:51

7、HBase常用命令

14:03

8、HBase数据的备份与恢复

06:20

9、HBase的节点管理

08:09

10、HBase高可用

36:12

11、HDFS高可用

39:19

12、RM高可用

13:06

1、微博项目讲解

28:10

2、微博初始化命名空间，表

22:30

3、初始化3张表实现细节

14:03

4、微博项目，发布微博

27:25

5、微博项目，添加关注

35:49

6、微博项目，取关，浏览微博

15:32

7、微博项目，测试

39:31

8、通用型优化

30:27

9、zookeeper优化

02:51

10、预分区与rowkey设计

25:06

11、hbase属性优化

18:42

12、总结

06:34

尚硅谷大数据技术之NameNode-HA配置（一）

01:07:20

尚硅谷大数据技术之NameNode-HA配置（二）

27:07

尚硅谷大数据技术之ResourceManager-HA配置（三） (1)

16:33

尚硅谷大数据技术之ResourceManager-HA配置（三） (2)

35:47

1、oozie介绍

04:57

2、hadoop复习之CDH版本hadoop

29:27

3、oozie部署之配置

16:39

4、oozie部署以及部署成功的页面展示

23:25

5、oozie案例1

27:51

6、oozie案例2

13:22

7、oozie问题小节

07:23

8、oozie相关小知识

10:14

9、oozie案例3

21:00

10、oozie案例4

16:34

11、oozie案例4结果展示

00:48

1、运营商项目项目架构简介

14:06

2、项目开发环境介绍（系统，框架，开发工具等）

04:53

3、idea工具基本设置之Maven

06:19

4、idea工具基本操作设置

05:24

5、idea新建项目

05:45

6、生产数据的数据结构

12:22

7、构建模拟的数据

21:03

8、日志生产代码编写完成

37:55

9、日志生产，代码打包，测试

03:58

10、idea编码设置

01:55

11、kafka的初始化与主题创建

37:56

12、实时生产日志，flume采集，到kafka并测试成功

21:38

13、producer模块总结

01:46

14、新建ct_consumer项目，并构建常用工具类

21:00

15、通过kafka API实现消费数据到控制台，并成功测试

09:01

1、前情回顾，以及项目整体再次梳理

19:53

2、封装HBaseAPI，判断表是否存在

10:06

3、封装HBaseAPI，初始化命名空间

03:02

4、设计Table的region分区键

44:39

5、设计rowkey的分区号

24:22

6、HbaseDAO的封装

30:13

7、写入实时数据到HBase测试成功

09:27

8、协处理器的编写与讲解

53:14

9、HBase协处理器测试以及遇到一些问题

50:07

10、HBase上一个视频的遗留问题的解决（协处理器中的过滤逻辑错误，jar包运行时需要注意的问题）

13:37

1、HBase存储数据源码走读

19:05

2、HBase代码以及其他设置优化

35:10

3、HBase批量保存数据测试

09:55

4、HBase时间戳toBytes的一些问题，以及面试中遇到的乱码问题

07:26

5、anlysis阶段需求分析以及表结构探讨

29:24

6、Mysql表结构总结

05:49

7、Mysql结果表的创建

04:48

8、初始化数据分析工程module

04:01

9、封装JDBCUtil以及自定义输出Key的维度类型

58:03

10、封装ComDimension以及输出的Value类型

10:45

11、迷茫知识点之梳理

04:56

12、数据分析：Mapper

20:09

13、数据分析：Reducer

07:39

1、前一天知识梳理总结

03:05

2、Runner的Job组装

27:10

3、RecordWriter

34:11

4、维度转换：缓存键的生成

27:47

5、维度转换：封装实现1

20:21

5、维度转换：封装实现2

12:16

5、维度转换：封装实现3

11:55

6、OutputForamt封装

22:44

7、2个Bug的修复

00:53

8、又1个Bug的修复

02:41

9、RecordWriter封装完成

20:32

10、3个Bug，运行测试成功，并查验Mysql中的数据分析结果

01:02:07

1、MR源码走读理解OutputFormat

44:30

2、构建Web工程

40:37

3、构建JavaBean，DAO，SQL查询语句

24:00

4、构建Controller中返回的数据

17:21

5、运行测试Web项目查看返回结果

07:48

6、Web font显示数据

01:02:00

7、项目总结

05:41

顶部