码上加薪用动画+文档讲解Kafka原理和面试题_哔哩哔哩

章节选择

一认识消息队列

全集试看

8分钟动画演示什么是 Kafka

视频课

8分21秒

二动画讲解 Kafka 的生产者原理和面试题

全集试看

动画演示Kafka生产者的基本工作原理

视频课

8分21秒

全集试看

第二章内容概述&动画讲解生产者发送消息逻辑流程

视频课

15分

全集试看

动画+代码讲解Kafka生产者发送消息过程

视频课

14分39秒

全集试看

动画讲解 log文件和index文件的生成逻辑

视频课

9分59秒

Topic、Partition和数据文件的组织形式

视频课

7分44秒

动画+代码讲解RecordBatch和Record结构

视频课

9分28秒

动画+代码讲解index和timeindex索引

视频课

9分8秒

Kafka生产者的三种发送消息方式(发送即忘、同步、异步）

视频课

18分38秒

Kafka生产者的内置序列化器&自定义序列化器

视频课

10分23秒

Kafka生产者的拦截器执行原理&编写拦截器代码

视频课

8分52秒

动画讲解Kafka生产者为什么要拉取最新元数据，何时拉取

视频课

8分51秒

动画+源码讲解在创建KafkaProducer时拉取元数据

视频课

6分46秒

动画+源码讲解Kafka生产者在发送消息时如何获取元数据

视频课

6分55秒

Kafka消费者端何时会拉取元数据&本节内容总结

视频课

4分44秒

动画+代码的讲解Sticky黏性路由策略有哪些优势

视频课

9分25秒

Kafka生产者有哪些内置的路由策略，他们的执行原理是什么

视频课

6分26秒

图文+代码讲解如何自定义生产者路由策略，为什么要自定义？

视频课

5分

动画讲解Kafka生产者缓冲区的内部结构&批量发送消息

视频课

8分19秒

动画讲解如何发送16KB以上的消息，池化内存和非池化内存

视频课

8分25秒

图文+源码讲解如何判断消息累加器中的batch已经准备好

视频课

10分26秒

动画讲解发送RecordAccumulator中的消息

视频课

8分35秒

图片+源码讲解发送ProducerBatch原理

视频课

10分10秒

Kafka客户端为什么要引入Java NIO

视频课

7分35秒

如何在NetworkClient类中建立IO多路复用

视频课

8分36秒

图文讲解Kafka建立和维护KafkaChannel

视频课

8分31秒

动画讲解InFlightRequests发送数据原理

视频课

5分42秒

动画讲解Kafk何时将ProducerBatch数据准备好

视频课

5分41秒

动画讲解Sender子线程创建发送请求，并持久化数据的过程

视频课

6分29秒

动画讲解Kafka的多副本机制&如何反馈消息是否写入成功

视频课

3分18秒

kafka如何发送、存储和消费1MB大小以上的消息

视频课

15分54秒

在传输大型数据方法都有哪些比较常见好用的方法

视频课

5分40秒

动画讲解什么叫分区多副本&同步副本的判定逻辑

视频课

10分40秒

动画讲解acks三种参数值的含义以及各自的优缺点

视频课

7分12秒

最小同步副本有哪些作用该如何设置最小同步副本数量

视频课

7分49秒

什么叫可重试异常和不可重试异常

视频课

6分18秒

全集试看

动画讲解在哪些场景下会出现数据重复和数据乱序的问题

视频课

5分23秒

Kafka生产者在发送消息的时候有哪些关键的时间参数

视频课

4分20秒

幂等性生产者如何获取PID和序列号，实现原理是什么

视频课

11分59秒

动画演示幂等性生产者如何解决分区内数据重复和数据乱序

视频课

10分27秒

幂等性生产者的局限性以及本章内容总结

视频课

3分6秒

动画讲解为什么要开启生产者幂等机制，能解决哪些问题

视频课

6分35秒

动画分享幂等性生产者为什么不能保证跨会话、跨分区数据唯一性

视频课

4分40秒

动画讲解生产者如何找到自己所属的事务管理器

视频课

6分38秒

动画讲解Kafka事务操作的事务隔离级别

视频课

6分44秒

动画讲解Kafka事务操作的执行流程

视频课

11分50秒

Kafka发送消息为什么会延迟，Sticky分区策略

视频课

13分7秒

优化调整Kafka生产者的相关参数（一）

视频课

10分35秒

优化调整Kafka生产者的相关参数（二）

视频课

7分22秒

动画分享如何应对Kafka集群负载不均衡的问题

视频课

5分53秒

动画分享何解决PageCache污染造成的发送消息阻塞问题

视频课

7分26秒

动画分享消息累加器内存不足&GC频繁造成的发送消息阻塞

视频课

6分45秒

为什么要在操作系统中引入PageCache

视频课

7分56秒

PageCache的数据结构&基数树的标记查询原理

视频课

9分38秒

动画演示Kafka如何利用PageCache高吞吐写入数据

视频课

7分

动画讲解HDD硬盘的数据读取原理

视频课

12分3秒

动画讲解Kafka如何利用顺序写机制高速写数据

视频课

6分15秒

图文讲解Kafka如何利用MMAP技术生成index索引

视频课

7分48秒

三动画讲解 Kafka 的消费者原理和面试题

全集试看

动画讲解Kafka消费者以及如何工作

视频课

7分40秒

命令行讲解Kafka消费者以及如何工作

视频课

18分26秒

命令行管理消费者和消费者组的消费位移

视频课

6分55秒

动画讲解点对点模式和发布订阅模式的区别

视频课

6分14秒

图文讲解Kafka消费者程序每一步的执行原理

视频课

11分28秒

Kafka消费者多种订阅Topic方式&本章内容概述

视频课

8分55秒

用debug源码调试的方式讲解消费者拉取数据的流程

视频课

8分42秒

Fetcher类拉取数据的原理，数据接收缓存原理

视频课

11分2秒

如何优化调整Kafka消费者的相关参数

视频课

6分32秒

明确定义Kafka中各种offset的含义

视频课

5分7秒

动画演示消费者如何向__consumer_offsets中

视频课

6分6秒

源码讲解为什么提交上次拉取到的最大offset值+1

视频课

7分52秒

源码调试：自动提交消费位移真的是每隔5秒就提交一次吗

视频课

1分42秒

图文讲解自动提交消费位移为什么会重复消费数据

视频课

2分33秒

图文演示自动提交消费位移为什么会丢失数据

视频课

3分34秒

图文讲解为什么手动提交消费位移不会丢失数据

视频课

3分25秒

同步提交消费位移的重试提交和阻塞分别是什么含义

视频课

4分13秒

图文演示为什么同步提交消费位移也会产生数据重复

视频课

1分10秒

动画演示为什么异步提交消费位移不支持失败重试

视频课

6分26秒

动画演示如何异步重试提交消费位移

视频课

7分40秒

图文讲解为什么要分阶段提交消费位移

视频课

3分34秒

图文讲解如何自定义反序列化器

视频课

4分28秒

图文讲解如何配置消费者拦截器

视频课

3分12秒

动画讲解RangAssignor分区分配策略原理

视频课

7分13秒

动画讲解RoundRobinAssignor分区分配策

视频课

3分44秒

动画讲解Sticky黏性分区分配策略

视频课

6分51秒

认识CooperativeStickyAssignor

视频课

2分52秒

动画讲解消费者选择GroupCoordinator

视频课

9分47秒

动画演示将心跳间隔设置成多大比较合适

视频课

5分10秒

动画讲解消费者如何借助Coordinato跟踪消费进度

视频课

9分46秒

动画演示新消费者加入消费者组时触发的Rebalance

视频课

8分9秒

动画演示当停止某个消费者时触发的 Rebalance

视频课

3分53秒

动画演示Topic的分区数发生变化时触Rebalance

视频课

3分56秒

动画演示因消费客户端连接超时造成的 Rebalance

视频课

6分31秒

动画演示因处理完一次poll()超时触发Rebalance

视频课

2分38秒

从哪些方面优化避免发生Rebalance以提升消费能力

视频课

8分55秒

动画演示传统的Rebalance都有哪些弊端

视频课

8分57秒

动画演示增量Rebalance 的工作原理以及优势

视频课

11分14秒

动画演示为什么要设置静态消费者成员资格

视频课

7分8秒

静态消费者成员有哪些优势和注意事项

视频课

6分1秒

动画演示Kafka的消费者真正能持续的消费数据吗？

视频课

7分45秒

100

图文讲解Kafka消费者获取消费位移的全流程

视频课

6分25秒

101

源码+图文讲解消费者获取消费位移的全流程

视频课

12分53秒

102

动画演示自动提交消费位移产生数据重复和数据丢失的问题

视频课

7分2秒

103

动画演示同步提交消费位移为什么会产生重复消费

视频课

3分3秒

104

动画演示异步提交消费位移为什么会产生重复消费

视频课

3分14秒

105

动画演示由于消费超时造成的数据重复消费

视频课

4分

106

Kafka的三种交付语义是什么

视频课

3分17秒

107

动画演示什么是Kafka最多交付一次语义

视频课

4分56秒

108

动画演示什么叫Kafka至少交付一次性语义

视频课

3分35秒

109

动画演示在分布式系统中不存在完全意义的精准一次性投递

视频课

7分18秒

110

动画演示Kafka事务如何保证数据的精准一次性交付

视频课

11分40秒

111

全集试看

debug调试跟踪Kafka事务如何保证数据精准一次性消费

视频课

17分33秒

112

debug调试跟踪Kafka的事务日志和消费位移日志

视频课

13分40秒

113

本章内容总结&下节内容展望

视频课

2分20秒

114

基于消费者组水平扩展的方式提升Kafka的消费能力

视频课

7分13秒

115

动画演示优化调整哪些参数可以提升消费者的吞吐量并降低延迟

视频课

5分57秒

116

如何避免发生不必要的Rebalance以提升消费能力

视频课

4分36秒

117

为什么没有必要将Kafka集群的HDD硬盘更换成SSD硬盘

视频课

7分57秒

118

全集试看

动画演示Kafka如何利用PageCache的预读机制技术消费

视频课

4分14秒

119

PageCache 在 Kafka 应用中有哪些作用，原理是什么

视频课

5分43秒

120

什么是MMAP、虚拟内存和物理内存

视频课

6分31秒

121

动画演示：传统读取数据方式的原理和弊端

视频课

7分10秒

122

动画演示：对比mmap零拷贝技术相比read()方法有什么优势

视频课

4分10秒

123

全集试看

动画演示：Kafka在哪里应用到了mmap技术消费数据

视频课

8分28秒

124

动画演示：sendfile和sendfile+SG-DMA零拷贝

视频课

9分9秒

125

动画演示：Kafka借助PageCache预读提升消费速度

视频课

4分43秒

126

如何优化调整PageCache的相关参数

视频课

7分42秒

127

动画演示：Kafka的文件格式如何助力加快消费速度

视频课

8分30秒

128

全集试看

为什么Kafka基于索引消费数据时才会用到mmap映射

视频课

2分9秒

129

分区和消费者数量的关系

视频课

2分8秒

130

Kafka消费者线程安全性和单线程模型的不足

视频课

4分44秒

131

全集试看

使用多线程模式消费数据时需要考虑哪些问题

视频课

5分21秒

132

动画+代码演示如何并行消费Kafka中的数据

视频课

9分29秒

133

有哪些场景属于不方便给Topic增加分区

视频课

4分56秒

134

并行消费者该如何提交消费位移

视频课

4分1秒

135

全集试看

并行消费者有哪三种并行消费方式

视频课

4分24秒

136

如何编写一个并行顺序消费者程序

视频课

3分21秒

137

Parallel Consumer 并行消费数据的架构

视频课

2分29秒

138

源码+图文讲解并行消费者的内部架构原理

视频课

9分20秒

139

并行消费者3种并行消费方式的并行度计算逻辑

视频课

4分33秒

140

全集试看

动画演示Kafka多线程消费如何避免数据重复消费和数据丢失

视频课

5分48秒

四 Topic 和可靠性探究

141

Kafka 分区中日志文件的删除策略和生成机制

视频课

6分55秒

142

全集试看

cleanup.policy=delete策略是日志删除机制

视频课

3分26秒

143

压缩主题的数据保留策略以及触发删除时机

视频课

8分26秒

144

动画演示 Kafka中的压缩主题执行compact的全过程

视频课

8分56秒

145

压缩主题的案例实操

视频课

3分

146

全集试看

Partition 的几个核心offset的含义，LEO、HWM

视频课

8分56秒

五深入理解Broker服务器

147

动画科普定时器、时间轮一级分层时间轮

视频课

16分2秒

148

动画演示Kafka为什么不使用JDK的延时队列实现延时功能

视频课

12分21秒

149

部分试看

动画演示Kafka为什么不使用Netty的时间轮

视频课

8分48秒

150

驱动时间轮、添加延时任务和执行延时任务的总体架构

视频课

8分11秒

151

添加延时任务、设置bucket过期时间的高级理论源码知识

视频课

10分10秒

152

动画演示Kafka如何解决多层时间轮的空转问题

视频课

9分55秒

153

Kafka在哪里使用了时间轮处理延时任务

视频课

6分9秒

154

Kafka时间轮的基本框架和基本概念

视频课

8分43秒

155

动画演示 Kafka 时间轮的工作原理以及复用的机制

视频课

8分47秒

156

动画演示 Kafka 时间轮的升级和降级原理

视频课

7分14秒

六 Zookeeper管理Kafka集群

157

ZK在kafka客户端以及Broker节点间的作用

视频课

6分39秒

158

Broker节点如何与ZK进行通信

视频课

3分33秒

159

Kafka的Broker节点的状态变化

视频课

4分25秒

160

0101 概述讲解Zookeeper在Kafka中的作用

视频课

3分38秒

161

谈谈你对Kafka控制器及选举机制是如何理解的

视频课

9分38秒

162

当ZK全部宕机后，Kafka集群还能正常收发消息吗

视频课

4分46秒

163

Zookeeper的贡献这么大，为什么Kafka还要去掉它

视频课

7分51秒

164

全集试看

动画演示Kafka为什么用KRaft取去Zookeeper

视频课

11分36秒

165

动画演示：Kafka 为什么坚持用 KRaft 替代 ZK

视频课

8分58秒

166

Kafka为什么要去掉ZK之Controller关键时间长

视频课

8分36秒

167

Kafka取出ZK依赖的理论和实践总结

视频课

2分18秒

七基于KRaft管理Kafka

168

动画演示：Raft算法中的状态机的作用

视频课

8分54秒

169

动画演示：Raft算法中Leader节点的选举过程

视频课

7分30秒

170

动画演示Raft算法的Leader的Failover过程

视频课

8分7秒

171

动画演示Raft算法的投票分裂过程

视频课

8分33秒

172

部分试看

动画演示Raft算法的日志同步和提交过程

视频课

13分54秒

173

动画演示Raft算法如何修复日志不一致性问题

视频课

10分53秒

174

动画演示Raft算法如何保证数据的安全性

视频课

7分44秒

175

使用ZooKeeper管理Kafka集群有哪些不足

视频课

5分49秒

176

动画演示Raft和KRaft有哪些不同，为什么改造成KRaft

视频课

6分14秒

177

动画演示使用KRaft管理Kafka相比用ZK有哪些优势

视频课

10分38秒

178

动画演示KRaft模式中Controller日志复制过程

视频课

7分32秒

179

动画对比演示KRaft和ZK模式中Controller选举过程

视频课

6分15秒