Kafka核心源码解读
胡夕
Apache Kafka Committer,老虎证券技术总监
新⼈⾸单¥19.9
3969 人已学习
课程目录
已完结 44 讲
0/4登录后,你可以任选4讲全文学习。
课前必学 (3讲)
开篇词 | 阅读源码,逐渐成了职业进阶道路上的“必选项”
免费
导读 | 构建Kafka工程和源码阅读环境、Scala语言热身
重磅加餐 | 带你快速入门Scala语言
日志模块 (5讲)
01 | 日志段:保存消息文件的对象是怎么实现的?
02 | 日志(上):日志究竟是如何加载日志段的?
03 | 日志(下):彻底搞懂Log对象的常见操作
04 | 索引(上):改进的二分查找算法在Kafka索引的应用
05 | 索引(下):位移索引和时间戳索引的区别是什么?
请求处理模块 (5讲)
06 | 请求通道:如何实现Kafka请求队列?
07 | SocketServer(上):Kafka到底是怎么应用NIO实现网络通信的?
08 | SocketServer(中):请求还要区分优先级?
09 | SocketServer(下):请求处理全流程源码分析
10 | KafkaApis:Kafka最重要的源码入口,没有之一
Controller模块 (5讲)
11 | Controller元数据:Controller都保存有哪些东西?有几种状态?
12 | ControllerChannelManager:Controller如何管理请求发送?
13 | ControllerEventManager:变身单线程后的Controller如何处理事件?
14 | Controller选举是怎么实现的?
15 | 如何理解Controller在Kafka集群中的作用?
状态机模块 (3讲)
16 | TopicDeletionManager: Topic是怎么被删除的?
17 | ReplicaStateMachine:揭秘副本状态机实现原理
18 | PartitionStateMachine:分区状态转换如何实现?
延迟操作模块 (2讲)
19 | TimingWheel:探究Kafka定时器背后的高效时间轮算法
20 | DelayedOperation:Broker是怎么延时处理请求的?
副本管理模块 (6讲)
21 | AbstractFetcherThread:拉取消息分几步?
22 | ReplicaFetcherThread:Follower拉取Leader消息是如何实现的?
23 | ReplicaManager(上):必须要掌握的副本管理类定义和核心字段
24 | ReplicaManager(中):副本管理器是如何读写副本的?
25 | ReplicaManager(下):副本管理器是如何管理副本的?
26 | MetadataCache:Broker是怎么异步更新元数据缓存的?
消费者组管理模块 (7讲)
27 | 消费者组元数据(上):消费者组都有哪些元数据?
28 | 消费者组元数据(下):Kafka如何管理这些元数据?
29 | GroupMetadataManager:组元数据管理器是个什么东西?
30 | GroupMetadataManager:位移主题保存的只是位移吗?
31 | GroupMetadataManager:查询位移时,不用读取位移主题?
32 | GroupCoordinator:在Rebalance中,Coordinator如何处理成员入组?
33 | GroupCoordinator:在Rebalance中,如何进行组同步?
特别放送 (5讲)
特别放送(一)| 经典的Kafka学习资料有哪些?
特别放送(二)| 一篇文章带你了解参与开源社区的全部流程
特别放送(三)| 我是怎么度过日常一天的?
特别放送(四)| 20道经典的Kafka面试题详解
特别放送(五) | Kafka 社区的重磅功能:移除 ZooKeeper 依赖
期中、期末测试 (2讲)
期中测试 | 这些源码知识,你都掌握了吗?
期末测试 | 一套习题,测试你的掌握程度
结束语 (1讲)
结束语 | 源码学习,我们才刚上路呢
Kafka核心源码解读
15
15
1.0x
00:00/00:00
登录|注册

11 | Controller元数据:Controller都保存有哪些东西?有几种状态?

胡夕 2020-05-14
你好,我是胡夕。从今天开始,我们正式进入到第三大模块的学习:控制器(Controller)模块 。
提起 Kafka 中的 Controller 组件,我相信你一定不陌生。从某种意义上说,它是 Kafka 最核心的组件。一方面,它要为集群中的所有主题分区选举领导者副本;另一方面,它还承载着集群的全部元数据信息,并负责将这些元数据信息同步到其他 Broker 上。既然我们是 Kafka 源码解读课,那就绝对不能错过这么重量级的组件。
我画了一张图片,希望借助它帮你建立起对这个模块的整体认知。今天,我们先学习下 Controller 元数据。

案例分享

在正式学习源码之前,我想向你分享一个真实的案例。
在我们公司的 Kafka 集群环境上,曾经出现了一个比较“诡异”的问题:某些核心业务的主题分区一直处于“不可用”状态。
通过使用“kafka-topics”命令查询,我们发现,这些分区的 Leader 显示是 -1。之前,这些 Leader 所在的 Broker 机器因为负载高宕机了,当 Broker 重启回来后,Controller 竟然无法成功地为这些分区选举 Leader,因此,它们一直处于“不可用”状态。
由于是生产环境,我们的当务之急是马上恢复受损分区,然后才能调研问题的原因。有人提出,重启这些分区旧 Leader 所在的所有 Broker 机器——这很容易想到,毕竟“重启大法”一直很好用。但是,这一次竟然没有任何作用。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka核心源码解读》,如需阅读全部文章,
请订阅文章所属专栏新⼈⾸单¥19.9
立即订阅
登录 后留言

精选留言(8)

  • 胡夕 置顶
    你好,我是胡夕。我来公布上节课的“课后讨论”题答案啦~

    上节课,咱们重点了解了Kafka中重要的源码入口类KafkaApis。课后我请你思考如果一个Consumer要向Broker提交位移,它应该具备什么权限以及声明权限的具体代码位置哪段代码。下面我给出我的答案:消费者要具有GROUP的READ权限和TOPIC的READ权限才能提交位移。具体代码位置在handleOffsetCommitRequest方法的这两行中:
    if (!authorize(request.context, READ, GROUP, offsetCommitRequest.data.groupId)) {
    ......
    } else {
    ......
    val authorizedTopics = filterByAuthorized(request.context, READ, TOPIC, topics)(_.name)
    ......
    }

    okay,你同意这个说法吗?或者说你有其他的看法吗?我们可以一起讨论下。
    2020-05-19
  • 曾轼麟
    我个人比较期待kafka摆脱zookeeper的时候,之前看过一篇文章,对比kafka和RocketMQ的性能对比,其中总结出,kafka的性能会受到topic数量的增加而下降,看了源码后才逐渐明白其实制约kafka的正是zookeeper

    作者回复: 个人感觉性能的那个问题和ZooKeeper关系不大。主要还是分区路径太分散导致顺序IO变为随机IO

    2020-05-31
    2
    2
  • 张子涵
    val partitionLeadershipInfo = mutable.Map.empty[TopicPartition, LeaderIsrAndControllerEpoch]

    def removeTopic(topic: String): Unit = {
        allTopics -= topic
        partitionAssignments.remove(topic)
        partitionLeadershipInfo.foreach {
          case (topicPartition, _) if topicPartition.topic == topic => partitionLeadershipInfo.remove(topicPartition)
          case _ =>
        }
      }
    根据partitionLeadershipInfo定义,以及在removeTopic方法中partitionLeadershipInfo的应用,可大概理解partitionLeadershipInfo中存储的是分区以及leader epoch 类似变更版本信息
    2020-08-24
  • 曾轼麟
    在kafka中我发现经常使用epoch的方式来判断版本新旧,其实epoch这种设计思想类似于乐观锁的方式

    作者回复: 应该算是token机制的一种

    2020-05-31
  • 曾轼麟
    partitionLeadershipInfo存储的主要是leader,leaderEpoch,isr集合,zkVersion,这些都定义在LeaderAndIsr这个类里面

    作者回复: 👍

    2020-05-31
  • 伯安知心
    您说删除的watcher,oncontrollerfailover重新初始化上下文,我感觉代价昂贵了些,就应该做这么多事吗?

    作者回复: 可以具体说说哪一步在您看来是多余的,也许是个优化的方向:)

    2020-05-15
    1
  • 伯安知心
    还有请问partitionLeadershipInfo中controller的epoch是干吗的呢?

    作者回复: 你可以认为是controller换了多少次。比如epoch = 5,说明controller前前后后更换过6次

    2020-05-15
    1
  • 伯安知心
    partitionLeadershipInfo总的来说每个分区对应的分区主副本,isr集合,还有controller的epoch数,

    作者回复: 嗯,是的

    2020-05-15
收起评论
8
返回
顶部