11 | Controller元数据：Controller都保存有哪些东西？有几种状态？
案例分享
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
Kafka的Controller组件是整个集群中最核心的部分之一，负责领导者副本的选举和元数据信息的同步。本文深入解析了Controller元数据和相关类的定义，为读者提供了深入了解Kafka Controller组件的基础知识。文章介绍了ControllerContext类中的重要元数据，如ControllerStats类的统计信息，以及掌握这些元数据有助于理解元数据缓存。此外，还介绍了Controller事件状态的执行速率与时间的统计信息，强调了对一些Controller事件的额外关注的重要性。文章还详细解释了Controller元数据中的重要字段，如offlinePartitionCount、shuttingDownBrokerIds、liveBrokers等，以及它们在Controller操作中的作用和实际应用。通过对Controller元数据的深入了解，读者可以更清晰地理解Controller在Kafka集群中的作用和重要性。同时，文章还提供了一些源码示例，帮助读者更好地理解Controller元数据的实际应用和操作方法。总的来说，本文为读者提供了一个全面的Kafka Controller组件概览，使他们能够快速了解并掌握这一关键组件的核心知识。
《Kafka 核心源码解读》，新⼈⾸单¥59
全部留言(10)
- 最新
- 精选
胡夕置顶你好，我是胡夕。我来公布上节课的“课后讨论”题答案啦～ 上节课，咱们重点了解了Kafka中重要的源码入口类KafkaApis。课后我请你思考如果一个Consumer要向Broker提交位移，它应该具备什么权限以及声明权限的具体代码位置哪段代码。下面我给出我的答案：消费者要具有GROUP的READ权限和TOPIC的READ权限才能提交位移。具体代码位置在handleOffsetCommitRequest方法的这两行中： if (!authorize(request.context, READ, GROUP, offsetCommitRequest.data.groupId)) { ...... } else { ...... val authorizedTopics = filterByAuthorized(request.context, READ, TOPIC, topics)(_.name) ...... } okay，你同意这个说法吗？或者说你有其他的看法吗？我们可以一起讨论下。2020-05-191
曾轼麟我个人比较期待kafka摆脱zookeeper的时候，之前看过一篇文章，对比kafka和RocketMQ的性能对比，其中总结出，kafka的性能会受到topic数量的增加而下降，看了源码后才逐渐明白其实制约kafka的正是zookeeper作者回复: 个人感觉性能的那个问题和ZooKeeper关系不大。主要还是分区路径太分散导致顺序IO变为随机IO
2020-05-3146- 曾轼麟partitionLeadershipInfo存储的主要是leader，leaderEpoch，isr集合，zkVersion，这些都定义在LeaderAndIsr这个类里面
作者回复: 👍
2020-05-311 
伯安知心partitionLeadershipInfo总的来说每个分区对应的分区主副本，isr集合，还有controller的epoch数，作者回复: 嗯，是的
2020-05-151
吃饭饭z这里怎么理解【将集群上所有新分区和 Offline 分区状态变更为 Online 状态；】直接把 deadBrokers 标记为 Offline 不就可以了吗？作者回复: 没太明白这个问题。到底是online还是offline的问题？
2021-08-05- 曾轼麟在kafka中我发现经常使用epoch的方式来判断版本新旧，其实epoch这种设计思想类似于乐观锁的方式
作者回复: 应该算是token机制的一种
2020-05-31 - 伯安知心您说删除的watcher，oncontrollerfailover重新初始化上下文，我感觉代价昂贵了些，就应该做这么多事吗？
作者回复: 可以具体说说哪一步在您看来是多余的，也许是个优化的方向：）
2020-05-152 - 伯安知心还有请问partitionLeadershipInfo中controller的epoch是干吗的呢？
作者回复: 你可以认为是controller换了多少次。比如epoch = 5，说明controller前前后后更换过6次
2020-05-152 
鸣己我有遇到过一个集群有三个controller;它们好像谁也不服谁，导致好多topic没leader2021-03-251
张子涵val partitionLeadershipInfo = mutable.Map.empty[TopicPartition, LeaderIsrAndControllerEpoch] def removeTopic(topic: String): Unit = { allTopics -= topic partitionAssignments.remove(topic) partitionLeadershipInfo.foreach { case (topicPartition, _) if topicPartition.topic == topic => partitionLeadershipInfo.remove(topicPartition) case _ => } } 根据partitionLeadershipInfo定义，以及在removeTopic方法中partitionLeadershipInfo的应用，可大概理解partitionLeadershipInfo中存储的是分区以及leader epoch 类似变更版本信息2020-08-24
