28 | 主题管理知多少?
该思维导图由 AI 生成，仅供参考
主题日常管理
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
Kafka主题管理是Kafka集群中的重要组成部分，涉及主题的创建、查询、修改和删除等日常管理操作。文章首先介绍了使用kafka-topics脚本创建和查询主题的命令，并强调了从Kafka 2.2版本开始推荐使用--bootstrap-server参数替代--zookeeper参数。接着详细讨论了主题的修改操作，包括修改分区数、主题级别参数、副本数、限速以及分区迁移。最后，文章提到了删除主题的操作，并指出删除操作是异步的，需要耐心等待。 此外，文章还介绍了Kafka内部主题__consumer_offsets和__transaction_state的管理方法，以及常见主题错误处理方法。对于__consumer_offsets主题，文章提到了如何手动修改副本数以及查看消费者组提交的位移数据和状态信息。对于常见错误，文章提供了解决方法，包括主题删除失败和__consumer_offsets占用过多磁盘空间的处理建议。 总的来说，本文深入浅出地介绍了Kafka主题管理的方方面面，为读者提供了全面的了解和操作指南。同时，通过介绍内部主题的管理和常见错误处理，为读者提供了更深入的技术知识和问题解决思路。
《Kafka 核心技术与实战》，新⼈⾸单¥68
全部留言(36)
- 最新
- 精选
Fever因为多个broker节点都冗余有分区的数据，减少分区数需要操作多个broker且需要迁移该分区数据到其他分区。如果是按消息key hash选的分区，那么迁移就不知道迁到哪里了，因为只有业务代码可以决定放在哪。不知道我想的对不对。作者回复: 我觉得很有道理：）
2019-08-06435
lmtoo如果增加分区，那旧分区的数据会自动转移吗？作者回复: 不会的。
2019-08-0614
Ryoma新增分区后，之前按 key 保证消息有序性，是否会因为新增分区，导致指定 key 被分配到其它分区作者回复: 会的
2020-02-21211
玉剑冰锋想请教一下老师，kafka集群中（3台）对topic数量和partitions数量有限制吗？或者有参考值吗？作者回复: 没有硬性要求，不过新一点的Kafka集群上最好不要超过2000个topic
2019-08-068
柯察金老师，关于限速有两个问题： 第一，设置 topic 限速的适合，是针对主题副本所在的 broker 设置参数，那么这样会影响到其他的主题吗？ 第二，现在 kafka 限速是没有租户隔离的，如果要针对一个主题内的租户进行限速，有什么好的方案吗作者回复: 1. 针对单个topic的不会影响其他主题 2. Kafka支持userID和clientID级别的限速设置
2019-12-156
皇家救星老师，您好。请问您能不能介绍kafka怎么优雅停止集群中的一台broker。因为根据您的文章我了解到一个broker可能是整个集群的控制中心，也可能是某几个分区的leader，如果直接kill进程，需要集群重新选举后才恢复正常，感觉比较粗暴（会不会有选举失败的风险）。如果我有一台broker想短暂下线重启，怎么做比较好。作者回复: 可以先确定这个broker的角色，如果身兼数职，可以考虑先给它卸下一些重担？
2019-08-066
胡小禾同问：集群中的某一台broker如何优雅停机？ 先重启，再kill ？作者回复: 实际场景中直接关闭broker就行
2020-05-234
归零老师，在修改主题的时候，命令--bootstrap-server broker_host:port 指定的是一个broker，如果一个集群有多个broker，需要依次执行吗？作者回复: 不需要。指定2~3个就可以了
2021-02-211- 黄振游增加了3个分区后，发现集群里只有一个broker增加了，其他broker还是只有一个，是什么原因呢
作者回复: 说明增加的3个分区的leader副本都在那个broker上
2021-02-021 - Geek_4254d8请问一下，在谈到消费者组冲彭亨全流程的时候不是提到，只有empty状态的组才会删除过期位移数据，那__consumer_offsets 占用太多的磁盘有没可能是消费者组一直很稳定，没有出现过重平衡导致长时间没进入empty状态呢
作者回复: 即使消费者组是active状态，Kafka依然可以清理__consumer_offsets的过期数据，而不影响消费者组的位移保存。如果__consumer_offsets占用太多资源，通常都是已知的bug造成的。比如cleaner线程挂掉了
2020-09-2621
