Kafka快速入门与实战
胡夕
人人贷计算平台部总监,Apache Kafka Contributor
立即订阅
2 人已学习
课程目录
已完结 5 讲
01 | Kafka体系架构:一篇文章带你快速搞懂Kafka术语
02 | Kafka版本:你知道如何挑选Kafka吗?
03 | 部署方案:生产环境中的 Kafka 集群方案该怎么做?
04 | 最最最重要的集群参数(上):如何配置Broker端参数?
05 | 最最最重要的集群参数(下):如何配置Topic、JVM和操作系统参数?
Kafka快速入门与实战
登录|注册

04 | 最最最重要的集群参数(上):如何配置Broker端参数?

胡夕 2020-01-07
你好,我是胡夕。今天我想和你聊聊最最最重要的 Kafka 集群配置。我这里用了 3 个“最”字并非哗众取宠,而是因为有些配置的重要性并未体现在官方文档中,并且从实际表现看,很多参数对系统的影响要比从文档上看更加明显,因此很有必要集中讨论一下。
我希望通过两期内容把这些重要的配置讲清楚。严格来说这些配置并不单单指 Kafka 服务器端的配置,其中既有 Broker 端参数,也有主题(后面我用我们更熟悉的 Topic 表示)级别的参数、JVM 端参数和操作系统级别的参数。
需要你注意的是,这里所说的 Broker 端参数也被称为静态参数(Static Configs)。我会在专栏后面介绍与静态参数相对应的动态参数。所谓静态参数,是指你必须在 Kafka 的配置文件 server.properties 中进行设置的参数,不管你是新增、修改还是删除。同时,你必须重启 Broker 进程才能令它们生效。而主题级别参数的设置则有所不同,Kafka 提供了专门的 kafka-configs 命令来修改它们。至于 JVM 和操作系统级别参数,它们的设置方法比较通用化,我介绍的也都是标准的配置参数,因此,你应该很容易就能够对它们进行设置。
下面我先从 Broker 端参数说起。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka快速入门与实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(1)

  • 咩咩咩
    老师好,最近遇到一个棘手的问题.在开发环境应用可以正常连接kafka进行生产和消费,但是在测试环境推送日志时,使用控制台生产者报 ErrorLoggingCallBack:Expiring 1 record(s) for topic1-0 200ms has passed since batch creation plus linger time,使用java 推送报 failed to update metadata after 6000 ms
    2020-01-10
收起评论
1
返回
顶部