Kafka快速入门与实战
胡夕
人人贷计算平台部总监，Apache Kafka Contributor
立即订阅
2 人已学习
课程目录
已完结 5 讲
01 | Kafka体系架构：一篇文章带你快速搞懂Kafka术语
02 | Kafka版本：你知道如何挑选Kafka吗？
03 | 部署方案：生产环境中的 Kafka 集群方案该怎么做？
04 | 最最最重要的集群参数（上）：如何配置Broker端参数？
05 | 最最最重要的集群参数（下）：如何配置Topic、JVM和操作系统参数？
Kafka快速入门与实战
登录|注册
03 | 部署方案：生产环境中的 Kafka 集群方案该怎么做？
胡夕 2020-01-07
专栏前面几期内容，我分别从 Kafka 的定位、版本的变迁以及功能的演进等几个方面循序渐进地梳理了 Apache Kafka 的发展脉络。通过这些内容，我希望你能清晰地了解 Kafka 是用来做什么的，以及在实际生产环境中该如何选择 Kafka 版本，更快地帮助你入门 Kafka。
现在我们就来看看在生产环境中的 Kafka 集群方案该怎么做。既然是集群，那必然就要有多个 Kafka 节点机器，因为只有单台机器构成的 Kafka 伪集群只能用于日常测试之用，根本无法满足实际的线上生产需求。而真正的线上环境需要仔细地考量各种因素，结合自身的业务需求而制定。下面我就分别从操作系统、磁盘、磁盘容量和带宽等方面来讨论一下。
操作系统
首先我们先看看要把 Kafka 安装到什么操作系统上。说起操作系统，可能你会问 Kafka 不是 JVM 系的大数据框架吗？Java 又是跨平台的语言，把 Kafka 安装到不同的操作系统上会有什么区别吗？其实区别相当大！
的确，如你所知，Kafka 由 Scala 语言和 Java 语言编写而成，编译之后的源代码就是普通的“.class”文件。本来部署到哪个操作系统应该都是一样的，但是不同操作系统的差异还是给 Kafka 集群带来了相当大的影响。目前常见的操作系统有 3 种：Linux、Windows 和 macOS。应该说部署在 Linux 上的生产环境是最多的，也有一些 Kafka 集群部署在 Windows 服务器上。Mac 虽然也有 macOS Server，但是我怀疑是否有人（特别是国内用户）真的把生产环境部署在 Mac 服务器上。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka快速入门与实战》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(2)
Mr-Z最后服务器数量计算那个地方，一小时处理一个T，一秒应该是1024*1024/3600(约292M)呀，应该是两台就够了吧？考虑备份，应该是6台呢？2020-01-10 2 2
闫冬Io 五种模型
部署在linux 底层是epoll模型 部署在windows是select 模型 而epoll比select性能更好
根据公司情况 如果为了节约成本 可以用普通磁盘 kafak已经做了性能优化
kafka支持数据的压缩
带宽非常容易成为瓶颈
1gbs 千兆网络为例 过70%就可能丢包 单台服务器 平时参考2/32020-01-10
收起评论