04 | 我应该选择哪种Kafka?
该思维导图由 AI 生成,仅供参考
- 深入了解
- 翻译
- 解释
- 总结
Kafka已经不再是一个单纯的消息引擎系统,而是能够实现精确一次处理语义的实时流处理平台。本文介绍了Kafka的发展脉络和生态圈现状,对于指导读者选择合适的Kafka版本具有裨益。文章梳理了Apache Kafka、Confluent Kafka以及Cloudera/Hortonworks Kafka等多个“发行版”,并介绍了它们的特点和适用场景。此外,还提到了Kafka Streams组件和Kafka Connect组件,以及它们在构建Kafka生态圈中的重要作用。对于读者来说,了解这些不同版本的Kafka以及它们的特点,有助于选择适合自己需求的Kafka版本。文章内容涉及技术性较强,对于从事流处理领域或对Kafka感兴趣的读者具有一定的参考价值。 Apache Kafka是开发人数最多、版本迭代速度最快的Kafka,具有高把控度,但缺乏高级特性。Confluent Kafka集成了许多高级特性,但在国内普及率较低。CDH/HDP Kafka操作简单,但把控度低,演进速度较慢。读者可以根据实际需求选择合适的Kafka版本。
《Kafka 核心技术与实战》,新⼈⾸单¥68
全部留言(55)
- 最新
- 精选
- yellowcloud老师,您好,目前我们使用kafka时,使用的监控工具是kafka manager,后面也尝试过 kafka eagle,但是总是感觉这两款工具做的不尽如人意,有的甚至已经很长时间不维护了,老师能不能推荐下好的监控工具呢?
作者回复: 试试JMXTrans + InfluxDB + Grafana
2019-06-12267 - 张亮滴滴开源https://github.com/didi/Logi-KafkaManager,是目前市面上最好用的一站式 Kafka 集群指标监控与运维管控平台,欢迎体验交流
作者回复: 支持!前些天试用了一下,非常惊艳!
2021-02-06638 - 高志强最近接触使用到了两种kafka监控软件,一个是 kafka tools ,能够清晰的看到kafka存储结构。一个是 granafa,能看到消费的折线图。感觉棒棒哒~
作者回复: 👍
2019-12-0530 - 永光按照文章说的,我理解现在国内大部分用的都是apache kafka 是这样吧?
作者回复: 就我这边观察到的,Confluent很少,创业公司多是CDH,大厂一般使用Apache Kafka,并且自己做了定制和改造
2019-06-1114 - 疯琴请问老师,kafka是否可以调整一个时间窗口内先发生却后到达的错序数据,使其可以按照事件时间戳的正确顺序被消费?
作者回复: 需要使用Kafka Streams组件或其他流处理框架编写流处理应用来实现。这是典型的event time windowing场景。 不过具体实现时要微调一下:不是按照事件时间戳的正确顺序被消费,而是保证late message也会被及时处理,并且对状态的影响有且只会有一次。
2019-06-11211 - 技术修行者选择哪个Kafka版本,更多取决于项目性质: 1. 如果是非常紧急的项目,优先选择商业版,毕竟花了钱以后,有人support。 2. 如果是研究性质或者时间相对宽松的项目,选择Apache Kafka,可以在和社区不断交流的过程中加深理解,根据项目需求,做一些定制。
作者回复: 完全同意:)
2020-03-076 - 风中花一口气看完4篇,有种从入门到放弃得感觉,感觉越来越重,越来越迷茫! 调整下,调整下,继续坚持下吧,集成得对于菜鸟合适只想用用,如果真得想玩转它控制它还是社区版本。或者有钱整个全套收费得也是一省百省。呵呵
作者回复: 别放弃!有的时候坚持一下就过去了。我当初看源码就是这样的体会:)
2019-06-1126 - 莱茵金属我想问下kafka性能测试工具有哪些?
作者回复: 没有特别好的工具。Kafka自己提供了kafka-producer-perf-test和kafka-consumer-perf-test脚本可以做producer和consumer的性能测试。另外LinkedIn开源了一款名为kafka-monitor的端到端系统测试工具,也可以用来测试Kafka集群end-to-end的性能。有些遗憾的是这个工具几乎没什么人维护了,你可以试试吧(https://github.com/linkedin/kafka-monitor)
2019-06-116 - 朱广彬老师,Client/Broker 跨版本具体会带来什么性能影响呢?Kafka 在1.1版本后做了协议兼容,允许Client/Broker 协议不一致。如果生产上Client/Broker 协议不一致,除了新协议的功能上不兼容,性能上有什么影响呢?比如Client 是1.1而Broker 是2.3,会不会影响比如Zero copy 而导致性能下降?
作者回复: 功能上是兼容的,只是性能上可能会有影响,因为可能出现需要把消息格式向下转换成老版本的额外中间步骤,增加了延时,降低了TPS
2019-09-035 - 老杜去哪儿老师,咨询个问题,最近通过spingboot使用非注解方式配置kafka消费者,每一段时间会出现(Re-)joining group的情况,导致即便少量消息也会堆积直到消费者挂上,出现这种情况的原因大概会有哪些呢, 配置如下: Properties props = new Properties(); props.put("bootstrap.servers", env.getBootserver()); // 每个消费者分配独立的组号 props.put("group.id", env.getGroupId()); // 如果value合法,则自动提交偏移量 props.put("enable.auto.commit", "false"); // 设置多久一次更新被消费消息的偏移量 props.put("auto.commit.interval.ms", "1000"); // 设置会话响应的时间,超过这个时间kafka可以选择放弃消费或者消费下一条消息 props.put("session.timeout.ms", "30000"); props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "100"); props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 600000); // 自动重置offset props.put("auto.offset.reset", "earliest"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); DefaultKafkaConsumerFactory kafkaConsumerFactory = new DefaultKafkaConsumerFactory(props); ContainerProperties containerProperties = new ContainerProperties(topicName); containerProperties.setMessageListener(this); containerProperties.setPollTimeout(300000); ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor(); executor.setCorePoolSize(3); executor.initialize(); containerProperties.setConsumerTaskExecutor(executor); KafkaMessageListenerContainer container = new KafkaMessageListenerContainer(kafkaConsumerFactory, containerProperties);
作者回复: 1. 查看一下你的程序中是否频繁创建KafkaConsumer实例; 2. 查看一下你的消息平均处理时间是否超过10分钟
2019-06-1225