37 | 主流的Kafka监控框架
该思维导图由 AI 生成,仅供参考
JMXTool 工具
- 深入了解
- 翻译
- 解释
- 总结
Kafka监控框架是Kafka集群管理中的重要组成部分。本文介绍了几种主流的Kafka监控框架,包括JMXTool工具、Kafka Manager和Burrow。JMXTool工具是一个简单的工具,用于实时查看Kafka JMX指标,适用于一般简单的监控场景。Kafka Manager是由雅虎公司开源的监控框架,提供丰富的实时监控指标和适当的管理功能,适合一般的Kafka集群监控。Burrow是LinkedIn开源的框架,专门监控消费者进度,虽然功能有限且发展缓慢,但质量有保证,适合熟悉Go语言生态的用户。文章还介绍了JMXTrans + InfluxDB + Grafana的组合,以及Confluent Control Center,展示了它们的监控功能和特点。此外,还提到了其他开源的Kafka监控框架,如Kafka Monitor、Kafka Offset Monitor和Kafka Eagle。总的来说,本文全面梳理了这些主流的Kafka监控框架,为读者提供了快速了解Kafka监控框架的概览。文章内容丰富,涵盖了多种监控框架的特点和适用场景,对于需要搭建Kafka监控系统的读者具有很高的参考价值。
《Kafka 核心技术与实战》,新⼈⾸单¥68
全部留言(27)
- 最新
- 精选
- 张亮https://github.com/didi/Logi-KafkaManager 一站式Apache Kafka集群指标监控与运维管控平台,1600+Star,650+ 用户的选择,绝对的好用的Kafka监控利器!
作者回复: 👍
2021-02-15314 - 李沁搜了一下kafka manager,已经找不到了,最后发现已经改名叫CMAK(Cluster Manager for Apache Kafka)
作者回复: 嗯嗯,各类框架发展得太快了
2020-10-3036 - 张瑞松老师你好,我们最近在做kafka数据层面的监控,就是消息情况的监控,包括状态,生产消费时差,消息趋势等,这一方面的工具,老师这边有好的建议吗?
作者回复: 目前监控基本上是找主流的监控框架,支持JMX监控的就行,比如Prometheus
2020-04-062 - kennyji有个地方不太准确 BytesInPerSec是leader副本的入流量 并不等于网卡流量 要关注带宽指标还是需要具体看网卡的流量指标
作者回复: hmmmm.... 好像我没有说BytesInPerSec=网卡流量,BytesInPerSec是broker端的入站流量。如果接近带宽,需要调整broker上的负载。
2019-10-172 - 外星人请求积压,监控两个idle就好吧?但是具体哪些请求积压和哪些ip的请求,这块还不清楚,求指教。
作者回复: 目前只能监控是否存在请求积压,无法确认到底是那些请求积压的
2019-08-282 - ykkk88老师 生产环境建议用confluent免费版本的kafka么 比如5.3版本基于apache kafka 2.3的?我们想自己搭kafka 在confluent和apache里面选一个,都是免费的
作者回复: confluent免费版不错的,可以用:)
2019-08-272 - 风轻扬老师,您说的去kafka官网搜索--object-names,这个参数在官网怎么搜索啊?官网左侧的tab都点开搜了,没有看到。☹️
作者回复: 主要是这里:http://kafka.apache.org/documentation/#monitoring
2020-05-261 - 稳健的少年老师,Kafka Manager貌似不支持Kafka 2.x版本吧
作者回复: 可以支持
2019-08-2731 - Jamesbroker存在请求积压是指客户端发送的请求没及时处理吗.
作者回复: 是的。都积压在broker端等待后续处理
2020-07-05 - 婷我用kafka-manager链接集群后,topics显示为0。请教老师,该如何去排查问题。
作者回复: 先确定问题出现在那端吧?比如使用kafka-topics脚本确认下topic数量。
2019-12-04