Kafka 核心技术与实战
胡夕
Apache Kafka Committer,老虎证券技术总监
52815 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 47 讲
开篇词 (1讲)
结束语 (1讲)
Kafka 核心技术与实战
15
15
1.0x
00:00/00:00
登录|注册

37 | 主流的Kafka监控框架

开放讨论
其他监控框架
Confluent Control Center
JMXTrans + InfluxDB + Grafana
Burrow
Kafka Manager
JMXTool工具
Kafka监控框架

该思维导图由 AI 生成,仅供参考

你好,我是胡夕。今天我要和你分享的主题是:那些主流的 Kafka 监控框架。
在上一讲中,我们重点讨论了如何监控 Kafka 集群,主要是侧重于讨论监控原理和监控方法。今天,我们来聊聊具体的监控工具或监控框架。
令人有些遗憾的是,Kafka 社区似乎一直没有在监控框架方面投入太多的精力。目前,Kafka 的新功能提议已超过 500 个,但没有一个提议是有关监控框架的。当然,Kafka 的确提供了超多的 JMX 指标,只是,单独查看这些 JMX 指标往往不是很方便,我们还是要依赖于框架统一地提供性能监控。
也许,正是由于社区的这种“不作为”,很多公司和个人都自行着手开发 Kafka 监控框架,其中并不乏佼佼者。今天我们就来全面地梳理一下主流的监控框架。

JMXTool 工具

首先,我向你推荐 JMXTool 工具。严格来说,它并不是一个框架,只是社区自带的一个工具罢了。JMXTool 工具能够实时查看 Kafka JMX 指标。倘若你一时找不到合适的框架来做监控,JMXTool 可以帮你“临时救急”一下。
Kafka 官网没有 JMXTool 的任何介绍,你需要运行下面的命令,来获取它的使用方法的完整介绍。
bin/kafka-run-class.sh kafka.tools.JmxTool
JMXTool 工具提供了很多参数,但你不必完全了解所有的参数。我把主要的参数说明列在了下面的表格里,你至少要了解一下这些参数的含义。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

Kafka监控框架是Kafka集群管理中的重要组成部分。本文介绍了几种主流的Kafka监控框架,包括JMXTool工具、Kafka Manager和Burrow。JMXTool工具是一个简单的工具,用于实时查看Kafka JMX指标,适用于一般简单的监控场景。Kafka Manager是由雅虎公司开源的监控框架,提供丰富的实时监控指标和适当的管理功能,适合一般的Kafka集群监控。Burrow是LinkedIn开源的框架,专门监控消费者进度,虽然功能有限且发展缓慢,但质量有保证,适合熟悉Go语言生态的用户。文章还介绍了JMXTrans + InfluxDB + Grafana的组合,以及Confluent Control Center,展示了它们的监控功能和特点。此外,还提到了其他开源的Kafka监控框架,如Kafka Monitor、Kafka Offset Monitor和Kafka Eagle。总的来说,本文全面梳理了这些主流的Kafka监控框架,为读者提供了快速了解Kafka监控框架的概览。文章内容丰富,涵盖了多种监控框架的特点和适用场景,对于需要搭建Kafka监控系统的读者具有很高的参考价值。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《Kafka 核心技术与实战》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(27)

  • 最新
  • 精选
  • 张亮
    https://github.com/didi/Logi-KafkaManager 一站式Apache Kafka集群指标监控与运维管控平台,1600+Star,650+ 用户的选择,绝对的好用的Kafka监控利器!

    作者回复: 👍

    2021-02-15
    3
    14
  • 李沁
    搜了一下kafka manager,已经找不到了,最后发现已经改名叫CMAK(Cluster Manager for Apache Kafka)

    作者回复: 嗯嗯,各类框架发展得太快了

    2020-10-30
    3
    6
  • 张瑞松
    老师你好,我们最近在做kafka数据层面的监控,就是消息情况的监控,包括状态,生产消费时差,消息趋势等,这一方面的工具,老师这边有好的建议吗?

    作者回复: 目前监控基本上是找主流的监控框架,支持JMX监控的就行,比如Prometheus

    2020-04-06
    2
  • kennyji
    有个地方不太准确 BytesInPerSec是leader副本的入流量 并不等于网卡流量 要关注带宽指标还是需要具体看网卡的流量指标

    作者回复: hmmmm.... 好像我没有说BytesInPerSec=网卡流量,BytesInPerSec是broker端的入站流量。如果接近带宽,需要调整broker上的负载。

    2019-10-17
    2
  • 外星人
    请求积压,监控两个idle就好吧?但是具体哪些请求积压和哪些ip的请求,这块还不清楚,求指教。

    作者回复: 目前只能监控是否存在请求积压,无法确认到底是那些请求积压的

    2019-08-28
    2
  • ykkk88
    老师 生产环境建议用confluent免费版本的kafka么 比如5.3版本基于apache kafka 2.3的?我们想自己搭kafka 在confluent和apache里面选一个,都是免费的

    作者回复: confluent免费版不错的,可以用:)

    2019-08-27
    2
  • 风轻扬
    老师,您说的去kafka官网搜索--object-names,这个参数在官网怎么搜索啊?官网左侧的tab都点开搜了,没有看到。☹️

    作者回复: 主要是这里:http://kafka.apache.org/documentation/#monitoring

    2020-05-26
    1
  • 稳健的少年
    老师,Kafka Manager貌似不支持Kafka 2.x版本吧

    作者回复: 可以支持

    2019-08-27
    3
    1
  • James
    broker存在请求积压是指客户端发送的请求没及时处理吗.

    作者回复: 是的。都积压在broker端等待后续处理

    2020-07-05
  • 我用kafka-manager链接集群后,topics显示为0。请教老师,该如何去排查问题。

    作者回复: 先确定问题出现在那端吧?比如使用kafka-topics脚本确认下topic数量。

    2019-12-04
收起评论
显示
设置
留言
27
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部