Kafka核心技术与实战
胡夕
人人贷计算平台部总监,Apache Kafka Contributor
立即订阅
8408 人已学习
课程目录
已完结 46 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么要学习Kafka?
免费
Kafka入门 (5讲)
01 | 消息引擎系统ABC
02 | 一篇文章带你快速搞定Kafka术语
03 | Kafka只是消息引擎系统吗?
04 | 我应该选择哪种Kafka?
05 | 聊聊Kafka的版本号
Kafka的基本使用 (3讲)
06 | Kafka线上集群部署方案怎么做?
07 | 最最最重要的集群参数配置(上)
08 | 最最最重要的集群参数配置(下)
客户端实践及原理剖析 (14讲)
09 | 生产者消息分区机制原理剖析
10 | 生产者压缩算法面面观
11 | 无消息丢失配置怎么实现?
12 | 客户端都有哪些不常见但是很高级的功能?
13 | Java生产者是如何管理TCP连接的?
14 | 幂等生产者和事务生产者是一回事吗?
15 | 消费者组到底是什么?
16 | 揭开神秘的“位移主题”面纱
17 | 消费者组重平衡能避免吗?
18 | Kafka中位移提交那些事儿
19 | CommitFailedException异常怎么处理?
20 | 多线程开发消费者实例
21 | Java 消费者是如何管理TCP连接的?
22 | 消费者组消费进度监控都怎么实现?
深入Kafka内核 (5讲)
23 | Kafka副本机制详解
24 | 请求是怎么被处理的?
25 | 消费者组重平衡全流程解析
26 | 你一定不能错过的Kafka控制器
27 | 关于高水位和Leader Epoch的讨论
管理与监控 (12讲)
28 | 主题管理知多少?
29 | Kafka动态配置了解下?
30 | 怎么重设消费者组位移?
31 | 常见工具脚本大汇总
32 | KafkaAdminClient:Kafka的运维利器
33 | Kafka认证机制用哪家?
34 | 云环境下的授权该怎么做?
35 | 跨集群备份解决方案MirrorMaker
36 | 你应该怎么监控Kafka?
37 | 主流的Kafka监控框架
38 | 调优Kafka,你做到了吗?
39 | 从0搭建基于Kafka的企业级实时日志流处理平台
高级Kafka应用之流处理 (3讲)
40 | Kafka Streams与其他流处理平台的差异在哪里?
41 | Kafka Streams DSL开发实例
42 | Kafka Streams在金融领域的应用
结束语 (1讲)
结束语 | 以梦为马,莫负韶华!
特别放送 (2讲)
加餐 | 搭建开发环境、阅读源码方法、经典学习资料大揭秘
用户故事 | 黄云:行百里者半九十
Kafka核心技术与实战
登录|注册

37 | 主流的Kafka监控框架

胡夕 2019-08-27
你好,我是胡夕。今天我要和你分享的主题是:那些主流的 Kafka 监控框架。
在上一讲中,我们重点讨论了如何监控 Kafka 集群,主要是侧重于讨论监控原理和监控方法。今天,我们来聊聊具体的监控工具或监控框架。
令人有些遗憾的是,Kafka 社区似乎一直没有在监控框架方面投入太多的精力。目前,Kafka 的新功能提议已超过 500 个,但没有一个提议是有关监控框架的。当然,Kafka 的确提供了超多的 JMX 指标,只是,单独查看这些 JMX 指标往往不是很方便,我们还是要依赖于框架统一地提供性能监控。
也许,正是由于社区的这种“不作为”,很多公司和个人都自行着手开发 Kafka 监控框架,其中并不乏佼佼者。今天我们就来全面地梳理一下主流的监控框架。

JMXTool 工具

首先,我向你推荐 JMXTool 工具。严格来说,它并不是一个框架,只是社区自带的一个工具罢了。JMXTool 工具能够实时查看 Kafka JMX 指标。倘若你一时找不到合适的框架来做监控,JMXTool 可以帮你“临时救急”一下。
Kafka 官网没有 JMXTool 的任何介绍,你需要运行下面的命令,来获取它的使用方法的完整介绍。
bin/kafka-run-class.sh kafka.tools.JmxTool
JMXTool 工具提供了很多参数,但你不必完全了解所有的参数。我把主要的参数说明列在了下面的表格里,你至少要了解一下这些参数的含义。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka核心技术与实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(14)

  • godtrue
    kafka集群监控工具,免费的功能少,功能强大的收费。看自己的情况选择了,作为技术关注点还在于这些工具的实现原理。
    不过任何监控工具,估计都类似,以下是猜测的:
    1:获取监控数据,通常是日志信息,加埋点或者利用OS的功能获取
    2:存储监控数据,未经清洗的数据
    3:清洗数据,格式化数据,聚合数据,汇总数据
    4:展示监控信息
    5:功能需求没问题后就是各种优化了,比如:UI展示优化/获取数据不丢消息的优化/展示数据的性能优化/功能优化,可以加各种报警设置,给出问题产生的主要场景和解决思路。
    2019-09-24
    2
  • 许童童
    监控records-lag-max 和 records-lead-min,它们分别表示此消费者在测试窗口时间内曾经达到的最大的 Lag 值和最小的 Lead 值。
    2019-08-27
    1
  • 许童童
    感觉Grafana+InfluxDB这一套,可以用于任何语言,还可以自定义接口出来加入监控。
    2019-08-27
    1
    1
  • 我用kafka-manager链接集群后,topics显示为0。请教老师,该如何去排查问题。

    作者回复: 先确定问题出现在那端吧?比如使用kafka-topics脚本确认下topic数量。

    2019-12-04
  • 瞿中华
    你好,请问kafka Consume 进度的监控工具有哪些?我的版本是kafka_2.11-1.1.0,我使用kafkaOffsetMonitor拿不到consumer数据,查了资料好像kafkaOffsetMonitor不支持0.9以上版本

    作者回复: kafkaOffsetMonitor已经很久没有维护了。可以使用原生的Kafka命令或kafka-manager

    2019-11-27
  • 昀溪
    老师,Kafka集群如果重启的,3台机器,每个主题3个副本,假设A主题的 ISR是 0 1 2 ,如果我同时重启2台broker,那么此时主题A的ISR就剩下一个,这种情况下,集群还可用么?

    作者回复: 你指的可用是指什么含义呢?从Kafka的角度,只要ISR中依然有副本,理论上数据依然可以正常收发

    2019-10-29
    1
  • kennyji
    有个地方不太准确 BytesInPerSec是leader副本的入流量 并不等于网卡流量 要关注带宽指标还是需要具体看网卡的流量指标

    作者回复: hmmmm.... 好像我没有说BytesInPerSec=网卡流量,BytesInPerSec是broker端的入站流量。如果接近带宽,需要调整broker上的负载。

    2019-10-17
  • Mick
    老师,请问下为什么我的kafka manager 里面的Latest Offset 为空?如图https://www.processon.com/view/link/5d9ffd05e4b0893e992642c3

    作者回复: 要确认下这些分区是否正常吧,比如leader是否存在

    2019-10-11
  • 外星人
    请求积压,监控两个idle就好吧?但是具体哪些请求积压和哪些ip的请求,这块还不清楚,求指教。

    作者回复: 目前只能监控是否存在请求积压,无法确认到底是那些请求积压的

    2019-08-28
  • 外星人
    你好,我们生产request handle idle过低的原因找到了,是由于磁盘坏道导致的?能否加些关于kafkaApi的监控?看下请求的分布情况及哪些请求占用requesthandler过多吗?

    作者回复: 好问题!hmm.... 目前暂时做不到或者非常不方便。你可以启动KafkaApis的TRACE日志,然后汇总统计哪类请求占用了过多的线层

    2019-08-28
    1
  • 落霞与孤鹜
    前公司携程grafana用的就很好
    2019-08-27
  • 一眼万年
    Kafka Eagle会导致zookeeper连接占满不释放
    2019-08-27
    1
  • ykkk88
    老师 生产环境建议用confluent免费版本的kafka么 比如5.3版本基于apache kafka 2.3的?我们想自己搭kafka 在confluent和apache里面选一个,都是免费的

    作者回复: confluent免费版不错的,可以用:)

    2019-08-27
  • 稳健的少年
    老师,Kafka Manager貌似不支持Kafka 2.x版本吧

    作者回复: 可以支持

    2019-08-27
    1
收起评论
14
返回
顶部