• godtrue
    2019-09-24
    kafka集群监控工具,免费的功能少,功能强大的收费。看自己的情况选择了,作为技术关注点还在于这些工具的实现原理。
    不过任何监控工具,估计都类似,以下是猜测的:
    1:获取监控数据,通常是日志信息,加埋点或者利用OS的功能获取
    2:存储监控数据,未经清洗的数据
    3:清洗数据,格式化数据,聚合数据,汇总数据
    4:展示监控信息
    5:功能需求没问题后就是各种优化了,比如:UI展示优化/获取数据不丢消息的优化/展示数据的性能优化/功能优化,可以加各种报警设置,给出问题产生的主要场景和解决思路。
    展开
    
     3
  • 许童童
    2019-08-27
    感觉Grafana+InfluxDB这一套,可以用于任何语言,还可以自定义接口出来加入监控。
     1
     2
  • 许童童
    2019-08-27
    监控records-lag-max 和 records-lead-min,它们分别表示此消费者在测试窗口时间内曾经达到的最大的 Lag 值和最小的 Lead 值。
    
     1
  • 婷
    2019-12-04
    我用kafka-manager链接集群后,topics显示为0。请教老师,该如何去排查问题。

    作者回复: 先确定问题出现在那端吧?比如使用kafka-topics脚本确认下topic数量。

    
    
  • 瞿中华
    2019-11-27
    你好,请问kafka Consume 进度的监控工具有哪些?我的版本是kafka_2.11-1.1.0,我使用kafkaOffsetMonitor拿不到consumer数据,查了资料好像kafkaOffsetMonitor不支持0.9以上版本

    作者回复: kafkaOffsetMonitor已经很久没有维护了。可以使用原生的Kafka命令或kafka-manager

    
    
  • 昀溪
    2019-10-29
    老师,Kafka集群如果重启的,3台机器,每个主题3个副本,假设A主题的 ISR是 0 1 2 ,如果我同时重启2台broker,那么此时主题A的ISR就剩下一个,这种情况下,集群还可用么?

    作者回复: 你指的可用是指什么含义呢?从Kafka的角度,只要ISR中依然有副本,理论上数据依然可以正常收发

     1
    
  • kennyji
    2019-10-17
    有个地方不太准确 BytesInPerSec是leader副本的入流量 并不等于网卡流量 要关注带宽指标还是需要具体看网卡的流量指标

    作者回复: hmmmm.... 好像我没有说BytesInPerSec=网卡流量,BytesInPerSec是broker端的入站流量。如果接近带宽,需要调整broker上的负载。

    
    
  • Mick
    2019-10-11
    老师,请问下为什么我的kafka manager 里面的Latest Offset 为空?如图https://www.processon.com/view/link/5d9ffd05e4b0893e992642c3

    作者回复: 要确认下这些分区是否正常吧,比如leader是否存在

    
    
  • 外星人
    2019-08-28
    请求积压,监控两个idle就好吧?但是具体哪些请求积压和哪些ip的请求,这块还不清楚,求指教。

    作者回复: 目前只能监控是否存在请求积压,无法确认到底是那些请求积压的

    
    
  • 外星人
    2019-08-28
    你好,我们生产request handle idle过低的原因找到了,是由于磁盘坏道导致的?能否加些关于kafkaApi的监控?看下请求的分布情况及哪些请求占用requesthandler过多吗?

    作者回复: 好问题!hmm.... 目前暂时做不到或者非常不方便。你可以启动KafkaApis的TRACE日志,然后汇总统计哪类请求占用了过多的线层

     1
    
  • 落霞与孤鹜
    2019-08-27
    前公司携程grafana用的就很好
    
    
  • 一眼万年
    2019-08-27
    Kafka Eagle会导致zookeeper连接占满不释放
     1
    
  • ykkk88
    2019-08-27
    老师 生产环境建议用confluent免费版本的kafka么 比如5.3版本基于apache kafka 2.3的?我们想自己搭kafka 在confluent和apache里面选一个,都是免费的

    作者回复: confluent免费版不错的,可以用:)

    
    
  • 稳健的少年
    2019-08-27
    老师,Kafka Manager貌似不支持Kafka 2.x版本吧

    作者回复: 可以支持

     1
    
我们在线,来聊聊吧