• 玉剑冰锋
    2019-08-13
    要说坑遇到两个,这两个坑都是留言提问老师帮忙解答,非常感谢!第一个就是数据量过大导致重启单台kafka时间近一个小时才能恢复,通过调大num.recovery.threads.per.data.dir解决;第二个就是分区迁移,出现in progress或者failed状态,通过zk删除/controller来解决,测试环境测试没问题,生产出现同样问题,但是担心大量分区重新选举leader,所以一直没有试,不知道老师还有没有其他好办法

    作者回复: 1. 第一个办法挺好的;2. 删除/controller有点狠,不如删除/admin/reassign_partitions

    
     10
  • 注定非凡
    2019-11-12
    2.2版本提供了30多个Shell脚本
        (1):connect-standalone:支持kafka Connect组件支持单节点Standalone模式
        (2):connect-distributed:支持多节点的Distributed模式。

        (3):kafka-acls:用于设置Kafka权限,如设置哪些用户可以访问哪些主题之类的权限。
        (4):kafka-broker-api-versions:主要目的是验证不同Kafka版本之间服务器和客户端的适配性。
        (5):kafka-configs:用于配置管理

        (6):kafka-console-consumer:
        (7):kafka-console-producer:

        (8):kafka-producer-perf-test和kafka-consumer-perf-test :用于生产者和消费者的性能测试

        (9):kafka-consumer-groups:消费者位移时多有涉及
        (10):kafka-delegation-tokens:管理Delegation Token的,基于Delegation Token的认证是一种轻量级的认证机制,补充了现有的SASL认证机制。

        (11):kafka-delete-records:用于删除Kafka的分区消息。
        (12):kafka-dump-log:能够查看kafka消息文件的内容,包括消息的各种元数据信息
        (13):kafka-log-dirs:可以帮助查询各个Broker上的各个日志路径的磁盘占用情况
        (14):kafka-mirror-maker:可以帮助实现kafka集群间消息同步
        (15):kafka-preferred-replica-election:执行Preferred Leader选举。他可以为指定的主题执行“换Leader”的操作。
        (16):kafka-reassign-partitions:用于执行分区副本迁移以及副本文件路径迁移
        (17):kafka-topics:所有主题管理操作,都是有该脚本来实现。
        (18):kafka-run-class:可以用这个脚本执行任何带main方法的Kafka类。

        (19):kafka-server-start和kafka-server-stop:启动和停止Kafka Broker进程
        (20):kafka-streams-application-reset:用来给kafka-Streams应用程序重试位移,以便重新消费数据。

        (21):kafka-verifiabel-producer和kafka-verifiable-consumer是用来测试生产者和消费者功能的。
        
        (22):zookeeper开头的脚本是用来管理和运维Zookeeper的。
    展开
    
     2
  • What for
    2019-08-31
    请问老师查看主题分区消息总数 run-class 脚本中的 --time 参数,-1 和 -2 分别代表什么意思?还有其他的取值么?谢谢!

    作者回复: 没有其他取值了。-1表示latest,-2表示earliest

    
     1
  • cricket1981
    2019-08-13
    client id, consumer id, consumer group id这几个id作用和区别是什么?

    作者回复: client id 主要用于区分JMX指标和日志中的不同consumer; consumer id 指的是member id,目前是Kafka自动生成的,对用户意义不大;group id是表示consumer group组id的,非常重要,必须要指定。

    
     1
  • 丁丁历险记
    2019-12-08
    where there is a shell there is a way
    
    
  • 达文西
    2019-11-26
    发现后面的课程简单很多( •̀ ω •́ )y
    
    
  • XThundering
    2019-09-25
    Error: Exception thrown by the agent:java.rmi.server.ExportException:Port alread in use,出现这个Exception,kafka 版本号2.2.1

    作者回复: 端口已被占用,查一下吧

    
    
  • hpfish
    2019-09-20
    老师,我在使用 kafka-console-consumer 消费一个主题时会出现没有任何输出的情况,但是如果通过--partition 指定消费该主题的某个分区,就能够成功消费到消息,这种情况您遇到过吗

    作者回复: 你是否指定了group.id呢?

     1
    
  • godtrue
    2019-08-19
    打卡
    1:默认情况下,不加任何参数或携带 --help 运行 SHELL 文件,会得到该脚本的使用方法说明。
    这个比较有意思,各种命令脚本都可以先使用这钟方式,查看一下具体的使用说明。

    2:重点脚本功能
    2-1:kafka-console-producer——生产消息
    2-2:kafka-console-consumer——消费消息
    2-3:kafka-producer-perf-test——测试生产者性能
    2-4:kafka-consumer-perf-test——测试消费者性能
    2-5:kafka-dump-log——查看消息日志的具体内容
    2-6:kafka-consumer-groups——查看消费者组位移
    展开
    
    
  • wgcris
    2019-08-18
    老师,你好,我想请教一下,关于Kafka pagecache的优化,目前社区有好的解决方案吗?

    作者回复: 嗯嗯,其实也不需要太精细化的优化,给pagecache越大越好就行了

     1
    
  • xiaoniu
    2019-08-14
    老师,你好,kafka中有没有比较好用的延时消费操作,目前工作中,很多kafka数据不能直接立刻消费,而是要等几十秒(依赖第三方数据到位后),才能消费。

    作者回复: 目前只能依赖应用自行实现

    
    
  • Geek_edc612
    2019-08-14
    老师,我最近线上集群遇到了一个奇怪的情况,部分topic设置的是3副本,但是所有分区都是只有一个isr,不知道这种情况是什么原因导致的?

    作者回复: 确认下broker是否启动成功了吧

    
    
  • 我来也
    2019-08-14
    晚上才有时间看专栏。
    今天白天就花在这些脚本上一个多小时吧。
    kafka-consumer-groups.sh —help 居然没有提示。
    好像是 kafka 2.11的(不太确定了)
    由于配置了kafka账号验证的信息,导致涉及到kafka的网上的命令都自信不成功,zookeeper的可以成功。
    返回的失败就是timeout,自己也猜测可能跟权限相关。
    想看下参数帮助也没有,最后花了近个把小时才在网上找到参数,填一个配置文件。
    哎,自己解决问题起来太慢了。
    展开
    
    
  • 大力水手
    2019-08-13
    retention.ms 保留时长有脚本吗?

    作者回复: 你是说设置这个参数吗?可以使用kafka-configs脚本

     2
    
  • cricket1981
    2019-08-13
    broker-list和bootstrap-servers参数感觉用得很混乱啊,有什么规律吗?能否统一一下?

    作者回复: 嗯嗯,确实是。因为是不同的人写的。你可以提一个KIP,然后把它们统一一下:)

    
    
  • 蒙开强
    2019-08-13
    老师,你好,这个kafka的社区从哪里可以看呢,有时候看官网没有详细说明,比如我在官网看kafka幂等性,上面只有参数设定,并没有详细说明

    作者回复: 主要是邮件组。

     2
    
我们在线,来聊聊吧