• 诗泽
    2019-08-29
    如果将kafka 部署到k8s 中,因为k8s 的节点都是禁用swap 的,所以文中提到的swappiness 设置也就失效了
    
     4
  • 诗泽
    2019-08-29
    请问最后这个例子中的测试 Console Consume是怎样污染缓存页的?是因为它读取了比较老的数据,使得新数据被写入磁盘导致的吗?

    作者回复: 是的

     1
     4
  • Nic-愛
    2019-08-30
    老师,最近遇到一个问题,在kafka加入SASL ACL中,生产的时候出现需要给事务ID赋权,那有个问题在有多生产者的情况下,同一主题下的事务ID能一样吗?如果ID不能一样,那我在加入kafka的时候每次都需要赋权怎么办

    作者回复: 如果你并没有共享KafkaProducer实例,那么每个生产者最好设置成不同的transactional.id。2.0版本开始支持ACL前缀,可以用kafka-acls.sh --resource-pattern-type prefixed 一试

    
     2
  • lmtoo
    2019-08-29
    怎么查询linux是否开启了atime

    作者回复: mount -l,默认是开启的,如果发现noatime则是关闭的。Linux 2.6.30引入了relatime。有了relatime,atime的更新时机被缩小了,如果atime=mtime就不会被更新了。

     1
     2
  • 外星人
    2019-09-01
    你好,一个broker建议最多存放多少个topic partition啊?这个个数和broker 的性能有啥关系吗?

    作者回复: 没有一定之规。不过据官网文章,单broker最多能承受2000个分区,这个和性能还是有很大关系的。毕竟分区数越多,物理IO性能就可能越差

     1
     1
  • diyun
    2020-01-12
    老师你好,我们生产遇到一个问题,一个kafka broker集群升级到1.0.0后,consumer 客户端版本还是老的0.10.0.1,这样没法使用zero copy特性了导致有大量数据写入后kafka broker OOM了。请问我如果把consumer 客户端版本升级到1.0.0后,他连接的另一个老的broker集群(还是0.10.0.1版本)是否还能使用zero copy?kafka版本是向下兼容的吗,还是consumer和broker版本必须一致才能使用zero copy这样的特性。

    作者回复: 还是consumer和broker版本必须一致才能使用zero copy这样的特性 --- 是的,否则就要在broker端做消息转换,这样消息对象会在jvm堆上重建,丧失了zero copy特性。

    
    
  • wgcris
    2019-11-07
    你好,请教您一个问题,关于leader均衡,如果集群规模比较大,一次leader均衡会有上千个partition要进行leader切换,这会导致客户端很长时间不可用,目前针对这个场景有没有一些比较成熟的解决方案?

    作者回复: 关闭自动leader均衡,手动调整leader迁移是目前比较好的做法

     1
    
  • godtrue
    2019-09-24
    没有kafka性能调优的经验,不过性能调优的思路是一致的。优化漏斗很形象,大部分调优主要在应用层,再深一点会到框架层,此时就需要对框架有很好的掌握啦!再深一点就到JVM了,这里主要是看内存空间分配是否合理,垃圾收集器是否正确选择。系统层调优,貌似没做过,这一层就必须对操作系统非常了解了。
    万变不离其宗,提高性能的思路就那么几种:
    1:使用更快的硬件,比如:内存
    2:使用合适的数据结构
    3:异步化
    4:并行化
    5:异步化和并行化,其实是在出现速度差的情况下,充分利用更快的组件的思路。
    展开
    
    
  • ban
    2019-09-14
    老师,为什么测试 Console Consume读取比较老的数据,新的数据为什么会写入磁盘?这里不懂,Consume只是读取怎么会影响到写入

    作者回复: 操作系统会被最近读取的page缓存起来,所以会“污染”页缓存

     1
    
  • 外星人
    2019-08-30
    怎么知道是读物理盘?还是读页缓存呢?

    作者回复: 读物理磁盘,磁盘读通常是很好的

     1
    
  • JK
    2019-08-29
    关于zero copy那块,是不是仅针对consumer端而言呢?还是说,producer版本与broker不一致时,也会降低性能?

    作者回复: "producer版本与broker不一致时,也会降低性能" --- 不会的

    
    
  • 许童童
    2019-08-29
    没有调优过Kafka ,但学习了老师今天的优化漏斗,感觉收获挺大,优化漏斗是否可以反过来变成优化金字塔。有些提升吞吐量的参数和降低延迟的参数是冲突的,这就要看业务更注重哪一块的性能了,一般用Kafka都是追求大吞吐量。
    
    
  • Dovelol
    2019-08-29
    老师好,页缓存指的是操作系统的PageCache吗?想请教下为什么给kafka预留的页缓存最好是一个日志段的大小,我的理解是一个日志段对应一个topic的partition,往往kafka都是及时读写的,所以是不是页缓存的大小和吞吐量有关系,也就是每秒的消费数据大小,最好保证消费的时候刚刚发送的数据还在页缓存中。
    
    
我们在线,来聊聊吧