• 无菇朋友
    2019-09-02
    老师您好,问一下怎么在本地搭建两个kafka集群

    作者回复: 设置zookeeper.connect时使用不同的chroot,比如一个是zk:2181/kafka1,另一个是zk:2181/kafka2

    
     2
  • 许童童
    2019-08-22
    跟着老师一起精进。
    
     2
  • 外星人
    2019-08-22
    您好,我们最近也在调研brooklin和uReplicator,能否比较下二者的优缺点啊?
    
     2
  • 蓝色海洋
    2019-10-30
    老师,我想问问,低版本的集群消息可以同步到高版本集群吗,目前版本是0.8想同步到2.0集群

    作者回复: 个人觉得使用MirrorMaker似乎也是可以的,只是版本跨度有点大~ 0.8和2.0的消息格式都是不一样的,

     1
     1
  • wgcris
    2019-11-26
    老师,您好,再请教个问题最近我们生产环境发现,broker进程意外挂掉之后,重启broker时间会很长,当数据量很大的时候,浏览了一下社区,KIP-263提了一个解决方案,而且已经合入到2.3版本,但测试发现并没有什么效果,不知道您有了解这方面的优化吗?

    作者回复: 这个KIP还在讨论中啊,没有进2.3版本。基本上都是因为加载日志段时间过长导致的。目前社区针对这个问题的终极解决方案是KIP-500

     1
    
  • wgcris
    2019-11-24
    老师,您好,请教个问题,如果使用mirrormaker做集群数据同步,是不是内部topic数据也一起进行同步?另外在主备场景下,如果主集群挂了,如何保证备集群能正常提供服务,客户端消费数据是正确的

    作者回复: 默认是不同步内部topic,如果要同步的话,需要两个条件:在consumer.config中设置exclude.internal.topics=false以及在producer.config中设置client.id=__admin_client。具体参见这个jira:
    https://issues.apache.org/jira/browse/KAFKA-6524

    如果主挂了,client需要自行处理切换的问题,目前Kafka端尚未自动切换的解决方案

    
    
  • godtrue
    2019-09-24
    kafka集群间数据同步工具,MirrorMaker——本质上就是一个消费者+一个生产者程序,利用这一取一放将数据在两个kafka集群中到一道手。不过这个工具性能差一些,也存在其他一些问题,所以,牛一点的公司都在她的基础上开发了自己的集群间数据同步工具。
    
    
  • RJZ
    2019-08-27
    接上条,只是感觉connect就是来做数据对接场景的😂,另外confluent的复制工具出现在confluent hub里,一度怀疑他们是开发了个connector
    
    
  • RJZ
    2019-08-27
    用kafka connector实现可以不

    作者回复: Kafka Connect多是实现Kafka与其他外部系统之间的互连,不是用于Kafka多集群间的数据迁移,而且也没有对应的kafka connector....

    
    
  • lmtoo
    2019-08-22
    是不是通过MirrorMaker拷贝,只要是目标集群的主题分区数量和源主题分区数量一致,拷贝的主题分区数据就是一一对应的?
    
    
  • 蒙开强
    2019-08-22
    老师,你好,你提的这几款工具,MirrorMaker是免费的,其它的也是免费可以用的么

    作者回复: LinkedIn的Brooklin MM好像没有开源,Confluent的Replicator要收费,Uber的uReplicator应该开源了

     1
    
我们在线,来聊聊吧