当前播放: Uber搭建基于Kafka的跨数据中心拷贝平台
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
合辑:数据基础平台构建技术
Apache Hadoop YARN: State of the Union
Apache Hadoop YARN: State of the Union
Uber搭建基于Kafka的跨数据中心拷贝平台
大数据高压下Hadoop在字节跳动的应用演化

Uber搭建基于Kafka的跨数据中心拷贝平台

徐宏亮 Uber Senior Software Engineer

徐宏亮,Uber Senior Software Engineer

内容介绍

Uber 拥有 20+ Kafka 集群来处理系统和 App 的数据,其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量,并且要保证拷贝中不会丢失数据,这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中,Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。

在这个演讲中,我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator,uReplicator/Federated uReplicator 的架构和技术细节,在开发过程中遇到的问题并且如何解决的。

内容大纲

  1. Uber 的跨数据中心 replication 用例
  2. 为什么 Uber 要开发 uReplicator
  3. uReplicator 架构
  4. Federated uReplicator 架构
展开
¥4.99 购买
开通VIP
19
登录 后留言

精选留言(2)

  • 思敏
    这样的话 用kafka如何保证数据更新的顺序?
    2019-02-16
    1
  • 王由华
    倍速功能不起作用啊。这个是刚需~
    2019-02-14
    1
收起评论
其他推荐
39:21
从平台构建到领域深耕: Kubernetes在华为云的实践与发展
王泽锋 华为云 Kubernetes开源负责人
试看
45:15
基于Istio on Kubernetes云原生应用的最佳实践
王夕宁 阿里云 高级技术专家
试看
32:48
微博深度学习平台基于Kubernetes的分布式解决方案
于翔 新浪微博 机器学习研发架构师
试看