徐宏亮,Uber Senior Software Engineer
Uber 拥有 20+ Kafka 集群来处理系统和 App 的数据,其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量,并且要保证拷贝中不会丢失数据,这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中,Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。
在这个演讲中,我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator,uReplicator/Federated uReplicator 的架构和技术细节,在开发过程中遇到的问题并且如何解决的。