张亮,滴滴出行高级技术专家
滴滴每天服务几千万人次出行的过程中,产生了海量的行为、日志(log/binlog)数据,这些数据需要及时、完整的同步到大数据体系中,以满足数据仓库,实时计算、Trace 与监控系统、安全管控平台,客服与 Miss 系统等场景的数据同步需求。面对数以万计的服务节点,数以千计的数据库实例,复杂的线上环境,严格的资源消耗,秒级的延时要求,提供一个稳定、及时、安全、易用的数据通道是一个充满挑战的问题。
本次我将分享滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。
1、问题与挑战
问题
挑战
2、架构与优化
2.1 架构 1.0–简单、快
2.1.1 架构关注点
2.1.2 架构图
2.1.3 存在的问题
2.2 架构 2.0–稳定、易用
2.2.1 架构关注点
2.2.2 架构图
2.2.3 存在的问题
2.3 架构 3.0–及时、完整
2.3.1 架构关注点
2.3.2 架构图
3、总结与规划
39:21
45:15
32:48