张亮,滴滴出行高级技术专家
滴滴每天服务几千万人次出行的过程中,产生了海量的行为、日志(log/binlog)数据,这些数据需要及时、完整的同步到大数据体系中,以满足数据仓库,实时计算、Trace 与监控系统、安全管控平台,客服与 Miss 系统等场景的数据同步需求。面对数以万计的服务节点,数以千计的数据库实例,复杂的线上环境,严格的资源消耗,秒级的延时要求,提供一个稳定、及时、安全、易用的数据通道是一个充满挑战的问题。
本次我将分享滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。
1、问题与挑战
问题
挑战
2、架构与优化
2.1 架构 1.0–简单、快
2.1.1 架构关注点
2.1.2 架构图
2.1.3 存在的问题
2.2 架构 2.0–稳定、易用
2.2.1 架构关注点
2.2.2 架构图
2.2.3 存在的问题
2.3 架构 3.0–及时、完整
2.3.1 架构关注点
2.3.2 架构图
3、总结与规划