Facebook自研配置管理系统LAD
极客时间编辑部
讲述:丁婵大小:1.08M时长:02:22
众所周知,Facebook 分布在不同地理区域的数据中心,承载着数百万台服务器,每天还会向服务器推送数千个配置更改,服务器执行数万亿次配置检查。
而位置感知分发系统 LAD(Location-Aware Distribution),是 Facebook 设计面向未来应用的一个系统,用于处理对数百万台服务器的配置更改的分发。
据悉,LAD 在发布大型更新方面明显比之前的程序系统更好,支持的文件从 5MB 扩展到了 100MB,同时,每个发布者支持约 4 万个订阅者,而之前只有 2500 个订阅者。
在 LAD 之前,Facebook 的配置管理系统 (称为 Configerator) 使用开源的分布式同步服务 ZooKeeper 来分发配置更新。
据了解,ZooKeeper 强大的数据一致性和严格的分发保证,是 Facebook 可靠地扩展和运行系统的关键。然而,随着 Facebook 基础设施发展到数百万台机器,他们发现 ZooKeeper 变成了瓶颈。
因此,团队开始设计新的分发系统,并用 LAD 取代了 ZooKeeper。在构建和部署 LAD 时,他们总结了一些有用的经验:
工具化和可监控对于生产部署至关重要。从经验来看,基于 P2P 的系统在操作和调试方面,都很具有挑战性,因为不清楚给定请求的发送或接收路径中有哪些节点。
故障提醒和灾备测试在规模上是至关重要的。团队运行了一系列测试,引入了各种类型的应用程序、主机、网络和集群级别的故障,以在不影响任何客户机的情况下,验证 LAD 的弹性。在这个过程中,他们发现了程序和工具中的 bug 和不足。
连续和定期测试对系统的长期可靠性至关重要。仅仅只是将这些测试运行一次是不够的,因为在 Facebook 上事情发展变化很快,关于系统或工具的假设可能不会一直成立。因此,团队正在对测试过程进行自动化,以便能够及时发现并处理系统产生的问题。
现在,作为配置管理系统的数据分发框架,LAD 已经被部署到生产环境中。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论