深入浅出分布式技术原理
陈现麟
伴鱼技术中台负责人,前小米工程师
21241 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 39 讲
深入浅出分布式技术原理
15
15
1.0x
00:00/00:00
登录|注册

15|故障(一):预案管理竟然能让被动故障自动恢复?

自动最优调度
为服务准备多个预案
客户端预案调度层
多个供应商 CDN 链接
CDN 下载故障
预案调度
增加间接中间层
标准服务和方案相对稳定
原因多样且不受控制
第三方服务故障
系统内部硬件设施故障
网络连通性问题
DNS 解析问题
在工作中应用中间层解决问题的经验分享
提供高质量服务的优化点
增加预案和中间层的策略
快速恢复故障的重要性
统一调度层的实现
第三方服务预案
系统内部硬件设施预案
网络连通性预案
DNS 解析预案
预案调度的总结
实际案例分析
处理被动故障的思维方式
被动故障的特点
被动故障的来源
系统可用性 SLA
平均故障恢复时间
平均出现故障的频率
思考题
总结
被动故障的预案梳理
通过预案调度来恢复故障
被动故障的分析与思考
故障理解与评估标准
故障恢复:预案管理与自动恢复

该思维导图由 AI 生成,仅供参考

你好,我是陈现麟。
通过学习“监控”与“告警”这两节课的内容,你已经学会如何利用 Metric、Trace 和 Log 搭建一个可观测系统,去监控极客时间这样的分布式系统。并且知道了在系统出现故障时,职责明确的告警机制,可以在第一时间通知到相关的工程师。
但是,我们现在还不能掉以轻心,因为极客时间是 7 * 24 小时无间断为用户提供服务的,能掌控和发现故障还不够,如果故障出现了,我们还必须能快速恢复故障。所以本课我们一起来讨论另外一个非常重要的问题:如果系统发生故障了,我们应该怎么来快速恢复故障
故障恢复是一个非常复杂的问题,这里我们首先要讨论的是:怎么理解故障,以及它的评估标准是什么?只有定义好问题,并且确定好标准,我们才能明确解决问题的方向。

如何理解故障及其评估标准

对于如何理解故障和故障评估标准的问题,我认为可以从两个方面去理解和思考。
首先,评价故障的标准一定不是有或没有。虽然我们不希望有故障发生,但这却是所有的工程师必须面对的问题。同时,我们不能出现故障就处理,没有故障我们就什么也不做,我们要积极地应对故障。在系统设计的时候,应该充分考虑到故障的存在,并且做好充分的预案,才能在故障发生时,将系统的影响降到最低。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文介绍了故障预案管理的重要性以及如何通过预案调度来处理被动故障。作者强调了快速恢复被动故障的重要性,并提出了通过增加一个间接的中间层来解决计算机科学领域的问题的思维方式。文章深入浅出地解释了被动故障的来源和处理思维方式,并提供了实用的技术指导。通过一个真实故事的案例,阐述了如何通过预案调度解决第三方服务 CDN 的下载故障,为读者提供了解决类似问题的思路。此外,文章还总结了通过预案调度解决被动故障的思路,并提供了针对不同被动故障来源的预案列表。最后,文章强调了快速恢复故障的关键性,并提出了对系统提供最优质服务的优化点。整体而言,本文为读者提供了处理故障的思维方式和实用技术指导,对于需要处理系统稳定性和故障恢复的技术人员具有重要参考价值。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《深入浅出分布式技术原理》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • peter
    请教老师几个问题啊: Q1:服务端怎么确定CDN网络的优劣?定时ping吗? Q2:备用域名和正式域名是一样的吗? 比如正式域名是www.sohu.com,那么备用域名是www.sohu2.com吗? Q3:“DNS 解析预案”和“网络连通性预案”,服务端需要做什么? 文中有这样一句“对于“DNS 解析预案”和“网络连通性预案”这前两个预案来说,它们都是内置在客户端的”,既然是已经内置到APP中,那么服务端需要做什么呢? 服务端要提供可用资源列表吗?

    作者回复: Q1:服务器通过分析APP访问CDN的日志来确定。 Q2:主备域名不能一样,如果一样的话,那么就不是主备,只是重试了。 Q3:是的,服务器通过分析App访问DNS和接口的网络日志,返回给客户端优先级列表。

    2022-03-02
    4
收起评论
显示
设置
留言
1
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部