许式伟的架构课
许式伟
七牛云CEO
立即订阅
20092 人已学习
课程目录
已更新 72 讲 / 共 77 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 怎样成长为优秀的软件架构师?
免费
基础平台篇 (21讲)
01 | 架构设计的宏观视角
02 | 大厦基石:无生有,有生万物
03 | 汇编:编程语言的诞生
04 | 编程语言的进化
05 | 思考题解读:如何实现可自我迭代的计算机?
06 | 操作系统进场
07 | 软件运行机制及内存管理
08 | 操作系统内核与编程接口
09 | 外存管理与文件系统
10 | 输入和输出设备:交互的演进
11 | 多任务:进程、线程与协程
12 | 进程内协同:同步、互斥与通讯
13 | 进程间的同步互斥、资源共享与通讯
14 | IP 网络:连接世界的桥梁
15 | 可编程的互联网世界
16 | 安全管理:数字世界的守护
17 | 架构:需求分析 (上)
18 | 架构:需求分析 (下) · 实战案例
19 | 基础平台篇:回顾与总结
加餐 | 我看Facebook发币(上):区块链、比特币与Libra币
加餐 | 我看Facebook发币(下):深入浅出理解 Libra 币
桌面开发篇 (16讲)
20 | 桌面开发的宏观视角
21 | 图形界面程序的框架
22 | 桌面程序的架构建议
23 | Web开发:浏览器、小程序与PWA
24 | 跨平台与 Web 开发的建议
25 | 桌面开发的未来
26 | 实战(一):怎么设计一个“画图”程序?
27 | 实战(二):怎么设计一个“画图”程序?
28 | 实战(三):怎么设计一个“画图”程序?
29 | 实战(四):怎么设计一个“画图”程序?
30 | 实战(五):怎么设计一个“画图”程序?
31 | 辅助界面元素的架构设计
课外阅读 | 从《孙子兵法》看底层的自然法则
加餐 | 想当架构师,我需要成为“全才”吗?
32 | 架构:系统的概要设计
33 | 桌面开发篇:回顾与总结
服务端开发篇 (14讲)
34 | 服务端开发的宏观视角
35 | 流量调度与负载均衡
36 | 业务状态与存储中间件
37 | 键值存储与数据库
38 | 文件系统与对象存储
39 | 存储与缓存
40 | 服务端的业务架构建议
41 | 实战(一):“画图”程序后端实战
42 | 实战(二):“画图”程序后端实战
43 | 实战(三):“画图”程序后端实战
44 | 实战(四):“画图”程序后端实战
45 | 架构:怎么做详细设计?
46 | 服务端开发篇:回顾与总结
加餐 | 如何做HTTP服务的测试?
服务治理篇 (11讲)
47 | 服务治理的宏观视角
48 | 事务与工程:什么是工程师思维?
49 | 发布、升级与版本管理
50 | 日志、监控与报警
加餐 | 怎么保障发布的效率与质量?
51 | 故障域与故障预案
52 | 故障排查与根因分析
53 | 过载保护与容量规划
54 | 业务的可支持性与持续运营
55 | 云计算、容器革命与服务端的未来
56 | 服务治理篇:回顾与总结
架构思维篇 (9讲)
57 | 心性:架构师的修炼之道
用户故事 | 站在更高的视角看架构
58 | 如何判断架构设计的优劣?
59 | 少谈点框架,多谈点业务
60 | 架构分解:边界,不断重新审视边界
加餐 | 实战:“画图程序” 的整体架构
61 | 全局性功能的架构设计
62 | 重新认识开闭原则 (OCP)
63 | 接口设计的准则
许式伟的架构课
登录|注册

52 | 故障排查与根因分析

许式伟 2019-10-29
你好,我是七牛云许式伟。

写在故障排查之前

一旦 SRE 发现了我们线上业务出现故障,要如何解决呢?
正确解决问题的逻辑不是当场把问题修复好,而是用最快的方式让问题得以缓解或消失。考核 SRE 的核心指标中,通常会有季度故障率或年故障率指标。一次磨蹭的线上故障恢复,可能直接导致团队的年终奖取消。
及时故障恢复的手段应该怎么样,首先要看故障原因的初判。如果是在软硬件环境升级中发现的故障,通常的做法是版本回滚。如果是因为用户请求导致负载过高,则考虑扩容。如果扩容不能让问题消失,则考虑服务降级,关闭一些不重要的功能以降低负载,或者主动抛弃一定比例的请求。如果是软硬件环境本身故障导致的业务故障,则通常是进行流量切换,把用户流量导向其他没有问题的任务实例。
解决了故障,我们就要开始定位引发故障的根本原因。
需要理解的一点是,定位故障原因的细节必然是和具体业务服务息息相关。但是有效地应对紧急问题,及时恢复故障的方法论,对每个业务团队来说却往往都是完全通用的。
另外,并不一定要线上出现了故障才需要去排查原因。
我们做事不能这么 “故障驱动”,要居安思危,主动出击。一个 SRE 例行的工作应该包含服务入口的指标检查,一旦发现存在非预期的指标波动,虽然有可能还没有触发警告线水位,就应该去排查问题。这就如同医生需要对病人定期进行诊断一样,这样的工作不一定要病人真生病了才去进行。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《许式伟的架构课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(3)

  • Aaron Cheung
    如果你不碰线上环境,你就也无法成为最理解系统的专家。SRE 工作是最有机会成为专家的,它和架构师一样,需要整体理解业务架构,并且通过线上环境的理解,去反向影响业务架构,以提高系统的稳定性。


    深度感受到了工作的价值😂
    2019-10-29
    2
  • 阿卡牛
    做读盘和存盘工作时,这些好处就已经想明白了?

    作者回复: 逐步明白

    2019-11-08
  • leslie
    老师说的其实正是我在考虑的:关于"时序日志系统"会去了解体验一下看看是否是对现有监控良好的补充;好的监控才能更及时的发现问题,然后处理问题。运维的本质其实就是"发现问题->分析问题->核实问题->分析/分解问题->解决问题"的过程。
    2019-10-29
收起评论
3
返回
顶部