左耳听风
陈皓
网名“左耳朵耗子”，资深技术专家，骨灰级程序员
立即订阅
40357 人已学习
课程目录
已完结 108 讲
0/6登录后，你可以任选6讲全文学习。
开篇词 | 洞悉技术的本质，享受科技的乐趣
免费
01 | 程序员如何用技术变现（上）
02 | 程序员如何用技术变现（下）
03 | Equifax信息泄露始末
04 | 从Equifax信息泄露看数据安全
05 | 何为技术领导力？
06 | 如何才能拥有技术领导力？
07 | 推荐阅读：每个程序员都该知道的知识
08 | Go语言，Docker和新技术
09 | 答疑解惑：渴望、热情和选择
10 | 如何成为一个大家愿意追随的Leader？
11 | 程序中的错误处理：错误返回码和异常捕捉
12 | 程序中的错误处理：异步编程以及我的最佳实践
13 | 魔数 0x5f3759df
14 | 推荐阅读：机器学习101
15 | 时间管理：同扭曲时间的事儿抗争
16 | 时间管理：如何利用好自己的时间？
17 | 故障处理最佳实践：应对故障
18 | 故障处理最佳实践：故障改进
19 | 答疑解惑：我们应该能够识别的表象和本质
20 | Git协同工作流，你该怎么选？
21 | 分布式系统架构的冰与火
22 | 从亚马逊的实践，谈分布式系统的难点
23 | 分布式系统的技术栈
24 | 分布式系统关键技术：全栈监控
25 | 分布式系统关键技术：服务调度
26 | 分布式系统关键技术：流量与数据调度
27 | 洞悉PaaS平台的本质
28 | 推荐阅读：分布式系统架构经典资料
29 | 推荐阅读：分布式数据调度相关论文
30 | 编程范式游记（1）- 起源
31 | 编程范式游记（2）- 泛型编程
32 | 编程范式游记（3） - 类型系统和泛型的本质
33 | 编程范式游记（4）- 函数式编程
34 | 编程范式游记（5）- 修饰器模式
35 | 编程范式游记（6）- 面向对象编程
36 | 编程范式游记（7）- 基于原型的编程范式
37 | 编程范式游记（8）- Go 语言的委托模式
38 | 编程范式游记（9）- 编程的本质
39 | 编程范式游记（10）- 逻辑编程范式
40 | 编程范式游记（11）- 程序世界里的编程范式
41 | 弹力设计篇之“认识故障和弹力设计”
42 | 弹力设计篇之“隔离设计”
43 | 弹力设计篇之“异步通讯设计”
44 | 弹力设计篇之“幂等性设计”
45 | 弹力设计篇之“服务的状态”
46 | 弹力设计篇之“补偿事务”
47 | 弹力设计篇之“重试设计”
48 | 弹力设计篇之“熔断设计”
49 | 弹力设计篇之“限流设计”
50 | 弹力设计篇之“降级设计”
51 | 弹力设计篇之“弹力设计总结”
52 | 管理设计篇之“分布式锁”
53 | 管理设计篇之“配置中心”
54 | 管理设计篇之“边车模式”
55 | 管理设计篇之“服务网格”
56 | 管理设计篇之“网关模式”
57 | 管理设计篇之“部署升级策略”
58 | 性能设计篇之“缓存”
59 | 性能设计篇之“异步处理”
60 | 性能设计篇之“数据库扩展”
61 | 性能设计篇之“秒杀”
62 | 性能设计篇之“边缘计算”
63 | 区块链技术的本质
64 | 区块链技术细节：哈希算法
65 | 区块链技术细节：加密和挖矿
66 | 区块链技术细节：去中心化的共识机制
67 | 区块链技术细节：智能合约
68 | 区块链技术 - 传统金融和虚拟货币
69 | 程序员练级攻略：开篇词
70 | 程序员练级攻略：零基础启蒙
71 | 程序员练级攻略：正式入门
72 | 程序员练级攻略：程序员修养
73 | 程序员练级攻略：编程语言
74 | 程序员练级攻略：理论学科
75 | 程序员练级攻略：系统知识
76 | 程序员练级攻略：软件设计
77 | 程序员练级攻略：Linux系统、内存和网络
78 | 程序员练级攻略：异步I/O模型和Lock-Free编程
79 | 程序员练级攻略：Java底层知识
80 | 程序员练级攻略：数据库
81 | 程序员练级攻略：分布式架构入门
82 | 程序员练级攻略：分布式架构经典图书和论文
83 | 程序员练级攻略：分布式架构工程设计
84 | 程序员练级攻略：微服务
85 | 程序员练级攻略：容器化和自动化运维
86 | 程序员练级攻略：机器学习和人工智能
87 | 程序员练级攻略：前端基础和底层原理
88 | 程序员练级攻略：前端性能优化和框架
89 | 程序员练级攻略：UI/UX设计
90 | 程序员练级攻略：技术资源集散地
91 | 程序员面试攻略：面试前的准备
92 | 程序员面试攻略：面试中的技巧
93 | 程序员面试攻略：面试风格
94 | 程序员面试攻略：实力才是王中王
95 | 高效学习：端正学习态度
96 | 高效学习：源头、原理和知识地图
97 | 高效学习：深度，归纳和坚持实践
98 | 高效学习：如何学习和阅读代码
99 | 高效学习：面对枯燥和量大的知识
左耳听风
登录|注册

23 | 分布式系统的技术栈

陈皓 2017-12-19
正如我们前面所说的，构建分布式系统的目的是增加系统容量，提高系统的可用性，转换成技术方面，也就是完成下面两件事。
大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上。
关键业务保护。提高后台服务的可用性，把故障隔离起来阻止多米诺骨牌效应（雪崩效应）。如果流量过大，需要对业务降级，以保护关键业务流转。
说白了就是干两件事。一是提高整体架构的吞吐量，服务更多的并发和流量，二是为了提高系统的稳定性，让系统的可用性更高。

提高架构的性能

咱们先来看看，提高系统性能的常用技术。
缓存系统。加入缓存系统，可以有效地提高系统的访问能力。从前端的浏览器，到网络，再到后端的服务，底层的数据库、文件系统、硬盘和 CPU，全都有缓存，这是提高快速访问能力最有效的手段。对于分布式系统下的缓存系统，需要的是一个缓存集群。这其中需要一个 Proxy 来做缓存的分片和路由。
负载均衡系统。负载均衡系统是水平扩展的关键技术，它可以使用多台机器来共同分担一部分流量请求。
异步调用。异步系统主要通过消息队列来对请求做排队处理，这样可以把前端的请求的峰值给“削平”了，而后端通过自己能够处理的速度来处理请求。这样可以增加系统的吞吐量，但是实时性就差很多了。同时，还会引入消息丢失的问题，所以要对消息做持久化，这会造成“有状态”的结点，从而增加了服务调度的难度。
数据分区和数据镜像。数据分区是把数据按一定的方式分成多个区（比如通过地理位置），不同的数据区来分担不同区的流量。这需要一个数据路由的中间件，会导致跨库的 Join 和跨库的事务非常复杂。而数据镜像是把一个数据库镜像成多份一样的数据，这样就不需要数据路由的中间件了。你可以在任意结点上进行读写，内部会自行同步数据。然而，数据镜像中最大的问题就是数据的一致性问题。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《左耳听风》，如需阅读全部文章，
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(30)

  • javaee
    陈大讲的比较有高度，我来说点具体的，做Java后端开发可能会涉及的一些性能优化。进程内缓存，如用Map、List来缓存一些基础数据。如果需要更灵活的操作缓存数据，如自动过期或定期更新，可以使用Guava的LoadingCache。为了减少对Java GC的影响，或者避免用户态与内核态的数据拷贝成本，也可以使用直接内存。但要小心使用，无节制的使用或者没回收内存将可能带来灾难性的后果，例如Netty就有监测是否有内存泄漏的开关，Netty在这方面已经玩得很溜了。大数据量的缓存，或者需要支持分布式访问，可以考虑使用Redis，记得设置过期时间哦。对于不需要实时响应或同步处理的请求，可以通过消息队列来实现异步化，根据实际业务场景来异步反馈结果，或者只须持久化数据。消息队列在削峰方面非常有用，可以很好的应对突发流量，或者是业务在促销期间的高峰，从而让业务下游可以平滑的处理请求。应用服务间的调用可以采用批量发送来提高吞吐。IO密集型的操作或调用可以适当增加线程数，调高调用线程数对于跨机房调用有非常大的提升作用。服务之间尽量同机房或就近机房部署，降低延迟。减少大对象，降低对象存活时间，从而降低Full GC的可能性。有些语言或第三方的API内部逻辑很耗时，必要时可自己实现，如BeanUtils.copyProperties方法。无锁化，如数据分片存储，ThreadLocal。减小锁粒度，减小锁的范围，通常锁代码块优于锁方法。使用乐观锁，如Java中的原子类采用自旋+CAS。
    2017-12-14
    1
    113
  • Silence
    这个系列的文章真是干货
    2017-12-14
    11
  • 刘斌
    架构的版本，不太理解怎么管理架构的版本。是通过一系列的中间件的版本决定的么？

    作者回复: 举个例子，CentOS的版本和其中各个软件版本。架构的版本管理就是管理架构中每个服务的版本。

    2017-12-15
    9
  • Dimple
    如果不是之前半个月我学习了微服务架构，文中很多名词我都不理解，无法接受地去学习。现在回过头来看这个分布式，就好很多了。很多时候，是需要有基础的，有理解的在学习，凭空想象对于技术来说是坚决不可行的
    2019-06-14
    4
  • foruok
    这个系列超级赞！
    2018-01-02
    4
  • edisonhuang
    分布式系统提高了系统的吞吐量，加大并发性能，可以实现关键业务保护。对于分布式系统主要注意下面的两方面：
    提高系统的性能，可以在各级实现缓存技术，做负载均衡的调度，通过异步而非同步反问加大吞吐量，提高系统的并发。
    提高系统的稳定性，包括服务拆分，服务治理，自动化部署运维，全站监控等。
    抓住系统的纲，主要是实现全站资源服务的系统监控，从而让系统有了眼睛，服务和资源的调度，流量调度，数据和流量的调度，从而能够达到自动化运维和部署
    2019-06-05
    2
  • Dale
    受益匪浅，分布式系统中各个组件的调用链和组件监控做的不够好，这方面大公司运维很吃力
    2019-01-13
    2
  • 永靖
    你说服务需要具备，4个接口，start，stop，appconfig，healthcheck。
    有2点疑问，1start不是系统外部命令行启动的时候，运行的main函数？2appconfig，很多参数比如配置文件或者配置文件地址，都应该是允许时传人参数，允许时可以读取配置，可以修改部分配置，例如修改日志打印级别等，是不是这些？
    2017-12-15
    2
  • 永靖
    全栈监控的各项核心技术指标能给详细介绍一下吗
    2017-12-14
    2
  • Case
    高内聚低耦合，强大的可扩展性，从很多大型软件后台，都可以看到他们的发展趋势，基本就是分而治之，随着业务发展而形成很多独立的模块，然而那是花了大量时间和人力来实现的，拥抱docker+云时代。
    2017-12-14
    2
  • 李志博
    马上要搞监控了，超级期待监控的文章
    2017-12-14
    2
  • 小智e
    看了一些专栏，发现大佬总是能从更高纬度来思考一项技术的来龙去脉，让读的人能全局了解，赞了
    2019-07-14
    1
  • IT大飞说
    分布式架构系统的技术栈还是比较深的。
    2019-07-07
    1
  • 绿茶
    高吞吐，高稳定，那分布式的纲是什么呢
    2019-05-22
    1
  • xueyuan
    相见恨晚
    2019-02-21
    1
  • Smilywd
    异步，持久化，状态管理，方便监控和自动修复，提升吞吐量，也一定程度上保证了稳定性
    2019-02-14
    1
  • godtrue
    厉害，提纲挈领，一把抓住了分布式之网的大纲，需要多读几遍，然后顺藤摸瓜，逐步深入研究。
    2018-12-29
    1
  • 关冕
    “架构软件管理”可以再展开讲一下吗？
    2018-06-22
    1
  • 猪猪
    真的是干货，不错
    2018-06-13
    1
  • Geek_22d08b
    请问如果采用阿里云华为云的话，那么多技术要实现是不是只要购买阿里云他们相应的产品，然后配置下就可以了，就没程序员什么事了？
    2018-05-15
    1
收起评论
30
下载
客户端
返回
顶部