左耳听风
陈皓
网名“左耳朵耗子”,资深技术专家,骨灰级程序员
立即订阅
40357 人已学习
课程目录
已完结 108 讲
0/6登录后,你可以任选6讲全文学习。
开篇词 | 洞悉技术的本质,享受科技的乐趣
免费
01 | 程序员如何用技术变现(上)
02 | 程序员如何用技术变现(下)
03 | Equifax信息泄露始末
04 | 从Equifax信息泄露看数据安全
05 | 何为技术领导力?
06 | 如何才能拥有技术领导力?
07 | 推荐阅读:每个程序员都该知道的知识
08 | Go语言,Docker和新技术
09 | 答疑解惑:渴望、热情和选择
10 | 如何成为一个大家愿意追随的Leader?
11 | 程序中的错误处理:错误返回码和异常捕捉
12 | 程序中的错误处理:异步编程以及我的最佳实践
13 | 魔数 0x5f3759df
14 | 推荐阅读:机器学习101
15 | 时间管理:同扭曲时间的事儿抗争
16 | 时间管理:如何利用好自己的时间?
17 | 故障处理最佳实践:应对故障
18 | 故障处理最佳实践:故障改进
19 | 答疑解惑:我们应该能够识别的表象和本质
20 | Git协同工作流,你该怎么选?
21 | 分布式系统架构的冰与火
22 | 从亚马逊的实践,谈分布式系统的难点
23 | 分布式系统的技术栈
24 | 分布式系统关键技术:全栈监控
25 | 分布式系统关键技术:服务调度
26 | 分布式系统关键技术:流量与数据调度
27 | 洞悉PaaS平台的本质
28 | 推荐阅读:分布式系统架构经典资料
29 | 推荐阅读:分布式数据调度相关论文
30 | 编程范式游记(1)- 起源
31 | 编程范式游记(2)- 泛型编程
32 | 编程范式游记(3) - 类型系统和泛型的本质
33 | 编程范式游记(4)- 函数式编程
34 | 编程范式游记(5)- 修饰器模式
35 | 编程范式游记(6)- 面向对象编程
36 | 编程范式游记(7)- 基于原型的编程范式
37 | 编程范式游记(8)- Go 语言的委托模式
38 | 编程范式游记(9)- 编程的本质
39 | 编程范式游记(10)- 逻辑编程范式
40 | 编程范式游记(11)- 程序世界里的编程范式
41 | 弹力设计篇之“认识故障和弹力设计”
42 | 弹力设计篇之“隔离设计”
43 | 弹力设计篇之“异步通讯设计”
44 | 弹力设计篇之“幂等性设计”
45 | 弹力设计篇之“服务的状态”
46 | 弹力设计篇之“补偿事务”
47 | 弹力设计篇之“重试设计”
48 | 弹力设计篇之“熔断设计”
49 | 弹力设计篇之“限流设计”
50 | 弹力设计篇之“降级设计”
51 | 弹力设计篇之“弹力设计总结”
52 | 管理设计篇之“分布式锁”
53 | 管理设计篇之“配置中心”
54 | 管理设计篇之“边车模式”
55 | 管理设计篇之“服务网格”
56 | 管理设计篇之“网关模式”
57 | 管理设计篇之“部署升级策略”
58 | 性能设计篇之“缓存”
59 | 性能设计篇之“异步处理”
60 | 性能设计篇之“数据库扩展”
61 | 性能设计篇之“秒杀”
62 | 性能设计篇之“边缘计算”
63 | 区块链技术的本质
64 | 区块链技术细节:哈希算法
65 | 区块链技术细节:加密和挖矿
66 | 区块链技术细节:去中心化的共识机制
67 | 区块链技术细节:智能合约
68 | 区块链技术 - 传统金融和虚拟货币
69 | 程序员练级攻略:开篇词
70 | 程序员练级攻略:零基础启蒙
71 | 程序员练级攻略:正式入门
72 | 程序员练级攻略:程序员修养
73 | 程序员练级攻略:编程语言
74 | 程序员练级攻略:理论学科
75 | 程序员练级攻略:系统知识
76 | 程序员练级攻略:软件设计
77 | 程序员练级攻略:Linux系统、内存和网络
78 | 程序员练级攻略:异步I/O模型和Lock-Free编程
79 | 程序员练级攻略:Java底层知识
80 | 程序员练级攻略:数据库
81 | 程序员练级攻略:分布式架构入门
82 | 程序员练级攻略:分布式架构经典图书和论文
83 | 程序员练级攻略:分布式架构工程设计
84 | 程序员练级攻略:微服务
85 | 程序员练级攻略:容器化和自动化运维
86 | 程序员练级攻略:机器学习和人工智能
87 | 程序员练级攻略:前端基础和底层原理
88 | 程序员练级攻略:前端性能优化和框架
89 | 程序员练级攻略:UI/UX设计
90 | 程序员练级攻略:技术资源集散地
91 | 程序员面试攻略:面试前的准备
92 | 程序员面试攻略:面试中的技巧
93 | 程序员面试攻略:面试风格
94 | 程序员面试攻略:实力才是王中王
95 | 高效学习:端正学习态度
96 | 高效学习:源头、原理和知识地图
97 | 高效学习:深度,归纳和坚持实践
98 | 高效学习:如何学习和阅读代码
99 | 高效学习:面对枯燥和量大的知识
左耳听风
登录|注册

23 | 分布式系统的技术栈

陈皓 2017-12-19
正如我们前面所说的,构建分布式系统的目的是增加系统容量,提高系统的可用性,转换成技术方面,也就是完成下面两件事。
大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上。
关键业务保护。提高后台服务的可用性,把故障隔离起来阻止多米诺骨牌效应(雪崩效应)。如果流量过大,需要对业务降级,以保护关键业务流转。
说白了就是干两件事。一是提高整体架构的吞吐量,服务更多的并发和流量,二是为了提高系统的稳定性,让系统的可用性更高。

提高架构的性能

咱们先来看看,提高系统性能的常用技术。
缓存系统。加入缓存系统,可以有效地提高系统的访问能力。从前端的浏览器,到网络,再到后端的服务,底层的数据库、文件系统、硬盘和 CPU,全都有缓存,这是提高快速访问能力最有效的手段。对于分布式系统下的缓存系统,需要的是一个缓存集群。这其中需要一个 Proxy 来做缓存的分片和路由。
负载均衡系统。负载均衡系统是水平扩展的关键技术,它可以使用多台机器来共同分担一部分流量请求。
异步调用。异步系统主要通过消息队列来对请求做排队处理,这样可以把前端的请求的峰值给“削平”了,而后端通过自己能够处理的速度来处理请求。这样可以增加系统的吞吐量,但是实时性就差很多了。同时,还会引入消息丢失的问题,所以要对消息做持久化,这会造成“有状态”的结点,从而增加了服务调度的难度。
数据分区和数据镜像数据分区是把数据按一定的方式分成多个区(比如通过地理位置),不同的数据区来分担不同区的流量。这需要一个数据路由的中间件,会导致跨库的 Join 和跨库的事务非常复杂。而数据镜像是把一个数据库镜像成多份一样的数据,这样就不需要数据路由的中间件了。你可以在任意结点上进行读写,内部会自行同步数据。然而,数据镜像中最大的问题就是数据的一致性问题。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《左耳听风》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(30)

  • javaee
    陈大讲的比较有高度,我来说点具体的,做Java后端开发可能会涉及的一些性能优化。进程内缓存,如用Map、List来缓存一些基础数据。如果需要更灵活的操作缓存数据,如自动过期或定期更新,可以使用Guava的LoadingCache。为了减少对Java GC的影响,或者避免用户态与内核态的数据拷贝成本,也可以使用直接内存。但要小心使用,无节制的使用或者没回收内存将可能带来灾难性的后果,例如Netty就有监测是否有内存泄漏的开关,Netty在这方面已经玩得很溜了。大数据量的缓存,或者需要支持分布式访问,可以考虑使用Redis,记得设置过期时间哦。对于不需要实时响应或同步处理的请求,可以通过消息队列来实现异步化,根据实际业务场景来异步反馈结果,或者只须持久化数据。消息队列在削峰方面非常有用,可以很好的应对突发流量,或者是业务在促销期间的高峰,从而让业务下游可以平滑的处理请求。应用服务间的调用可以采用批量发送来提高吞吐。IO密集型的操作或调用可以适当增加线程数,调高调用线程数对于跨机房调用有非常大的提升作用。服务之间尽量同机房或就近机房部署,降低延迟。减少大对象,降低对象存活时间,从而降低Full GC的可能性。有些语言或第三方的API内部逻辑很耗时,必要时可自己实现,如BeanUtils.copyProperties方法。无锁化,如数据分片存储,ThreadLocal。减小锁粒度,减小锁的范围,通常锁代码块优于锁方法。使用乐观锁,如Java中的原子类采用自旋+CAS。
    2017-12-14
    1
    113
  • Silence
    这个系列的文章真是干货
    2017-12-14
    11
  • 刘斌
    架构的版本,不太理解怎么管理架构的版本。是通过一系列的中间件的版本决定的么?

    作者回复: 举个例子,CentOS的版本和其中各个软件版本。架构的版本管理就是管理架构中每个服务的版本。

    2017-12-15
    9
  • Dimple
    如果不是之前半个月我学习了微服务架构,文中很多名词我都不理解,无法接受地去学习。现在回过头来看这个分布式,就好很多了。很多时候,是需要有基础的,有理解的在学习,凭空想象对于技术来说是坚决不可行的
    2019-06-14
    4
  • foruok
    这个系列超级赞!
    2018-01-02
    4
  • edisonhuang
    分布式系统提高了系统的吞吐量,加大并发性能,可以实现关键业务保护。对于分布式系统主要注意下面的两方面:
    提高系统的性能,可以在各级实现缓存技术,做负载均衡的调度,通过异步而非同步反问加大吞吐量,提高系统的并发。
    提高系统的稳定性,包括服务拆分,服务治理,自动化部署运维,全站监控等。
    抓住系统的纲,主要是实现全站资源服务的系统监控,从而让系统有了眼睛,服务和资源的调度,流量调度,数据和流量的调度,从而能够达到自动化运维和部署
    2019-06-05
    2
  • Dale
    受益匪浅,分布式系统中各个组件的调用链和组件监控做的不够好,这方面大公司运维很吃力
    2019-01-13
    2
  • 永靖
    你说服务需要具备,4个接口,start,stop,appconfig,healthcheck。
    有2点疑问,1start不是系统外部命令行启动的时候,运行的main函数?2appconfig,很多参数比如配置文件或者配置文件地址,都应该是允许时传人参数,允许时可以读取配置,可以修改部分配置,例如修改日志打印级别等,是不是这些?
    2017-12-15
    2
  • 永靖
    全栈监控的各项核心技术指标能给详细介绍一下吗
    2017-12-14
    2
  • Case
    高内聚低耦合,强大的可扩展性,从很多大型软件后台,都可以看到他们的发展趋势,基本就是分而治之,随着业务发展而形成很多独立的模块,然而那是花了大量时间和人力来实现的,拥抱docker+云时代。
    2017-12-14
    2
  • 李志博
    马上要搞监控了,超级期待监控的文章
    2017-12-14
    2
  • 小智e
    看了一些专栏,发现大佬总是能从更高纬度来思考一项技术的来龙去脉,让读的人能全局了解,赞了
    2019-07-14
    1
  • IT大飞说
    分布式架构系统的技术栈还是比较深的。
    2019-07-07
    1
  • 绿茶
    高吞吐,高稳定,那分布式的纲是什么呢
    2019-05-22
    1
  • xueyuan
    相见恨晚
    2019-02-21
    1
  • Smilywd
    异步,持久化,状态管理,方便监控和自动修复,提升吞吐量,也一定程度上保证了稳定性
    2019-02-14
    1
  • godtrue
    厉害,提纲挈领,一把抓住了分布式之网的大纲,需要多读几遍,然后顺藤摸瓜,逐步深入研究。
    2018-12-29
    1
  • 关冕
    “架构软件管理”可以再展开讲一下吗?
    2018-06-22
    1
  • 猪猪
    真的是干货,不错
    2018-06-13
    1
  • Geek_22d08b
    请问如果采用阿里云华为云的话,那么多技术要实现是不是只要购买阿里云他们相应的产品,然后配置下就可以了,就没程序员什么事了?
    2018-05-15
    1
收起评论
30
返回
顶部