左耳听风
陈皓
网名“左耳朵耗子”,资深技术专家
180928 人已学习
新⼈⾸单¥98
登录后,你可以任选6讲全文学习
课程目录
已完结/共 119 讲
左耳听风
15
15
1.0x
00:00/00:00
登录|注册

23 | 分布式系统的技术栈

开发和运维的自动化
状态/数据调度
流量调度
服务/资源调度
全栈系统监控
流量控制
整体架构监控
资源调度管理
自动化运维
DevOps
架构软件管理
服务治理
高可用运维
高可用架构
限流降级
服务冗余
服务拆分
数据分区和数据镜像
异步调用
负载均衡系统
缓存系统
分布式系统的"纲"
分布式系统的关键技术
提高架构的稳定性
提高架构的性能
分布式系统的技术栈

该思维导图由 AI 生成,仅供参考

你好,我是陈皓,网名左耳朵耗子。
正如我们前面所说的,构建分布式系统的目的是增加系统容量,提高系统的可用性,转换成技术方面,也就是完成下面两件事。
大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上。
关键业务保护提高后台服务的可用性,把故障隔离起来阻止多米诺骨牌效应(雪崩效应)。如果流量过大,需要对业务降级,以保护关键业务流转。
说白了就是干两件事。一是提高整体架构的吞吐量,服务更多的并发和流量,二是为了提高系统的稳定性,让系统的可用性更高。

提高架构的性能

咱们先来看看,提高系统性能的常用技术。
缓存系统加入缓存系统,可以有效地提高系统的访问能力。从前端的浏览器,到网络,再到后端的服务,底层的数据库、文件系统、硬盘和 CPU,全都有缓存,这是提高快速访问能力最有效的手段。对于分布式系统下的缓存系统,需要的是一个缓存集群。这其中需要一个 Proxy 来做缓存的分片和路由。
负载均衡系统。负载均衡系统是水平扩展的关键技术,它可以使用多台机器来共同分担一部分流量请求。
异步调用。异步系统主要通过消息队列来对请求做排队处理,这样可以把前端的请求的峰值给“削平”了,而后端通过自己能够处理的速度来处理请求。这样可以增加系统的吞吐量,但是实时性就差很多了。同时,还会引入消息丢失的问题,所以要对消息做持久化,这会造成“有状态”的结点,从而增加了服务调度的难度。
数据分区和数据镜像数据分区是把数据按一定的方式分成多个区(比如通过地理位置),不同的数据区来分担不同区的流量。这需要一个数据路由的中间件,会导致跨库的 Join 和跨库的事务非常复杂。而数据镜像是把一个数据库镜像成多份一样的数据,这样就不需要数据路由的中间件了。你可以在任意结点上进行读写,内部会自行同步数据。然而,数据镜像中最大的问题就是数据的一致性问题。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

文章《分布式系统的技术栈》深入探讨了构建分布式系统的目的和关键技术要点。作者指出,分布式系统的核心目标是提高系统容量和可用性,需要解决大流量处理和关键业务保护两大挑战。为了提高架构的性能,文章介绍了缓存系统、负载均衡系统、异步调用和数据分区等常用技术。而为了提高架构的稳定性,作者提出了服务拆分、服务冗余、限流降级、高可用架构和高可用运维等技术手段。此外,文章还探讨了分布式系统的关键技术,包括服务治理、架构软件管理、DevOps、自动化运维、资源调度管理、整体架构监控和流量控制。作者强调了Docker和Kubernetes等容器化虚拟化技术对降低分布式系统技术门槛的重要性,同时指出这些技术仍然面临挑战。总的来说,文章全面介绍了分布式系统的技术栈,为读者提供了深入的技术视角和理解。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《左耳听风》
新⼈⾸单¥98
立即购买
登录 后留言

全部留言(57)

  • 最新
  • 精选
  • 刘斌
    架构的版本,不太理解怎么管理架构的版本。是通过一系列的中间件的版本决定的么?

    作者回复: 举个例子,CentOS的版本和其中各个软件版本。架构的版本管理就是管理架构中每个服务的版本。

    2017-12-15
    17
  • 雪花飘飘
    陈老师,希望讲解下分布式事物的实现方式

    作者回复: 后面的文章会讲的

    2017-12-22
    1
  • AI
    陈大讲的比较有高度,我来说点具体的,做Java后端开发可能会涉及的一些性能优化。进程内缓存,如用Map、List来缓存一些基础数据。如果需要更灵活的操作缓存数据,如自动过期或定期更新,可以使用Guava的LoadingCache。为了减少对Java GC的影响,或者避免用户态与内核态的数据拷贝成本,也可以使用直接内存。但要小心使用,无节制的使用或者没回收内存将可能带来灾难性的后果,例如Netty就有监测是否有内存泄漏的开关,Netty在这方面已经玩得很溜了。大数据量的缓存,或者需要支持分布式访问,可以考虑使用Redis,记得设置过期时间哦。对于不需要实时响应或同步处理的请求,可以通过消息队列来实现异步化,根据实际业务场景来异步反馈结果,或者只须持久化数据。消息队列在削峰方面非常有用,可以很好的应对突发流量,或者是业务在促销期间的高峰,从而让业务下游可以平滑的处理请求。应用服务间的调用可以采用批量发送来提高吞吐。IO密集型的操作或调用可以适当增加线程数,调高调用线程数对于跨机房调用有非常大的提升作用。服务之间尽量同机房或就近机房部署,降低延迟。减少大对象,降低对象存活时间,从而降低Full GC的可能性。有些语言或第三方的API内部逻辑很耗时,必要时可自己实现,如BeanUtils.copyProperties方法。无锁化,如数据分片存储,ThreadLocal。减小锁粒度,减小锁的范围,通常锁代码块优于锁方法。使用乐观锁,如Java中的原子类采用自旋+CAS。
    2017-12-14
    11
    251
  • William Ning
    收获 1. 构建分布式系统的目的是增加系统容量,提高系统的可用性,转换成技术方面,也就是完成下面两件事。 -- 大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上。 -- 关键业务保护。提高后台服务的可用性,把故障隔离起来阻止多米诺骨牌效应(雪崩效应)。如果流量过大,需要对业务降级,以保护关键业务流转。 说白了就是干两件事。一是提高整体架构的吞吐量,服务更多的并发和流量,二是为了提高系统的稳定性,让系统的可用性更高 2.提高架构性能 1.缓存:缓存系统 缓存分区,缓存命中,缓存更新 2.负载均衡:网关系统 负载均衡,服务路由,服务发现 3.异步调用:异步系统 消息队列,消息持久,异步事务 4.数据镜像:数据镜像 数据同步,数据分离,数据一致性 5.数据分区:数据分区 分区策略,数据访问层,数据一致性 3.提高架构稳定性: 1.服务拆分:服务治理 服务调用,依赖,隔离 2.服务冗余:服务调度 弹性伸缩,故障转移,服务发现 3.限流降级:降级限流 异步队列服务降级,限流熔断 4.高可用架构:高可用架构 多租户系统,宰被多活,高可用服务 5.高可用运维:高可用运维 全栈监控 devops,自动化运维 4.引入的问题 但是引入分布式系统,会引入一堆技术问题, 解决方法: -- 服务治理 -- 架构软件管理 -- DevOps。 -- 自动化运维。 -- 资源调度管理 -- 整体架构监控。 -- 流量控制。 备注: 由上可知, 要实现出来得投入多少人力、物力和时间啊。是的,这就是分布式系统中最大的坑。 5.引入的问题的解决方案  --- Docker 我们应该庆幸自己生活在了一个非常不错的年代。今天有一个技术叫——Docker,通过 Docker 以及其衍生出来的 Kubernetes 之类的软件或解决方案,大大地降低了做上面很多事情的门槛。 现在你知道为什么 Docker 这样的容器化虚拟化技术是未来了吧。因为分布式系统已经是完全不可逆转的技术趋势了。 6.总结  -- 分布式系统的“纲” 总结一下上面讲述的内容,你不难发现,分布式系统有五个关键技术,它们是: -- 全栈系统监控; -- 服务 / 资源调度; -- 流量调度; -- 状态 / 数据调度; -- 开发和运维的自动化。 而最后一项 —— 开发和运维的自动化,是需要把前四项都做到了,才有可能实现的。 所以,最为关键是下面这四项技术,即应用整体监控、资源和服务调度、状态和数据调度及流量调度,它们是构建分布式系统最最核心的东西. Over
    2019-12-17
    19
  • 子悠
    这个系列的文章真是干货
    2017-12-14
    15
  • 程序员小跃
    如果不是之前半个月我学习了微服务架构,文中很多名词我都不理解,无法接受地去学习。现在回过头来看这个分布式,就好很多了。很多时候,是需要有基础的,有理解的在学习,凭空想象对于技术来说是坚决不可行的
    2019-06-14
    14
  • 安晓辉
    这个系列超级赞!
    2018-01-02
    9
  • Dale
    受益匪浅,分布式系统中各个组件的调用链和组件监控做的不够好,这方面大公司运维很吃力
    2019-01-13
    6
  • xueyuan
    相见恨晚
    2019-02-21
    4
  • FeiFei
    分布式架构的技术栈很多。 文章列举的已经是超大型分布式系统所需要的技术栈了。 但对于规模较小的公司,文中许多内容不需要实践的过于深。 架构是渐进式进化的,一口成不了个大胖子。
    2018-09-18
    4
收起评论
显示
设置
留言
57
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部