23 | 分布式系统的技术栈
陈皓
该思维导图由 AI 生成,仅供参考
你好,我是陈皓,网名左耳朵耗子。
正如我们前面所说的,构建分布式系统的目的是增加系统容量,提高系统的可用性,转换成技术方面,也就是完成下面两件事。
大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上。
关键业务保护。提高后台服务的可用性,把故障隔离起来阻止多米诺骨牌效应(雪崩效应)。如果流量过大,需要对业务降级,以保护关键业务流转。
说白了就是干两件事。一是提高整体架构的吞吐量,服务更多的并发和流量,二是为了提高系统的稳定性,让系统的可用性更高。
提高架构的性能
咱们先来看看,提高系统性能的常用技术。
缓存系统。加入缓存系统,可以有效地提高系统的访问能力。从前端的浏览器,到网络,再到后端的服务,底层的数据库、文件系统、硬盘和 CPU,全都有缓存,这是提高快速访问能力最有效的手段。对于分布式系统下的缓存系统,需要的是一个缓存集群。这其中需要一个 Proxy 来做缓存的分片和路由。
负载均衡系统。负载均衡系统是水平扩展的关键技术,它可以使用多台机器来共同分担一部分流量请求。
异步调用。异步系统主要通过消息队列来对请求做排队处理,这样可以把前端的请求的峰值给“削平”了,而后端通过自己能够处理的速度来处理请求。这样可以增加系统的吞吐量,但是实时性就差很多了。同时,还会引入消息丢失的问题,所以要对消息做持久化,这会造成“有状态”的结点,从而增加了服务调度的难度。
数据分区和数据镜像。数据分区是把数据按一定的方式分成多个区(比如通过地理位置),不同的数据区来分担不同区的流量。这需要一个数据路由的中间件,会导致跨库的 Join 和跨库的事务非常复杂。而数据镜像是把一个数据库镜像成多份一样的数据,这样就不需要数据路由的中间件了。你可以在任意结点上进行读写,内部会自行同步数据。然而,数据镜像中最大的问题就是数据的一致性问题。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
文章《分布式系统的技术栈》深入探讨了构建分布式系统的目的和关键技术要点。作者指出,分布式系统的核心目标是提高系统容量和可用性,需要解决大流量处理和关键业务保护两大挑战。为了提高架构的性能,文章介绍了缓存系统、负载均衡系统、异步调用和数据分区等常用技术。而为了提高架构的稳定性,作者提出了服务拆分、服务冗余、限流降级、高可用架构和高可用运维等技术手段。此外,文章还探讨了分布式系统的关键技术,包括服务治理、架构软件管理、DevOps、自动化运维、资源调度管理、整体架构监控和流量控制。作者强调了Docker和Kubernetes等容器化虚拟化技术对降低分布式系统技术门槛的重要性,同时指出这些技术仍然面临挑战。总的来说,文章全面介绍了分布式系统的技术栈,为读者提供了深入的技术视角和理解。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《左耳听风》,新⼈⾸单¥98
《左耳听风》,新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(57)
- 最新
- 精选
- 刘斌架构的版本,不太理解怎么管理架构的版本。是通过一系列的中间件的版本决定的么?
作者回复: 举个例子,CentOS的版本和其中各个软件版本。架构的版本管理就是管理架构中每个服务的版本。
2017-12-1517 - 雪花飘飘陈老师,希望讲解下分布式事物的实现方式
作者回复: 后面的文章会讲的
2017-12-221 - AI陈大讲的比较有高度,我来说点具体的,做Java后端开发可能会涉及的一些性能优化。进程内缓存,如用Map、List来缓存一些基础数据。如果需要更灵活的操作缓存数据,如自动过期或定期更新,可以使用Guava的LoadingCache。为了减少对Java GC的影响,或者避免用户态与内核态的数据拷贝成本,也可以使用直接内存。但要小心使用,无节制的使用或者没回收内存将可能带来灾难性的后果,例如Netty就有监测是否有内存泄漏的开关,Netty在这方面已经玩得很溜了。大数据量的缓存,或者需要支持分布式访问,可以考虑使用Redis,记得设置过期时间哦。对于不需要实时响应或同步处理的请求,可以通过消息队列来实现异步化,根据实际业务场景来异步反馈结果,或者只须持久化数据。消息队列在削峰方面非常有用,可以很好的应对突发流量,或者是业务在促销期间的高峰,从而让业务下游可以平滑的处理请求。应用服务间的调用可以采用批量发送来提高吞吐。IO密集型的操作或调用可以适当增加线程数,调高调用线程数对于跨机房调用有非常大的提升作用。服务之间尽量同机房或就近机房部署,降低延迟。减少大对象,降低对象存活时间,从而降低Full GC的可能性。有些语言或第三方的API内部逻辑很耗时,必要时可自己实现,如BeanUtils.copyProperties方法。无锁化,如数据分片存储,ThreadLocal。减小锁粒度,减小锁的范围,通常锁代码块优于锁方法。使用乐观锁,如Java中的原子类采用自旋+CAS。2017-12-1411251
- William Ning收获 1. 构建分布式系统的目的是增加系统容量,提高系统的可用性,转换成技术方面,也就是完成下面两件事。 -- 大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上。 -- 关键业务保护。提高后台服务的可用性,把故障隔离起来阻止多米诺骨牌效应(雪崩效应)。如果流量过大,需要对业务降级,以保护关键业务流转。 说白了就是干两件事。一是提高整体架构的吞吐量,服务更多的并发和流量,二是为了提高系统的稳定性,让系统的可用性更高 2.提高架构性能 1.缓存:缓存系统 缓存分区,缓存命中,缓存更新 2.负载均衡:网关系统 负载均衡,服务路由,服务发现 3.异步调用:异步系统 消息队列,消息持久,异步事务 4.数据镜像:数据镜像 数据同步,数据分离,数据一致性 5.数据分区:数据分区 分区策略,数据访问层,数据一致性 3.提高架构稳定性: 1.服务拆分:服务治理 服务调用,依赖,隔离 2.服务冗余:服务调度 弹性伸缩,故障转移,服务发现 3.限流降级:降级限流 异步队列服务降级,限流熔断 4.高可用架构:高可用架构 多租户系统,宰被多活,高可用服务 5.高可用运维:高可用运维 全栈监控 devops,自动化运维 4.引入的问题 但是引入分布式系统,会引入一堆技术问题, 解决方法: -- 服务治理 -- 架构软件管理 -- DevOps。 -- 自动化运维。 -- 资源调度管理 -- 整体架构监控。 -- 流量控制。 备注: 由上可知, 要实现出来得投入多少人力、物力和时间啊。是的,这就是分布式系统中最大的坑。 5.引入的问题的解决方案 --- Docker 我们应该庆幸自己生活在了一个非常不错的年代。今天有一个技术叫——Docker,通过 Docker 以及其衍生出来的 Kubernetes 之类的软件或解决方案,大大地降低了做上面很多事情的门槛。 现在你知道为什么 Docker 这样的容器化虚拟化技术是未来了吧。因为分布式系统已经是完全不可逆转的技术趋势了。 6.总结 -- 分布式系统的“纲” 总结一下上面讲述的内容,你不难发现,分布式系统有五个关键技术,它们是: -- 全栈系统监控; -- 服务 / 资源调度; -- 流量调度; -- 状态 / 数据调度; -- 开发和运维的自动化。 而最后一项 —— 开发和运维的自动化,是需要把前四项都做到了,才有可能实现的。 所以,最为关键是下面这四项技术,即应用整体监控、资源和服务调度、状态和数据调度及流量调度,它们是构建分布式系统最最核心的东西. Over2019-12-1719
- 子悠这个系列的文章真是干货2017-12-1415
- 程序员小跃如果不是之前半个月我学习了微服务架构,文中很多名词我都不理解,无法接受地去学习。现在回过头来看这个分布式,就好很多了。很多时候,是需要有基础的,有理解的在学习,凭空想象对于技术来说是坚决不可行的2019-06-1414
- 安晓辉这个系列超级赞!2018-01-029
- Dale受益匪浅,分布式系统中各个组件的调用链和组件监控做的不够好,这方面大公司运维很吃力2019-01-136
- xueyuan相见恨晚2019-02-214
- FeiFei分布式架构的技术栈很多。 文章列举的已经是超大型分布式系统所需要的技术栈了。 但对于规模较小的公司,文中许多内容不需要实践的过于深。 架构是渐进式进化的,一口成不了个大胖子。2018-09-184
收起评论