26 | 高可用存储架构：集群和分区
2018-06-26 李运华
《从 0 开始学架构》
课程介绍
讲述：黄洲君
时长:大小5.97M
上一期我讲了高可用存储架构中常见的双机架构，分别为主备复制、主从复制、双机切换和主主复制，并分析了每类架构的优缺点以及适应场景。
今天我们一起来看看另外两种常见的高可用存储架构：数据集群和数据分区。
数据集群
主备、主从、主主架构本质上都有一个隐含的假设：主机能够存储所有数据，但主机本身的存储和处理能力肯定是有极限的。以 PC 为例，Intel 386 时代服务器存储能力只有几百 MB，Intel 奔腾时代服务器存储能力可以有几十 GB，Intel 酷睿多核时代的服务器可以有几个 TB。单纯从硬件发展的角度来看，似乎发展速度还是挺快的，但如果和业务发展速度对比，那就差得远了。早在 2013 年，Facebook 就有 2500 亿张上传照片，当时这些照片的容量就已经达到了 250 PB 字节（250 × 1024TB），平均一天上传的图片有 3 亿 5000 万张。如此大量的数据，单台服务器肯定是无法存储和处理的，我们必须使用多台服务器来存储数据，这就是数据集群架构。
简单来说，集群就是多台机器组合在一...
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
精选留言
空档滑行2018-06-271.远距离集群网络延时较高，而且网络出问题的几率加大，导致数据复制的逻辑会比较复杂
2.成本过高，数据全量复制，等于存储多份
所以更好的办法是从业务端对数据做分区，出现地理故障时只形象一部分用户或者功能的使用作者回复: 分析到位👍
70
孙振超2018-08-15数据集群可以做到在不同节点之间复制数据，确保当一个集群断网断电的情况下，仍然有机房可以读取数据，但是在对外提供服务时不仅仅考虑是否能读写数据，还需要考虑读写数据所需的耗时。距离过远意味着耗时较长，如果是搭建专线，成本也会非常高，因而从成本和用户体验两个纬度考量远距离同步集群不适合直接对外提供服务。
对于城市级数据集群出故障，主要还是通过短距异地（网络耗时在十毫秒级别）集群来解决，远距离集群主要还是用于做冷备、数据离线比对等功能。作者回复: 正解👍👍
41
海罗沃德2019-07-14AWS按照地理分区为region，每个region之间大约相当于跨国分区，当然在很多国家里AWS都有多个region比如us-west-1，us-west-2，就分别位于加利福尼亚和俄勒冈，而us-east-1在弗吉尼亚
每个AWS的region下面又有多个availablility zone简称AZ，就是所谓us-west-2 a，us-west-2 b这样的，AZ基本上是不在同一个城市，距离至少要在数百公里以上，以保证地理级别可用
不同的region级别上数据是很难迁移的，如果有多region的数据同步需求，可能需要联系AWS的工程师来调配资源，而且费用也会很高，但是同region下的AZ级别数据同步是很容易的，费用也很低展开作者回复: 感谢补充👍👍👍
共 3 条评论23
Geek_88604f2019-09-16既然数据集群就可以做到不同节点之间复制数据，为何不搭建一个远距离分布的集群来应对地理位置级别的故障呢？从以下几个方面来考虑:业务本身、均衡性、容错性、可伸缩性。
业务本身:在这样的一个集群上网络访问的质量是不可控的，导致用户体验差，用户无法忍受就只能放弃。
均衡性:在大规模的情况下算法很难保证各个服务器上的数据分区是均衡的。一个可能是算法本身在大规模的情况下失效了;另一个可能是集群中节点的负载情况时时刻刻在发生变化，分区一直处在调整当中。
容错性:大规模集群中服务器故障是家常便饭，当服务器故障时数据分区需要分配给其他服务器，这就导致了时时刻刻在发生数据迁移，影响正常业务的带宽。
可伸缩性:一是这样的集群Master是瓶颈，系统节点规模有上限;二是增加或删除节点带来数据分区的大面积迁移
总的来说，搭建一个远距离分布的集群来应对地理位置级别的故障是很不实际的方案，它注定不能将均衡性、容错性、可伸缩性这三者的影响控制在有限的范围内，进而影响正常业务的开展。展开作者回复: 专业👍
11
ttxser2018-07-24我觉得这是我购买的众多课程中，最值的一个，谢谢！作者回复: 谢谢😄每个课程面向的用户和目标不太一样，只能说我的这个正好解决了你的需求，其他课程也不错，我自己也买了几个
共 2 条评论11- XNorth2018-06-26远距离集群，需要考虑带宽影响。数据量较大，复制成本较高。8
feifei2018-06-261，远距离分布的网络延迟高，将导致集群中的数据数据同步时延很高，如果出现业务远距离的数据同步，业务的时延不然很高，某些极端情况，可能用户得不到响应，影响用户的使用
2，远距离的网络可靠性很难保证，支付宝就因为挖断光缆导致用户不可用
3，成本高，数据中心稀缺的资源是宽带资源，因为是远距离分布，所以宽带的费用会很高7
谭方敏2020-03-08数据集群与数据分区。
其中数据集群又分数据集中集群和数据分散集群。
数据集中集群需要考虑的是，1）数据复制，2）状态检测，3）故障选举，典型代表zookeeper。
数据分散集群需要考虑的是，1) 均衡性，2）容错性，3）扩展性, 典型代表Hadoop.
数据分区需要考虑的是，1）数据量，2）分区规则，3）复制规则。
其中复制负责有可以分为1）集中式，2）互备式，3）独立式。
拿现在公司业务来说，现在选择的是mongodb，它能支持数据集中式集群（副本集，一主多从）和数据分散集群（数据分片）
公司在四个区（sz，as，us，eu）都有自己的DC中心，数据分区复制规则为集中式，具体表现是备份数据库都在as，
数据集群模式还是采用数据集中集群，虽然mongodb支持数据分散集群的，但是发现由延迟带来的数据复制问题变得非常严重。后来只弄取消这种方案。展开作者回复: 兄弟的经验很丰富呀👍
5
文竹2018-08-23数据分散集群具有均衡性，容错性，可伸缩性特点，响应比较快。
远距离分布的集群可有如下特点：
1、更容易出现不可用性，具体表现在业务响应慢，数据读/写/复制延迟高
2、一致性也难保证
3、也难保证均衡性，容错性，可伸缩性特点
4、复杂度较近距离的集群呈现指数级增长展开作者回复: 正解👍👍
4
郭涛2018-06-26数据集群中的节点间需要通信，远距离通信网络延迟高，无法保证集群中节点间的数据一致性；长距离网络传输带宽不比局域网，大量数据复制带宽容易成为瓶颈；且一旦出故障，排查的成本也高。数据集群架构适合应对硬件级的故障，远距离、地理范围的可用性保障采用数据分区。4
小鬼爱风雪2021-06-23老师讲的很好，但是从架构层面讲技术总有浅尝辄止的感觉，是不是我要从更抽象层面去理解架构。作者回复: 那是因为你还没有遇到要你做架构决策的时候，架构决策的时候不是根据哪个API，哪个数据结构，哪个算法来决策的。
你所谓的深入，其实是架构定好了，你来实现，你会觉得写代码感觉良好，但其实前面的架构判断和决策才是最难的，而且没有标准答案3
衣申人2018-07-03请问数据分散集群不就是分区吗？文章在论述时的分类和层次上是不是有点重合？还是我理解错了呢？请老师指导作者回复: 分散集群是地理位置上在同一个机房，集群中的数据一样；分区分布在不同地理位置，且数据不一样
3
钱2019-08-30课后思考及问题
本文核心观点
1：啥是集群？
集群就是多台机器组合在一起形成一个统一的系统，这里的“多台”，数量上至少是 3 台；相比而言，主备、主从都是 2 台机器。
2：集群的类型？
根据集群中机器承担的不同角色来划分，集群可以分为两类：数据集中集群、数据分散集群。
数据集中集群与主备、主从这类架构相似，我们也可以称数据集中集群为 1 主多备或者 1 主多从。无论是 1 主 1 从、1 主 1 备，还是 1 主多备、1 主多从，数据都只能往主机中写，而读操作可以参考主备、主从架构进行灵活多变。——核心在于，数据只能往主机中写。
适合数据量不大，集群机器数量不多的场景。
数据分散集群指多个服务器组成一个集群，每台服务器都会负责存储一部分数据；同时，为了提升硬件利用率，每台服务器又会备份一部分数据。——核心在于，集群中的机器既负责存储数据又负责备份数据，每台机器都能负责读写请求，需要一个任务分发的角色。
由于其良好的可伸缩性，适合业务数据量巨大、集群机器数量庞大的业务场景。
3：啥是数据分区？
数据分区指将数据按照一定的规则进行分区，不同分区分布在不同的地理位置上，每个分区存储一部分数据，通过这种方式来规避地理级别的故障所造成的巨大影响。
4：分区和集群，大数据存储系统或者大型网络系统的标配。通俗点说就是单机的性能或者存储已近极限，但是还是满足不了业务的需要就需要加机器来扛啦！当然，为了数据的高可用性也是采用分布式数据冗余的方式来实现的。
今天感觉对集群和分区理解的更好一点啦！
既然数据集群就可以做到不同节点之间复制数据，为何不搭建一个远距离分布的集群来应对地理位置级别的故障呢？
如果这么做了，会有啥问题呢？最明显的估计会出现更多更大的数据复制延迟问题，数据不一致问题会比较凸现，如果为了更好的网络通信以用来减少数据延迟，会花更多的钱来铺设专线，那由于这些问题可以看出这种方式不太合适。展开1
正是那朵玫瑰2018-08-03老师回复留言真是好快呀！定了好几个专栏，华仔老师对留言的回复是最认真和最负责任的，从专栏学习了很多东西，此留言是特意感谢华仔老师的！
另外rocketmq确实是producer轮训发给每个master，应该是producer充当了算法分配角色，我开始理解以为一定要服务器端一个节点来充当！作者回复: 不是的，算法实现方式很多，客户端实现，路由层实现，服务器转发等都可以😄
1- 衣申人2018-07-04老师，数据分散集群，数据应该是不一样的吧？关键是分区吧，虽然可能节点会互备数量数据，但不等于数据都相同，不然和数据集中集群有和区别？
作者回复: 嗯，数据分散集群中的节点数据不同，我之前的回复混淆了，参考es就知道了
1 - 衣申人2018-07-03思考题里的跨地域复制集群，不就是异地多活吗？请问我有理解错吗？
作者回复: 异地多活是从业务角度来看的，跨地域复制是异地多活的基础，但不等于异地多活
1 
@漆~心endless2018-06-29能否引入区块链的相关思想去做数据备份，将非机密数据进行“去中心化”操作，这样能降低硬件成本，以及提高容灾能力。作者回复: 区块链性能太差😂
1
生活就是态度2018-06-28可以讲讲es,kafka这些中间件优化及应用不作者回复: 专栏的目的在于提炼架构设计中本质和通用的内容，这样以后你看到一个系统就知道怎么去分析和研究，如果只是详细讲解某个系统，换个系统这些东西可能都没用了
1
问题究竟系边度2018-06-27如果采用远距离集群，网络抖动和延时就会对整个集群性能造成影响。 如果出现网络分区，数据出现差别。 同时副本复制的控制会比较复杂作者回复: 👍👍👍
1
lliill2022-01-06远距离的数据集全，从网络延迟上边来考虑就不可行，集群各节点之间的数据传输延迟太高。作者回复: 正解，核心原因就是网络传输速度