09 | 分布式体系结构之集中式结构:一人在上,万人在下
该思维导图由 AI 生成,仅供参考
什么是集中式结构?
- 深入了解
- 翻译
- 解释
- 总结
分布式系统中的集中式架构在Google Borg、Kubernetes和Apache Mesos等知名集群管理系统中发挥重要作用。这些系统采用集中式结构,如BorgMaster和Borglet、Master节点和Worker节点等组成,实现高效的资源和任务调度。它们具有各自的特点和优势,适用于不同的应用场景。Borg是Google内部使用的复杂系统,Kubernetes是其简化开源版,而Mesos则被称为分布式系统的内核。这三种系统虽然功能组件不同,但整体框架都采用集中式架构。因此,理解一个集群管理系统的架构将有助于理解其他集中式的集群管理架构。Kubernetes由于成熟的社区和丰富的文档,适合新手入门。集中式架构中,Master判断Slave存活的方式是一个值得思考的问题。这些系统的集中式架构设计和功能模块使得它们成为值得关注的分布式系统管理工具。
《分布式技术原理与算法解析》,新⼈⾸单¥59
全部留言(23)
- 最新
- 精选
- 亢(知行合一的路上)了解了集中式集群管理中的三个典型案例 Borg、Kubernetes 和 Mesos,Kubernetes 是 Borg 的开源版本,核心是可以进行自动化容器操作,包括部署、调度和在节点间弹性伸缩等,而 Mesos 有点像简化版,只负责底层资源的管理和分配,并不涉及存储、任务调度等功能,可以对接 Spark、Hadoop、Marathon 等框架,相当于帮各个框架完成了一些底层的工作,而业务关系比较大的任务调度等,还让框架做,让自己的实现简单、高效。 感觉 Mesos 的定位非常好,不是做一个大而全的东西,而是让大家都需要我,都愿意依赖我,做人是不是也可以这样呢?做减法,专注自己的优势。
作者回复: 从分布式调度类比到做人的观点,很有想法,👍
2020-03-059 - 面试官问现在提倡使用 leader/follower 来替代 master/slave
作者回复: 这是两种不同的说法
2019-10-1246 - Jackey可以通过slave向master发送心跳包来监听slave的存活状态。还想到了redis的哨兵模式,主从节点的存活状态都由哨兵来监控
作者回复: master 和 slave之间其实可以通过TCP链接和心跳结合来进行判断。
2019-10-1324 - xj_zh老师,可以讲讲master怎么通过tcp和心跳包结合判断slave是否存活的吗?坐等具体实现细节!
作者回复: master和slave之间可以建立一个TCP链接,如果Slave进程退出,但slave节点未挂掉,master这边会感知到TCP链路断开。针对网络故障,或整个Slave服务器挂掉的情况下,可以通过心跳超时进行判断。
2019-10-233 - 观弈道人我怎么感觉这篇和第四篇说的是一个东西,master/slave,求高手指点迷津
作者回复: 确实有联系,不过还是有区别。 集中式架构的显著特点就是集群中的节点有Master也有Slave,我在第9讲中主要讲的是这种体系架构,以及对应的典型代表。 而在第4讲中主要讲的是如果有若干个节点,除了静态手动指定Master和Slave之外,还有没有什么方法可以动态的去从节点中选出Master节点,这在Master节点故障后,进行业务故障恢复时特别有用。在这些场景下就需要用到第4讲的知识了。
2019-12-1922 - goolnen老师后面会对集中式和非集中式进行优缺点的对比么,会不会举一些例子:如redis、elasticsearch、Hadoop...这些系统为什么这么设计?还有我在目录没看到关于分布式一致性这个重要的话题呢,以及相关的一致性算法,这些后面会专门讲讲么
作者回复: 其实一致性没有单独说成是“一致性”,但是分布式共识、分布式数据里面都会介绍一致性的知识。
2019-10-211 - luffy所有数据都存储在中央服务器,那要节点服务器干什么?节点服务器能执行中央服务器的数据吗
作者回复: 节点服务器运算执行
2020-05-31 - 楚翔styleyarn应该也是集中式的分布式体系吧,,有applicationMaster
作者回复: Yarn属于集中式的
2019-10-162 - 易儿易原话:也正因为此,Mesos 的任务调度框架是双层结构。 老师,这个因果关系没有看明白…… 不论用户请求还是框架集成,只是api方式不同对吧?Mesos的双层结构是什么效果呢?
作者回复: Mesos的双层调度我会在“分布式调度架构之两层调度:物质文明、精神文明两手抓”进行介绍
2019-10-12 - 钱Master怎么判断Slave是否存活? 1:Slave定时向Master汇报自己还活着,定时心跳包 2:Master定时询问Slave是否还活着,定时心跳包 3:Master与Slave之间建立TCP长链接2020-02-1511