29 | 推荐阅读:分布式数据调度相关论文
陈皓
该思维导图由 AI 生成,仅供参考
你好,我是陈皓,网名左耳朵耗子。
我们在之前的系列文章《分布式系统架构的本质》中说过,分布式系统的一个关键技术是“数据调度”。因为我们需要扩充节点,提高系统的高可用性,所以必须冗余数据结点。
建立数据结点的副本看上去容易,但其中最大的难点就是分布式一致性的问题。下面,我会带你看看数据调度世界中的一些技术点以及相关的技术论文。
对于分布式的一致性问题,相信你在前面看过好几次下面这张图。从中,我们可以看出,Paxos 算法的重要程度。还有人说,分布式下真正的一致性算法只有 Paxos。
Paxos 算法
Paxos 算法,是莱斯利·兰伯特(Lesile Lamport)于 1990 年提出来的一种基于消息传递且具有高度容错特性的一致性算法。但是这个算法太过于晦涩,所以,一直以来都属于理论上的论文性质的东西。
其进入工程圈的源头在于 Google 的 Chubby lock——一个分布式的锁服务,用在了 Bigtable 中。直到 Google 发布了下面的这两篇论文,Paxos 才进入到工程界的视野中来。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文深入探讨了分布式系统中的数据调度技术及相关算法,着重介绍了Paxos算法和Raft算法在解决分布式一致性问题中的应用。Paxos算法通过逻辑时钟和向量时钟解决消息有序性问题,确保数据更新的因果关系;而Raft算法以其易于理解和实现的特点备受关注。此外,文章还涉及了DynamoDB和Gossip协议在分布式系统中的应用,以及相关的数据一致性和数据同步机制。通过对向量时钟和Gossip协议的详细解释,读者可以更深入地了解分布式系统中数据调度的关键技术和实际应用。另外,文章还介绍了AWS Aurora和Google Spanner等分布式数据库的设计原理和工程实践,以及相关的开源项目。总体而言,本文对分布式系统中数据调度的重要技术和相关算法进行了全面深入的探讨,对于对分布式系统感兴趣的读者具有一定的参考价值。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《左耳听风》,新⼈⾸单¥98
《左耳听风》,新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(21)
- 最新
- 精选
- 湖心亭看雪耗子哥,zookeeper不是用的paxos啊
作者回复: 谢谢啊!是我搞错了……
2018-01-2010 - 张志远只能说作者很多文章学习时间单位最少是月2018-09-08137
- 业余爱好者分库分表不就就会成为历史,本以为多么高级的技术,没想到就只是个过渡性产品。果然学技术还是要学思想,学习每个技术出现的背景,要解决什么问题,本身又有什么弊端,改如何解决。2019-12-0116
- Michael Zhu这以后也不用录音了,本想听着省事,结果还要手机翻看,跳来跳去更麻烦了2018-01-1813
- 蘑菇王者每一篇都能学一个月!大爱推荐阅读系列!2018-01-1810
- D瓜哥耗子哥!还有一篇论文可能也值得推荐: Spanner: Becoming a SQL System https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/46103.pdf 打印出来还没有读!😂2018-02-125
- 阿斯蒂芬又见Google三驾马车:Big Table、GFS、MapReduce。 Paxos、Raft都是只听过没怎么接触过,倒是Gossip,在Redis集群中有应用到,当时就是给翻译的“流言”协议,与皓哥讲的「一传十、十传百」挺搭的。 看来分布式的一大关键,就是设计好的算法或机制,使节点间达成尽可能的一致性。 分布式数据库方面,TiDB被圈内人士安利过好几次,一直没有研究,皓哥背书,可以放心学习了,光是看了下文档,“高度兼容MySQL、100%支持标准的ACID事务、真正的金融级高可用...”,真是niubility2020-05-154
- mgxian请问老师的架构图 示意图 是用什么软件画的 感觉很不错2018-01-2014
- 稻草人陈老师,我现在是大数据平台开发,我看大数据平台归根结底都是分布式的东西,我如果在大数据平台开发深入一步的话,是分布式领域还是计算引擎领域?2019-05-173
- CalanceHao添加到阅读列表,一点点啃💪🏻 🙏谢谢左耳整理的阅读推荐,有了进度条,游戏看起来才没那么难嘛~2019-12-312
收起评论