左耳听风
陈皓
网名“左耳朵耗子”,资深技术专家
180928 人已学习
新⼈⾸单¥98
登录后,你可以任选6讲全文学习
课程目录
已完结/共 119 讲
左耳听风
15
15
1.0x
00:00/00:00
登录|注册

29 | 推荐阅读:分布式数据调度相关论文

Spanner: Google’s Globally-Distributed Database
Amazon Aurora: Design Considerations for High Throughput Cloud –Native Relation Databases
gossip visualization
Efficient Reconciliation and Flow Control for Anti-Entropy Protocols
Why Vector Clocks are Hard
Why Vector Clocks are Easy
Distributed Operating System - Clock Synchronization
Raft Distributed Consensus Algorithm Visualization
Raft Consensus Algorithm
Raft – The Secret Lives of Data
Raft一致性算法论文译文
In search of an Understandable Consensus Algorithm (Extended Version)
Paxos Made Practical
Paxos Made Moderately Complex
Paxos for System Builders
Paxos Made Code
Paxos by Examples
Neat Algorithms - Paxos
Paxos Made Live – An Engineering Perspective
The Chubby lock service for loosely-coupled distributed systems
Bigtable: A Distributed Storage System for Structured Data
分布式数据库方面
Gossip协议
逻辑钟和向量钟
Raft算法
Paxos算法
分布式数据调度

该思维导图由 AI 生成,仅供参考

你好,我是陈皓,网名左耳朵耗子。
我们在之前的系列文章《分布式系统架构的本质》中说过,分布式系统的一个关键技术是“数据调度”。因为我们需要扩充节点,提高系统的高可用性,所以必须冗余数据结点。
建立数据结点的副本看上去容易,但其中最大的难点就是分布式一致性的问题。下面,我会带你看看数据调度世界中的一些技术点以及相关的技术论文。
对于分布式的一致性问题,相信你在前面看过好几次下面这张图。从中,我们可以看出,Paxos 算法的重要程度。还有人说,分布式下真正的一致性算法只有 Paxos。

Paxos 算法

Paxos 算法,是莱斯利·兰伯特(Lesile Lamport)于 1990 年提出来的一种基于消息传递且具有高度容错特性的一致性算法。但是这个算法太过于晦涩,所以,一直以来都属于理论上的论文性质的东西。
其进入工程圈的源头在于 Google 的 Chubby lock——一个分布式的锁服务,用在了 Bigtable 中。直到 Google 发布了下面的这两篇论文,Paxos 才进入到工程界的视野中来。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入探讨了分布式系统中的数据调度技术及相关算法,着重介绍了Paxos算法和Raft算法在解决分布式一致性问题中的应用。Paxos算法通过逻辑时钟和向量时钟解决消息有序性问题,确保数据更新的因果关系;而Raft算法以其易于理解和实现的特点备受关注。此外,文章还涉及了DynamoDB和Gossip协议在分布式系统中的应用,以及相关的数据一致性和数据同步机制。通过对向量时钟和Gossip协议的详细解释,读者可以更深入地了解分布式系统中数据调度的关键技术和实际应用。另外,文章还介绍了AWS Aurora和Google Spanner等分布式数据库的设计原理和工程实践,以及相关的开源项目。总体而言,本文对分布式系统中数据调度的重要技术和相关算法进行了全面深入的探讨,对于对分布式系统感兴趣的读者具有一定的参考价值。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《左耳听风》
新⼈⾸单¥98
立即购买
登录 后留言

全部留言(21)

  • 最新
  • 精选
  • 湖心亭看雪
    耗子哥,zookeeper不是用的paxos啊

    作者回复: 谢谢啊!是我搞错了……

    2018-01-20
    10
  • 张志远
    只能说作者很多文章学习时间单位最少是月
    2018-09-08
    1
    37
  • 业余爱好者
    分库分表不就就会成为历史,本以为多么高级的技术,没想到就只是个过渡性产品。果然学技术还是要学思想,学习每个技术出现的背景,要解决什么问题,本身又有什么弊端,改如何解决。
    2019-12-01
    16
  • Michael Zhu
    这以后也不用录音了,本想听着省事,结果还要手机翻看,跳来跳去更麻烦了
    2018-01-18
    13
  • 蘑菇王者
    每一篇都能学一个月!大爱推荐阅读系列!
    2018-01-18
    10
  • D瓜哥
    耗子哥!还有一篇论文可能也值得推荐: Spanner: Becoming a SQL System https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/46103.pdf 打印出来还没有读!😂
    2018-02-12
    5
  • 阿斯蒂芬
    又见Google三驾马车:Big Table、GFS、MapReduce。 Paxos、Raft都是只听过没怎么接触过,倒是Gossip,在Redis集群中有应用到,当时就是给翻译的“流言”协议,与皓哥讲的「一传十、十传百」挺搭的。 看来分布式的一大关键,就是设计好的算法或机制,使节点间达成尽可能的一致性。 分布式数据库方面,TiDB被圈内人士安利过好几次,一直没有研究,皓哥背书,可以放心学习了,光是看了下文档,“高度兼容MySQL、100%支持标准的ACID事务、真正的金融级高可用...”,真是niubility
    2020-05-15
    4
  • mgxian
    请问老师的架构图 示意图 是用什么软件画的 感觉很不错
    2018-01-20
    1
    4
  • 稻草人
    陈老师,我现在是大数据平台开发,我看大数据平台归根结底都是分布式的东西,我如果在大数据平台开发深入一步的话,是分布式领域还是计算引擎领域?
    2019-05-17
    3
  • CalanceHao
    添加到阅读列表,一点点啃💪🏻 🙏谢谢左耳整理的阅读推荐,有了进度条,游戏看起来才没那么难嘛~
    2019-12-31
    2
收起评论
显示
设置
留言
21
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部