22 | 从阿里内部产品看海量数据处理系统的设计(下):架构与创新
该思维导图由 AI 生成,仅供参考
- 深入了解
- 翻译
- 解释
- 总结
阿里内部产品Doris的架构和创新方面的文章介绍了Doris的业务价值、设计目标和技术指标,以及其架构方案和创新设计。Doris是一种支持Key、Value数据结构的分布式存储系统,解决了分布式路由、集群伸缩、数据冗余与失效转移等核心问题。其创新包括基于虚拟节点的分区路由算法、失效转移策略和集群伸缩设计。这些创新技术在实践中得到验证,使得Doris系统能够稳定运行多年,经受住了服务器集群的多次扩容考验。此外,文章还提到了公司对技术专利申请的支持和奖励政策,鼓励工程师积极申请技术专利。总的来说,本文通过介绍Doris的架构和创新设计,为读者展示了分布式数据存储系统的技术挑战和设计开发过程,为工程师提供了技术提升和职业发展的启示。 Doris的分区路由算法在设计时提出了一个数学模型计算虚拟节点和物理节点的映射关系,但在开发过程中并未使用该模型进行计算。可能的实现算法包括基于哈希函数的映射算法或基于一致性哈希的路由算法。通过分析Doris的源代码,可以发现其最终实现算法与数学模型可能存在差异,具体差异需要进一步深入研究源代码才能得出结论。 总的来说,Doris的架构和创新设计展现了其在分布式存储系统领域的技术优势和稳定性,为读者提供了深入了解分布式数据存储系统技术挑战和解决方案的机会。同时,公司对技术专利申请的支持和奖励政策也为工程师提供了积极的创新动力和职业发展机会。
《从 0 开始学大数据》,新⼈⾸单¥68
全部留言(23)
- 最新
- 精选
- 玉剑冰锋您好老师,请教几个问题1.架构设计中数据压缩比及数据存储时效策略是如何设计的?2.数据的完整性如何验证?3.后期运行过程中尤其是某个节点存储空间低于其他节点时,是否会发生数据倾斜的问题?
作者回复: 1.Doris没有做数据压缩 2.Doris当时版本没有做完整性(正确性)验证,但是可以简单做多读,然后进行数据对比验证,不过这样要求的数据备份数要更多。 3.不会,路由算法保证负载均衡,但是如果虚拟节点数和物理节点数相差不大时,会有数据倾斜,所以要求一开始设计的虚拟节点要足够多,是未来最大物理节点数的十倍以上
2018-12-189 - 观弈道人老师你好,请问下,关于fail over部分,物理节点1,物理节点2是分别存储两片数据,当物理节点2挂掉的时候,文章中说物理节点1提供所有的read操作,我想问的是,节点1,2负责两片不同的数据,节点1如何承担原本访问节点2的读操作?谢谢。
作者回复: 分片在group内分片,这里节点1,2分属不同group,存放的是同一份数据的两个拷贝
2018-12-182 - 钱和redis的分片方式类似呀😄,你是虚拟节点,她是哈希槽。和一致性哈希也挺像的,只是虚拟节点和物理节点的映射更加的灵活可控。 老师牛逼,致敬!
作者回复: 谢谢😄
2019-09-2821 - weiruan85老师,文章中还有几个重要的问题没有提交:1. 这种设计下,cap是如何抉择的。 在发生网络分区的时候,是选择C 还是A ? 按照文章中的内容,感觉Doris没有采用逻辑日志复制的技术实现,而是采用了双写的实现思路,当时在设计时为什么这么考虑呢。 如果是双写,那么cap理论是不是就不太适用了,备份的数据和primary数据一定是一致的。 当网络发生分区后,执行故障转移,一直保证数据的一致性。
作者回复: 在临时失效和恢复过程中,同一份数据的值在不同服务器上可能是不同的,不满足CAP中的C。但是Doris会选择正确的服务器读取数据,保证用户访问的数据是一致的,即用户一致性,失效恢复结束,多个数据拷贝的值也会恢复一致,即最终一致性。
2019-08-021 - William还有一个疑问请帮忙解答一下: 在集群伸缩设计方案中,假如一开始只有两台物理机,有10000个虚拟节点,那么每台物理机各存储5000个虚拟节点的数据;现在增加一台物理机,那么最后的数据存储效果是物理机分别存储5000,2500,2500个虚拟节点的数据吗?这样算不算数据倾斜?
作者回复: 虚拟节点数分别是3333 3333 3334
2018-12-191 - Jun李老师,你好。感觉老师是山西人。如果是,那么老乡你好。这一章的数学公式是从物理节点映射的虚拟节点。实际请求到来时,应该是虚拟节点到物理节点,有公式吗?还是直接用一个映射表?另外使用一致性哈希加虚拟节点也是比较好的方案,不需要复杂的节点映射了。亚麻的dynamo就是这么做的。
作者回复: 有公式,具体可以参考专利文献 http://www2.soopat.com/Patent/201110294092?lx=FMSQ 或者项目源码。 这个算法相对一致性hash的优势文中有比较。
2020-01-052 - vigo智慧书,不仅说技术,还育人😄2019-01-2816
- 你为啥那么牛遵循老师的5-20-2原则,5分钟没看进去,放弃,等待下一次偶遇2021-03-06114
- 吴小智专栏真的是从 0 开始学大数据吗?看哭了,只能看懂一二两章2019-07-1712
- 大京京有部分ppt内容是不准确的。新增一个物理节点,你前面说的算法是无法保证key1的路由节点pn1不移动的。只是数据迁移的时候,你是每个现有节点都各自迁移自己的一部分去新节点,现有节点之间不做迁移而已。2019-01-234