极客视点
极客时间编辑部
极客时间编辑部
113234 人已学习
免费领取
课程目录
已完结/共 3766 讲
2020年09月 (90讲)
时长 05:33
2020年08月 (93讲)
2020年07月 (93讲)
时长 05:51
2020年06月 (90讲)
2020年05月 (93讲)
2020年04月 (90讲)
2020年03月 (92讲)
时长 04:14
2020年02月 (87讲)
2020年01月 (91讲)
时长 00:00
2019年12月 (93讲)
2019年11月 (89讲)
2019年10月 (92讲)
2019年09月 (90讲)
时长 00:00
2019年08月 (91讲)
2019年07月 (92讲)
时长 03:45
2019年06月 (90讲)
2019年05月 (99讲)
2019年04月 (114讲)
2019年03月 (122讲)
2019年02月 (102讲)
2019年01月 (104讲)
2018年12月 (98讲)
2018年11月 (105讲)
时长 01:23
2018年10月 (123讲)
时长 02:06
2018年09月 (119讲)
2018年08月 (123讲)
2018年07月 (124讲)
2018年06月 (119讲)
时长 02:11
2018年05月 (124讲)
时长 03:16
2018年04月 (120讲)
2018年03月 (124讲)
2018年02月 (112讲)
2018年01月 (124讲)
时长 02:30
时长 02:34
2017年12月 (124讲)
时长 03:09
2017年11月 (120讲)
2017年10月 (86讲)
时长 03:18
时长 03:31
时长 04:25
极客视点
15
15
1.0x
00:00/02:15
登录|注册

阿里推出PolarFS分布式文件系统

讲述:丁婵大小:1.03M时长:02:15
近日,阿里巴巴推出了一种新开发的名为 PolarFS 的分布式文件系统,旨在确保低延迟和高可用性,这个文件系统可以与阿里云上自己的 PolarDB 数据库服务搭配使用。
PolarFS 采用了新兴的硬件和最先进的优化技术,比如操作系统旁路(OS bypass)和零拷贝(zero-copy),因此,它拥有与 SSD 上的本地文件系统差不多的延迟。
值得一提的是,阿里巴巴在开发的过程中,也需要考虑到可靠性。其硬件调优的核心是用于解决共识的 Raft 协议。部署在云生产环境中的分布式文件系统,通常有成千上万台计算机。在这样庞大的规模下,硬件或软件错误引起的故障很常见。
因此,需要有一种共识协议,来确保所有已经提交的修改都不会在极端情况下丢失。因此,阿里巴巴开发出了 ParallelRaft,确保这项功能在大规模环境下照样正常使用。这个协议放宽了 Raft 必须严格按顺序写入的要求,又不牺牲存储语义的一致性,从而提升了 PolarFS 并行写入的性能。
在高负载的情况下,阿里巴巴提出的方法可以将平均延迟缩短一半,将系统带宽翻番。其中,PolarFS 在用户空间中实施类似 POSIX 的接口,这使得 PolarDB 只需要进行少许改动,就可以提升性能。
此外,由于数据库需要自己处理复制,因此可靠性就降低了一些。同时,实例存储使用了通用文件系统,在采用 RDMA 或基于 PCIe 的 SSD 以提升性能时,内核与用户空间之间的消息传递成本,就带来了庞大的开销。
在过去,阿里巴巴自己的 PolarDB 服务就存在着这些限制。然而现在,PolarFS 已经准备好充分利用 I/O 方面的提升,并结合用户空间中的轻量级网络堆栈和 I/O 堆栈,避免在内核中被锁定。
阿里巴巴团队特别指出,PolarFS 数据平面的 I/O 模型旨在消除锁定,并避免关键数据路径的上下文切换(context switch),它还消除了所有不必要的内存副本。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
免费领取
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
38
沉浸
阅读
分享
手机端
快捷键
回顶部