阿里推出PolarFS分布式文件系统
极客时间编辑部
讲述:丁婵大小:1.03M时长:02:15
近日,阿里巴巴推出了一种新开发的名为 PolarFS 的分布式文件系统,旨在确保低延迟和高可用性,这个文件系统可以与阿里云上自己的 PolarDB 数据库服务搭配使用。
PolarFS 采用了新兴的硬件和最先进的优化技术,比如操作系统旁路(OS bypass)和零拷贝(zero-copy),因此,它拥有与 SSD 上的本地文件系统差不多的延迟。
值得一提的是,阿里巴巴在开发的过程中,也需要考虑到可靠性。其硬件调优的核心是用于解决共识的 Raft 协议。部署在云生产环境中的分布式文件系统,通常有成千上万台计算机。在这样庞大的规模下,硬件或软件错误引起的故障很常见。
因此,需要有一种共识协议,来确保所有已经提交的修改都不会在极端情况下丢失。因此,阿里巴巴开发出了 ParallelRaft,确保这项功能在大规模环境下照样正常使用。这个协议放宽了 Raft 必须严格按顺序写入的要求,又不牺牲存储语义的一致性,从而提升了 PolarFS 并行写入的性能。
在高负载的情况下,阿里巴巴提出的方法可以将平均延迟缩短一半,将系统带宽翻番。其中,PolarFS 在用户空间中实施类似 POSIX 的接口,这使得 PolarDB 只需要进行少许改动,就可以提升性能。
此外,由于数据库需要自己处理复制,因此可靠性就降低了一些。同时,实例存储使用了通用文件系统,在采用 RDMA 或基于 PCIe 的 SSD 以提升性能时,内核与用户空间之间的消息传递成本,就带来了庞大的开销。
在过去,阿里巴巴自己的 PolarDB 服务就存在着这些限制。然而现在,PolarFS 已经准备好充分利用 I/O 方面的提升,并结合用户空间中的轻量级网络堆栈和 I/O 堆栈,避免在内核中被锁定。
阿里巴巴团队特别指出,PolarFS 数据平面的 I/O 模型旨在消除锁定,并避免关键数据路径的上下文切换(context switch),它还消除了所有不必要的内存副本。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论