当前播放: 通过计算存储分离实现高性能弹性化的Spark部署
00:00 / 00:00
普清
  • 高清
  • 标清
  • 普清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

通过计算存储分离实现高性能弹性化的Spark部署

李玥 MemVerge联合创始人

实现 Spark 的弹性化对其在云上实现灵活部署有着重要的意义:易失性的云主机部署,节点失效成为常态;存储计算分离,有限的本地存储加上大量的远端存储(块存储、对象存储)。所有的这些变化促使传统的大数据框架需要更适应云原生的部署方式。
本次分享中,我们基于之前合作的结果,讨论一种高性能实现 Spark 存储计算分离的创新架构。该架构基于一套全新开发并基于持久化内存的高性能分布式数据基础架构,以及高性能低延迟网络传输协议。我们以腾讯云数仓产品 Sparkling 为例,讨论使用该创新架构在优化 TPC-DS benchmark 性能上的实践。

讲师介绍

Yue is a co-founder and the Chief Technology Officer of MemVerge. Previously, he worked as a senior post-doctoral scholar in memory systems at the California Institute of Technology. Yue has extensive research experience on both theoretical and experimental aspects of algorithms for non-volatile memories. His research has been published in top journals and conferences on data storage. Yue received his PhD in computer science from Texas A&M University, and his B.Sc. in Information Security from Huazhong University of Science and Technology.

邵赛赛,腾讯数据平台部数据湖内核技术负责人,资深大数据工程师,Apache Spark PMC Member & Committer、Apache Livy PMC Member。

展开
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
其他推荐
36:19
Go工程项目实践
毛剑 bilibili数据平台部技术总监
免费
42:37
诗和远方:蚂蚁金服Service Mesh深度实践
敖小剑 蚂蚁金服高级技术专家
免费
33:16
PerfLabs: 以Cloud Native的姿势进行应用测试和调优
乐鸿辉 携程高级研发经理
免费