

登录注册

当前播放: 如何用Spark实现一个通用大数据计算引擎？







00:00 / 00:00

高清

高清

1.0x

2.0x
1.5x
1.25x
1.0x
0.5x



网页全屏



全屏

00:00

付费课程，可试看

合辑：新版短视频



如何优化深度学习数据读取？

如何通过自动化测试技术来提升服务端系统质量？

Kubernetes下如何基于拓扑结构来调度？

如何通过Jenkins快速实现一个持续集成流水线？

当小内存遇上大数据

2019年必学的DevOps流行工具

Kafka某台broker IO阻塞，为何会导致发送方无法发送消息？

什么是C++中的The Rule of Three？

基于时序特性，如何构建一个时序存储引擎？

如何利用反射和泛型编程让你的Java代码更优雅？

C++中为什么move constructor需要加noexcept？

如何使用Postman做接口自动化测试？

给你点“颜色”瞧瞧

如何用Spark实现一个通用大数据计算引擎？

如何让你的Robot Framework飞起来？

如何透彻理解Selenium和WebDriver？

Spring Data JPA 如何进行复杂动态查询？

Spring Data JPA如何实现动态部分更新？

未来的编程语言长什么样？

高并发场景下锁的使用技巧（悲观锁/乐观锁/分布式锁）

为什么React组件要声明key？

为什么React不推荐使用Mixin？

如何设计一个高可用的配置中心？

如何通过代码技巧提升内存使用效率？

如何全面地改造Robust？

如何基于Netty构建一个简单的RPC服务？

Spring Boot中如何使用HTTP/2？

教你10分钟玩转Gradle plugin

如何深入理解Kube-Proxy？

如何深入理解Kubernetes架构？

如何使用和优化iOS中的WebView？

一个1000万资金重复支付的代码剖析

如何实现数据异构的多级缓存策略？

如何从 CRD 扩展开发切入Kubernetes源码学习？

如何更轻松简单地从源码编译部署Kubernetes？

如何设计并实现一个高可用的订单系统？

ZooKeeper的ZAB算法与Paxos的本质区别是什么？

微服务框架Apache ServiceComb的设计思想有哪些？

如何深入理解分布式事务TCC实现原理？

SSR 、CSR、预渲染、同构等首屏优化技术要如何选择？

如何利用ClassPath解决Java开发工程问题？

如何读懂Babel转换出的JavaScript代码?

大厂前端面试中经常提到的Promise要如何实现？

使用 Vue 开发小程序是怎么做到的？

为什么CSS要放在header底部，JavaScript要放在body底部？

前端Router是怎么实现的？

如何理解现代发布策略？以Kubernetes为例

JavaScript中如何封装一个具有自动失败重试功能的HTTP模块？

JavaScript中如何优雅地实现函数防抖？

服务发现技术是如何演进出来的？

如何用Spark实现一个通用大数据计算引擎？

高英举前微博一直播大数据架构师

Apache Spark，为开发者提供了一套分布式计算 API，我们只要调用这些 API，就能够完成海量数据和分布式的业务计算。当你开发了多个 Spark 程序以后，会发现大部分数据处理的流程相似度很高，每个环节的计算逻辑也有很多相似之处。那么我们可以通过什么办法来实现一个通用引擎，进而减少这种重复性呢？

讲师介绍

高英举，前微博一直播大数据架构师。他有 7 年大数据行业经验，曾在微博、乐视、新浪负责过多个业务线的数据仓库建设、流式计算服务、AIOps 的探索应用。他精通 Hadoop、Spark、Flink、Kafka、Elasticsearch 等大数据技术。在 Github 上，他领导团队开源了 Waterdrop 项目（610+ Star、200+ Fork），一个支持 Spark 和 Flink 引擎的数据计算产品，为 360、滴滴、微博、新浪等企业生产环境带来了持续性的收益。

展开



¥4.99 购买

开通VIP







登录后留言