Spark 与 SparkSQL 进阶实战
Spark 与 SparkSQL 进阶实战
金澜涛  前 eBay 中国资深大数据专家,前 eBay OLAP 计算组技术 Leader
视频课
已完结·共 27 讲
|
1 人已学
|
收藏
立即购买
98

你将获得

掌握 Spark Core 架构与 RDD 编程模型​
理解任务调度、内存管理核心机制​
精通 SparkSQL 架构与查询优化原理​
掌握数据倾斜及性能优化解决方案​
具备自定义优化规则与高级开发能力

课程介绍

本课程分四大模块系统讲解 Spark 全栈进阶技术:上篇涵盖 Spark 发展历程、RDD 编程模型、Core 架构及任务调度;下篇聚焦 Spark Streaming、Shuffle 机制、数据倾斜优化等核心能力;SparkSQL 上下篇深入剖析架构、DataFrame、查询优化器、代码生成等底层原理,及 AQE、DPP 加速等高级优化技术。课程兼具理论深度与实践指导性,助力企业内部技术人员夯实 Spark 核心基础,提升架构认知与性能调优能力,适配大规模数据处理与分析场景需求。

课程目录

第一章:Spark(上篇)

  1. Spark 发展历程和现状
  2. RDD 编程模型(上)
  3. RDD 编程模型(下)
  4. Spark Core 架构和原理
  5. Spark 任务调度
  6. 开发第一个 Spark 程序

第二章:Spark(下篇)

  1. Spark Streaming
  2. Spark Shuffle
  3. 数据倾斜及其优化
  4. Spark 内存管理
  5. Spark 消息通讯机制

第三章:SparkSQL(上篇)

  1. SparkSQL 的基本架构
  2. 结构化数据和 DataFrame
  3. Spark SQL 中的“树”
  4. SQL 编译器和 ANTLR
  5. Catalog 和 HiveCatalog
  6. 逻辑计划树和优化器

第四章:SparkSQL(下篇)

  1. 物理计划树和策略器
  2. 一个例子
  3. 自定义 Catalyst 规则
  4. 代码生成技术
  5. 向量化技术
  6. SparkThriftserver
  7. Spark 的 AQE
  8. Spark 的 DPP 加速
  9. Spark SQL 优化技术
  10. SparkSQL 总结
查看更多

订阅须知

  1. 订阅成功后,推荐通过“极客时间”App 端、Web 端学习。
  2. 本课程为虚拟商品,交付形式为视频,一经订阅,概不退款。
  3. 订阅后分享海报,每邀一位好友订阅有现金返现。
  4. 戳此先充值再购课更划算,还有最新课表、超值赠品福利。
  5. 企业采购推荐使用“极客时间企业版”便捷安排员工学习计划,掌握团队学习仪表盘。
  6. 戳此申请学生认证,订阅课程享受原价 5 折优惠。
  7. 价格说明:划线价、订阅价为商品或服务的参考价,并非原价,该价格仅供参考。未划线价格为商品或服务的实时标价,具体成交价格根据商品或服务参加优惠活动,或使用优惠券、礼券、赠币等不同情形发生变化,最终实际成交价格以订单结算页价格为准。
讲师

金澜涛

前 eBay 中国资深大数据专家,前 eBay OLAP 计算组技术 Leader

前 eBay 中国资深大数据专家,前 eBay OLAP 计算组技术 Leader
看过的人还看了
高并发系统实战课
徐长龙
前微博架构师、极客时间架构师

32讲 | 13995 人已学习

¥59¥99
Dify 开发:AI Agent 进阶实战
周文洋
微软最具价值专家(MVP)

48讲 | 3284 人已学习

¥59¥129
系统性能调优必知必会
陶辉
智链达 CTO,前阿里云 P8 高级技术专家

47讲 | 37977 人已学习

¥59¥129
动态规划面试宝典
卢誉声
Autodesk 首席工程师

23讲 | 10012 人已学习

¥59¥99
AI Agent 智能体实战课
周文洋
微软最具价值专家(MVP)

56讲 | 8741 人已学习

¥98¥299
中国人工智能成熟度模型报告
InfoQ
研究中心

3讲 | 638 人已学习

¥0.9¥39