Spark 数据处理引擎实战
Spark 数据处理引擎实战
王超( 老王)  大数据资深讲师
视频课
已完结·共 26 讲
|
1 人已学
|
收藏
立即购买
98

你将获得

掌握 Spark 核心概念与 RDD 操作技能
熟练运用 SparkSQL 及外部数据源整合
精通 SparkStreaming 与 Kafka 集成应用
理解 Spark 底层执行与任务调度机制
掌握数据倾斜等性能优化解决方案

课程介绍

本课程系统讲解 Spark 数据处理引擎全栈知识,分上、中、下三篇层层递进。上篇覆盖 Spark 基础概念、核心模块、RDD 算子及实战案例;中篇聚焦 SparkSQL 核心操作、外部数据源整合、底层原理与调优,以及 SparkStreaming 与 Kafka 集成;下篇深入剖析 RDD 血统、DAG、shuffle 过程,讲解任务调度、内存管理及数据倾斜处理。课程兼具理论严谨性与实战指导性,助力企业内部技术人员全面掌握 Spark 从基础开发到性能调优的全流程技能,适配大规模数据处理场景需求。

课程目录

第一章:功能更强大的数据处理引擎:Spark(上篇)

  1. Spark 的基本概念与核心模块
  2. Spark 的代码开发和运行模式
  3. Spark 程序开发和 Spark 的任务提交
  4. Spark 的核心数据抽象 RDD
  5. Spark 的常见算子介绍
  6. Spark 实战案例(一)
  7. Spark 的广播变量和累加器
  8. Spark 实战案例(二)

第二章:功能更强大的数据处理引擎:Spark(中篇)

  1. SparkSQL 基本介绍
  2. SparkSQL 的 DataFrame 创建方式
  3. SparkSQL 的 DataFrame 操作及 DataSet
  4. SparkSQL 整合其它外部数据源
  5. SparkSQL 自定义函数
  6. 实践案例(一)
  7. SparkSQL 的底层执行原理
  8. Catalog 及 SQL 调优
  9. SparkStreaming 的基本介绍
  10. SparkStreaming 的高级算子操作
  11. SparkStreaming 数据输出及整合 Kafka
  12. Spark 作业

第三章:功能更强大的数据处理引擎:Spark(下篇)

  1. RDD 的血统、缓存与 checkpoint 机制
  2. DAG 有向无环图
  3. shuffle 过程详解
  4. 任务调度与内存管理
  5. Spark 序列化与反序列化
  6. 数据倾斜问题及处理方法
查看更多

订阅须知

  1. 订阅成功后,推荐通过“极客时间”App 端、Web 端学习。
  2. 本课程为虚拟商品,交付形式为视频,一经订阅,概不退款。
  3. 订阅后分享海报,每邀一位好友订阅有现金返现。
  4. 戳此先充值再购课更划算,还有最新课表、超值赠品福利。
  5. 企业采购推荐使用“极客时间企业版”便捷安排员工学习计划,掌握团队学习仪表盘。
  6. 戳此申请学生认证,订阅课程享受原价 5 折优惠。
  7. 价格说明:划线价、订阅价为商品或服务的参考价,并非原价,该价格仅供参考。未划线价格为商品或服务的实时标价,具体成交价格根据商品或服务参加优惠活动,或使用优惠券、礼券、赠币等不同情形发生变化,最终实际成交价格以订单结算页价格为准。
讲师

王超( 老王)

大数据资深讲师

经历过创业公司、国有企业、上市公司以及独角兽互联网企业。先后任职 Java 研发工程师、大数据工程师、大数据架构师、大数据资深讲师等职务。 做过互联网电商平台、数仓建设平台、实时数据处理平台、数据中台建设,自主 BI 分析平台等,熟悉各类大数据的业务场景,有过多次架构设计及落...查看更多
看过的人还看了
网络排查案例课
杨胜辉
eBay 资深运维专家,流量系统负责人

42讲 | 24740 人已学习

¥59¥129
Excel-PowerBI 高级数据分析
尹航
微软办公软件国际认证 WORD 大师

15讲 | 4506 人已学习

¥29¥68
现代 C++20 实战高手课
卢誉声
Autodesk 首席工程师

29讲 | 4742 人已学习

¥59¥99
DeepSeek 应用开发实战
云阳
某大厂 AI 与容器技术专家

41讲 | 11467 人已学习

¥59¥129
大数据应用实战
曹犟
神策数据联合创始人 & CTO

30讲 | 1270 人已学习

¥59¥99
透视 HTTP 协议
罗剑锋(Chrono)
前奇虎 360 技术专家,Nginx/OpenResty 开源项目贡献者

48讲 | 65962 人已学习

¥59¥129