零基础入门Spark

从项目入手,带你深入浅出玩转Spark
吴磊
FreeWheel 机器学习研发经理
限时优惠 ¥99
原价 ¥129
15 人已学习 · 共33讲 · 9月13日开始更新
收藏

下载 App 随时随地学习

App Store 下载

Android 下载

扫描二维码下载客户端

【早鸟优惠 | 领券立减 10 元】

名额有限,先到先得!

你将获得

  • 快速构建 Spark 核心知识体系
  • Spark 三大计算场景案例实操
  • 逐句注释的保姆级代码讲解
  • 在故事中搞懂 Spark 开发实战技巧

课程介绍

说到学习Spark,如果你对“Spark还有那么火吗?会不会已经过时了?”这个问题感到困惑,那大可不必。

因为经过十多年的发展,Spark已经由当初的“大数据新秀”成长为数据应用领域的中流砥柱,早已成为各大头部互联网公司的标配。比如,字节跳动、美团、Netflix等公司基于Spark构建的应用,在为公司旗下的核心产品提供服务。

这也就意味着,对于数据应用领域的任何一名工程师来说,Spark开发都是一项必备技能

虽然Spark好用,而且是大数据从业者的一门必修课,但对于入门这件事儿,却也面临着这样一些难题:

  • 学习资料多且杂,自己根本就梳理不出脉络,更甭提要构建结构化的知识体系了。
  • 学习Spark,一定要先学Scala吗?新学一门编程语言,真不是件容易的事儿。
  • Spark的开发算子太多,记不住,来了新的业务需求,又不知道该从哪里下手。
  • ……

那么,该如何解决这些问题,从而打开Spark应用开发的大门呢?

为此,我们邀请到了吴磊老师。他会结合自己这些年学习、应用和实战Spark的丰富经验,为你梳理一套零基础入门Spark的“三步走”方法论:熟悉Spark开发API与常用算子、吃透Spark核心原理、玩转Spark计算子框架,从而帮助你零基础上手Spark 。

这个“三步走”方法论再配合4个不同场景的小项目,吴磊老师会从基本原理到项目落地,带你深入浅出玩转Spark。

课程模块设计

结合Spark最常用的计算子框架,这门课设计为4个模块,它与“三步走”方法论的对应关系如下:

基础知识模块:从一个叫作“Word Count”的小项目开始,详细地讲解RDD常用算子的含义、用法与适用场景,以及RDD编程模型、调度系统、Shuffle管理、内存管理等核心原理,帮你打下坚实的理论基础。

Spark SQL模块:从“小汽车摇号”项目入手,带你熟悉Spark SQL开发API,为你讲解Spark SQL的核心原理与优化过程,以及Spark SQL与数据分析有关的部分,如数据的转换、清洗、关联、分组、聚合、排序,等等。

Spark MLlib模块:从“房价预测”这个小项目入手,带你了解Spark在机器学习中的应用,深入学习Spark MLlib丰富的特征处理函数和它支持的模型与算法,并带你了解Spark + XGBoost集成是如何帮助开发者应对大多数的回归与分类问题。

Structured Streaming模块:重点讲解Structured Streaming是怎么同时保证语义一致性与数据一致性的,以及如何应对流处理中的数据关联,并通过Kafka + Spark这对“Couple”的系统集成,来演示流处理中的典型计算场景。

课程目录

讲师介绍

吴磊,现任 Freewheel 机器学习研发经理,负责计算广告业务中机器学习应用的实践、落地与推广。他还曾任职于IBM、联想研究院、新浪微博,具备丰富的数据库、数据仓库、大数据开发与调优经验。

吴磊热爱技术分享,擅长使用轻松幽默的故事去解读枯燥的技术。曾于Spark中国峰会、AWS re:Invent分享大规模机器学习应用与落地经验,荣获AWS Machine Leanring Hero称号。他在InfoQ上发表过多篇文章,更是在今年3月份出品了《Spark性能调优实战》这个专栏,深入浅出、风趣幽默。

特别放送

免费领取福利



限时活动推荐

订阅须知

  1. 订阅成功后,推荐通过“极客时间”App端、Web端学习。
  2. 本专栏为虚拟商品,交付形式为图文+音频,一经订阅,概不退款。
  3. 订阅后分享海报,每邀一位好友订阅有现金返现。
  4. 戳此先充值再购课更划算,还有最新课表、超值赠品福利。
  5. 企业采购推荐使用“极客时间企业版”便捷安排员工学习计划,掌握团队学习仪表盘。
  6. 戳此申请学生认证,订阅课程享受原价5折优惠。

看过的人还看了

Linux性能优化实战

倪朋飞 微软首席软件开发经理,Kubernetes项目维护者

65讲 | 35705 人已学习

新人首单¥69.9原价 ¥199
说透敏捷

宋宁 IBM资深敏捷教练

13讲 | 8944 人已学习

新人首单¥55原价 ¥68
.NET Core开发实战

肖伟宇 校宝在线架构师、SkyWalking .NET探针贡献者、NetCorePal组件库创建者

61讲 | 4981 人已学习

新人首单¥59.9原价 ¥129
分布式金融架构课

任杰 eBay支付账务系统负责人,前蚂蚁金服架构师

30讲 | 2199 人已学习

新人首单¥59.9原价 ¥99