零基础入门Spark
吴磊
FreeWheel 机器学习研发经理
新⼈⾸单¥59.9
108 人已学习
课程目录
已更新 2 讲 / 共 33 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 入门Spark,你需要学会“三步走”
免费
基础知识 (1讲)
01|Spark:从“大数据的Hello World”开始
零基础入门Spark
15
15
1.0x
00:00/00:00
登录|注册

01|Spark:从“大数据的Hello World”开始

你好,我是吴磊。
从这节课开始,我们先来学习 Spark 的“基础知识”模块,对 Spark 的概念和核心原理先做一个整体的了解。我并不会从 RDD、DAG 这些基本概念给你讲起。坦白地说,这些抽象的概念枯燥而又乏味,对于刚开始接触 Spark 的你来说,很难学进去。因此,我们不妨反其道而行之,先从实战入手,用一个小例子来直观地认识 Spark,看看 Spark 都能做些什么。
这就好比我们学习一门新的编程语言,往往都是从“Hello World”开始。我还记得,刚刚学编程那会,屏幕上打印出的“Hello World”,足足让我兴奋了一整天,让我莫名地有一种“I can change the world”的冲动。
今天这一讲,我们就从“大数据的 Hello World”开始,去学习怎么在 Spark 之上做应用开发。不过,“大数据的 Hello World”并不是把字符串打印到屏幕上这么简单,而是要先对文件中的单词做统计计数,然后再打印出频次最高的 5 个单词,江湖人称“Word Count”。
之所以会选择 Word Count,作为我们迈入 Spark 门槛的第一个项目,主要有两个原因,一是 Word Count 场景比较简单、容易理解;二是 Word Count 麻雀虽小,但五脏俱全,一个小小的 Word Count,就能够牵引出 Spark 许多的核心原理,帮助我们快速入门。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/1000字
划线
笔记
复制
该试读文章来自付费专栏《零基础入门Spark》,如需阅读全部文章,
请订阅文章所属专栏新⼈⾸单¥59.9
立即订阅
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
返回
顶部