大规模数据处理实战
蔡元楠
Google Brain资深工程师
立即订阅
8443 人已学习
课程目录
已完结 46 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 从这里开始，带你走上硅谷一线系统架构师之路
免费
模块一 | 直通硅谷大规模数据处理技术 (3讲)
01 | 为什么MapReduce会被硅谷一线公司淘汰？
02 | MapReduce后谁主沉浮：怎样设计下一代数据处理技术？
03 | 大规模数据处理初体验：怎样实现大型电商热销榜？
模块二 | 实战学习大规模数据处理基本功 (8讲)
04 | 分布式系统（上）：学会用服务等级协议SLA来评估你的系统
05 | 分布式系统（下）：架构师不得不知的三大指标
06 | 如何区分批处理还是流处理？
07 | Workflow设计模式：让你在大规模数据世界中君临天下
08 | 发布/订阅模式：流处理架构中的瑞士军刀
09 | CAP定理：三选二，架构师必须学会的取舍
10 | Lambda架构：Twitter亿级实时数据分析架构背后的倚天剑
11 | Kappa架构：利用Kafka锻造的屠龙刀
模块三 | 抽丝剥茧剖析Apache Spark设计精髓 (10讲)
12 | 我们为什么需要Spark？
13 | 弹性分布式数据集：Spark大厦的地基（上）
14 | 弹性分布式数据集：Spark大厦的地基（下）
15 | Spark SQL：Spark数据查询的利器
16 | Spark Streaming：Spark的实时流计算API
17 | Structured Streaming：如何用DataFrame API进行实时数据分析?
18 | Word Count：从零开始运行你的第一个Spark应用
19 | 综合案例实战：处理加州房屋信息，构建线性回归模型
20 | 流处理案例实战：分析纽约市出租车载客信息
21 | 深入对比Spark与Flink：帮你系统设计两开花
模块四 | Apache Beam为何能一统江湖 (8讲)
22 | Apache Beam的前世今生
23 | 站在Google的肩膀上学习Beam编程模型
24 | PCollection：为什么Beam要如此抽象封装数据？
25 | Transform：Beam数据转换操作的抽象方法
26 | Pipeline：Beam如何抽象多步骤的数据流水线？
27 | Pipeline I/O: Beam数据中转的设计模式
28 | 如何设计创建好一个Beam Pipeline？
29 | 如何测试Beam Pipeline？
模块五 | 决战 Apache Beam 真实硅谷案例 (7讲)
30 | Apache Beam实战冲刺：Beam如何run everywhere?
31 | WordCount Beam Pipeline实战
32 | Beam Window：打通流处理的任督二脉
33 | 横看成岭侧成峰：再战Streaming WordCount
34 | Amazon热销榜Beam Pipeline实战
35 | Facebook游戏实时流处理Beam Pipeline实战（上）
36 | Facebook游戏实时流处理Beam Pipeline实战（下）
模块六 | 大规模数据处理的挑战与未来 (4讲)
37 | 5G时代，如何处理超大规模物联网数据
38 | 大规模数据处理在深度学习中如何应用？
39 | 从SQL到Streaming SQL：突破静态数据查询的次元
40 | 大规模数据处理未来之路
专栏加餐 | 特别福利 (4讲)
FAQ第一期 | 学习大规模数据处理需要什么基础？
加油站 | Practice makes perfect！
FAQ第二期 | Spark案例实战答疑
FAQ第三期 | Apache Beam基础答疑
结束语 (1讲)
结束语 | 世间所有的相遇，都是久别重逢
大规模数据处理实战
登录|注册

结束语 | 世间所有的相遇，都是久别重逢

蔡元楠 2019-07-29
今天和往常一样。我开车沿着硅谷的 101 公路下班，101 还是一样的堵。
今天和往常又不一样。比如，今天午饭的话题不一样。往日我会利用午饭或者喝咖啡的时间和同事一起讨论一些极客时间专栏读者提出的问题。而且，今天回到家里也不需要赶着写稿。如果是往日，编辑催稿的微信早就已经堆积成了 99+ 未读消息。

专栏成功的指标 = 所有读者收获之和

我还清楚地记得，4 月 15 日（北京时间），因为时差原因，我在凌晨 2、3 点等待着专栏上线，守着手机屏幕，看新的读者加入。我在极客时间的留言管理页面一遍一遍下拉刷新，期待着去回复包括你在内的读者留言。说不定我一个人就给极客时间的服务器 QPS 增加了 1 或者 2（笑）。
写作的过程中，我也碰到过很多困难。
专栏占用了很多时间，有时候为了查证一个技术点我会研读 Apache Beam 代码到深夜，女朋友甚至因此和我吵过架。不仅是写作的时间需要去平衡，我的全职工作和生活也需要。在专栏更新过半的时候，因为家人身体原因，我必须一直往返于湾区和德州，没有完整的时间录音，不得不更换了主播来录音。
为此，我也在这里，再次和你道歉。
当然，也有写作时间之外的阻力。我在开篇词中对专栏的内容要求是，每一篇专栏都是原汁原味的硅谷技术分享。这也带来了一个意外的问题。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《大规模数据处理实战》，如需阅读全部文章，
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(32)

  • W.T
    👍赞
    2019-07-29
    9
  • 梅亮宏@创造力
    老师是有信仰的一个人，任何愿意分享技术都是很有魅力的。你女朋友应该感到自豪：）谢谢三个月的陪伴！Good luck in your new journey! Hopefully see you again on Geek’s Time! Cheers!
    2019-07-30
    5
  • cotter
    首个追完的专栏，感谢蔡老师
    2019-07-30
    3
  • never leave
    感谢老师的辛苦付出
    2019-07-30
    2
  • Geek_5939c6
    谢谢老师。
    2019-07-30
    2
  • 天空只能仰望？
    老师，你好，请教一下beam运行如何管理应用的中间状态，类似于flink checkpoint ？

    作者回复: 谢谢你的提问！像Checkpoint和Drain这种概念Beam现在暂时还不支持，不过我相信在roadmap中。

    2019-07-30
    2
  • ¾
    收获颇多 感谢！
    2019-07-30
    2
  • 陈凯枫
    感谢蔡老师的辛勤付出！通过专栏学习，开拓了视野，提高了见识。
    2019-07-30
    2
  • Scarsy
    谢谢老师，老师辛苦了
    2019-07-30
    2
  • Destroy、
    终于看完专栏，感谢老师，牺牲这么多时间。。。
    2019-07-29
    2
  • 三水
    这是目前唯一追更学习的专栏，谢谢老师！
    2019-07-29
    2
  • 旭
    感谢分享
    2019-07-29
    2
  • Samlam
    感谢蔡老师 🙏
    2019-07-29
    2
  • kenan
    老师，诚挚之眼，感人肺腑，我们下一门课程相见。
    2019-07-29
    2
  • JensonYao
    感谢蔡老师！
    2019-07-29
    2
  • apollo
    感谢你！
    2019-07-29
    2
  • Feng.X
    感谢老师在这一百多天里的辛勤付出！
    2019-07-30
    1
  • Solomon
    感谢老师
    2019-07-29
    1
  • 15011552264
    感谢老师的倾力奉献，从中学到了好多以前不知道的知识，同时还巩固了已有的知识点。
    2019-12-03
  • 梦幻之梦想
    谢谢老师
    2019-09-11
收起评论
32
下载
客户端
返回
顶部