大规模数据处理实战
蔡元楠
Google Brain资深工程师
立即订阅
8402 人已学习
课程目录
已完结 46 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 从这里开始,带你走上硅谷一线系统架构师之路
免费
模块一 | 直通硅谷大规模数据处理技术 (3讲)
01 | 为什么MapReduce会被硅谷一线公司淘汰?
02 | MapReduce后谁主沉浮:怎样设计下一代数据处理技术?
03 | 大规模数据处理初体验:怎样实现大型电商热销榜?
模块二 | 实战学习大规模数据处理基本功 (8讲)
04 | 分布式系统(上):学会用服务等级协议SLA来评估你的系统
05 | 分布式系统(下):架构师不得不知的三大指标
06 | 如何区分批处理还是流处理?
07 | Workflow设计模式:让你在大规模数据世界中君临天下
08 | 发布/订阅模式:流处理架构中的瑞士军刀
09 | CAP定理:三选二,架构师必须学会的取舍
10 | Lambda架构:Twitter亿级实时数据分析架构背后的倚天剑
11 | Kappa架构:利用Kafka锻造的屠龙刀
模块三 | 抽丝剥茧剖析Apache Spark设计精髓 (10讲)
12 | 我们为什么需要Spark?
13 | 弹性分布式数据集:Spark大厦的地基(上)
14 | 弹性分布式数据集:Spark大厦的地基(下)
15 | Spark SQL:Spark数据查询的利器
16 | Spark Streaming:Spark的实时流计算API
17 | Structured Streaming:如何用DataFrame API进行实时数据分析?
18 | Word Count:从零开始运行你的第一个Spark应用
19 | 综合案例实战:处理加州房屋信息,构建线性回归模型
20 | 流处理案例实战:分析纽约市出租车载客信息
21 | 深入对比Spark与Flink:帮你系统设计两开花
模块四 | Apache Beam为何能一统江湖 (8讲)
22 | Apache Beam的前世今生
23 | 站在Google的肩膀上学习Beam编程模型
24 | PCollection:为什么Beam要如此抽象封装数据?
25 | Transform:Beam数据转换操作的抽象方法
26 | Pipeline:Beam如何抽象多步骤的数据流水线?
27 | Pipeline I/O: Beam数据中转的设计模式
28 | 如何设计创建好一个Beam Pipeline?
29 | 如何测试Beam Pipeline?
模块五 | 决战 Apache Beam 真实硅谷案例 (7讲)
30 | Apache Beam实战冲刺:Beam如何run everywhere?
31 | WordCount Beam Pipeline实战
32 | Beam Window:打通流处理的任督二脉
33 | 横看成岭侧成峰:再战Streaming WordCount
34 | Amazon热销榜Beam Pipeline实战
35 | Facebook游戏实时流处理Beam Pipeline实战(上)
36 | Facebook游戏实时流处理Beam Pipeline实战(下)
模块六 | 大规模数据处理的挑战与未来 (4讲)
37 | 5G时代,如何处理超大规模物联网数据
38 | 大规模数据处理在深度学习中如何应用?
39 | 从SQL到Streaming SQL:突破静态数据查询的次元
40 | 大规模数据处理未来之路
专栏加餐 | 特别福利 (4讲)
FAQ第一期 | 学习大规模数据处理需要什么基础?
加油站 | Practice makes perfect!
FAQ第二期 | Spark案例实战答疑
FAQ第三期 | Apache Beam基础答疑
结束语 (1讲)
结束语 | 世间所有的相遇,都是久别重逢
大规模数据处理实战
登录|注册

加油站 | Practice makes perfect!

蔡元楠 2019-06-07
你好,我是蔡元楠。
端午节了,先祝你节日快乐。不知道正在读文章的你这几天是不是有什么娱乐活动。我最近去参加了湾区一年一度的“三俗”活动——摘樱桃。而且,还看了一个有意思的电影《疾速备战》(John Wick: Chapter 3-Parabellum),推荐给你。
说归正题,在专栏的更新过程中,对于“留言的处理”这一点我还是要先道个歉,前段时间因为一些个人原因比较忙,所以对于问题的回复没有做好。我会努力把答疑这件事重新做起来。既然有问题了,就是要解决掉才行。
专栏进程也已经过半了,我好像感觉到同学们的阅读热情都在降低,排除“养肥了再读”的情况,可能是因为很多人进入了学习的“倦怠期”。我想了下,正好又到了假期,也许是应该专门写一篇文章,来跟你“聊聊天”。毕竟对于绝大部分人来说,“学习”这件事情真的是“逆人性”的,总需要一些建议和鼓励。

学习的目的就是解决问题

说实话,我们都不是天生以学习为乐趣的“学神”,所以现在我们的学习目的往往就是集中在“解决问题”上。而事实上,“解决问题”这件事其实并不是我们从工作的时候才开始面对的。
还记得我们在校园时期受的最多的训练吗?那就是“做题”。枯燥无味的“做题”过程就是我们接受的最初的对于“解决问题”的训练。在这个“做题”过程中学会的解决问题的方法一定是你至今都在受用的。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《大规模数据处理实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(14)

  • 给老师正视答疑不足的心态并要认真解决的态度点赞!对了,我靠着老师的课程找到了心仪的大数据方向的实习工作,在这里也向老师表达衷心的感谢!

    作者回复: 恭喜你,加油。

    2019-06-08
    7
  • WL
    我感觉这个专栏可能比较适合有大数据开发基础的同学吧, 像我这样没有大数据开发基础的开每篇文章都是走马观花, 见见世面的感觉, 感觉对当前的工作没啥实质性的帮助, 如果能有专门的视频课程是入门spark, beam的, 再回过头来看可能会感觉不一样.
    2019-06-10
    6
  • shawn
    学习新知识需要知道它解决了什么问题,是怎么解决的,如果没有它还有没有别的方法,如果还有别的方法那么可以对比一下之间相同和不同点

    作者回复: ✔️

    2019-06-10
    4
  • Geek_fredW
    棒!
    知识和具体的技术是成长的必要条件。另一个必要条件就是这些“聊聊天”的经验、认知分享。
    在我心里,解决问题最好的角度是:居高临下,通览全貌。当知道自己当前处在问题中的什么位置,往往至少会有一些进一步的思路。所以通常情况下我喜欢尽可能搞清楚问题的全貌。
    但实际上经常也会遇到没条件实现通览全貌的情况。这时另一个有效的角度,我自己的体会就是找到一个切入点,先试试。
    前者是从上往下,从总到分的轨迹的话,后者就是反过来。
    学习是一个艰苦的过程,现在也不是天天都有充足的时间学习。我就是这样的情况,默默学习。一些知识展开后工作量不少,再练习练习,其实花费的时间远远大于个把小时。所以我想所谓的学习热情减退,是一个现象,但它不是原因。相信有相当一部分人会坚持到底。
    课程不错,我觉得我很幸运。棒!

    作者回复: 谢谢,一起加油。

    2019-06-07
    3
  • kylin
    在一家外包公司做大数据开发,说白了就是用hive进行简单的数据处理,聚合。而且这些数据也不清楚有什么用,都是按照指示工作,很盲目,不知道眼前路应该怎么走下去
    2019-06-07
    2
  • 张凯江
    发现问题,分析问题,解决问题
    说来容易,实施起来很难
    2019-06-07
    2
  • hallo128
    对啊,每次您提出问题后,都不解答。与读者完全没有交流,我们也感觉您没有收到我们的反馈有所调整。也就很懈怠。希望您能多看看留言,进行解答,谢谢。
    2019-06-08
    1
  • 刘万里
    老师请教个问题,最近在做技术选型,犹豫flink和beam两个,就请教下beam支持cep吗?

    作者回复: 谢谢提问!Beam作为一个架构思想和Flink还是不一样的。如果你选择Beam SDK来编写你的数据处理逻辑,底层一样可以选择使用Flink来作为数据处理引擎。关于CEP的问题,这个看你的具体场景了,我认为Beam的编程模型里是涵盖了的。

    2019-06-07
    1
  • AF
    很多问题想着简单,真正去实施的时候会出现各种意想不到的幺蛾子,这也就是为什么很多程序员在接到任务的时候,说自己在多长时间之内就能做完,但结果是,最后因为实际中的各种问题而做不完,或者做完了,却检查出很多bug等待
    2019-06-07
    1
  • stone
    方法论不错。

    作者回复: 🤝

    2019-07-05
  • xj_zh
    熟能生巧

    作者回复: 没错

    2019-06-19
  • happiness_xcy
    以解决问题为切入点来进行专门的学习和锻炼,这个思路非常贊,有的放矢,方得要领。还有我个人有幸听过关于google brog的一些设计思路和历史,请问老师有没有相关的资料可以推荐吗?
    2019-06-13
  • hua168
    大神,我看AI很多都是高级的数学公式,那不不要先把大学的高数、离散数学重学一遍?!😂
    我都忘记玩了😭
    2019-06-12
  • 商君
    从会到精,又是另外一回事了
    2019-06-11
收起评论
14
返回
顶部