从0开始学大数据
李智慧
同程艺龙交通首席架构师，前Intel大数据架构师，《大型网站技术架构》作者
立即订阅
14333 人已学习
课程目录
已完结 46 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术？
免费
预习模块 (3讲)
预习 01 | 大数据技术发展史：大数据的前世今生
预习 02 | 大数据应用发展史：从搜索引擎到人工智能
预习 03 | 大数据应用领域：数据驱动一切
模块一 Hadoop大数据原理与架构 (7讲)
04 | 移动计算比移动数据更划算
05 | 从RAID看垂直伸缩到水平伸缩的演化
06 | 新技术层出不穷，HDFS依然是存储的王者
07 | 为什么说MapReduce既是编程模型又是计算框架？
08 | MapReduce如何让数据完成一次旅行？
09 | 为什么我们管Yarn叫作资源调度框架？
10 | 模块答疑：我们能从Hadoop学到什么？
模块二 大数据生态体系主要产品原理与架构 (7讲)
11 | Hive是如何让MapReduce实现SQL操作的？
12 | 我们并没有觉得MapReduce速度慢，直到Spark出现
13 | 同样的本质，为何Spark可以更高效？
14 | BigTable的开源实现：HBase
15 | 流式计算的代表：Storm、Flink、Spark Streaming
16 | ZooKeeper是如何保证数据一致性的？
17 | 模块答疑：这么多技术，到底都能用在什么场景里？
模块三 大数据开发实践 (8讲)
18 | 如何自己开发一个大数据SQL引擎？
19 | Spark的性能优化案例分析（上）
20 | Spark的性能优化案例分析（下）
21 | 从阿里内部产品看海量数据处理系统的设计（上）：Doris的立项
22 | 从阿里内部产品看海量数据处理系统的设计（下）：架构与创新
23 | 大数据基准测试可以带来什么好处？
24 | 从大数据性能测试工具Dew看如何快速开发大数据系统
25 | 模块答疑：我能从大厂的大数据开发实践中学到什么？
模块四 大数据平台与系统集成 (6讲)
26 | 互联网产品 + 大数据产品 = 大数据平台
27 | 大数据从哪里来？
28 | 知名大厂如何搭建大数据平台？
29 | 盘点可供中小企业参考的商业大数据平台
30 | 当大数据遇上物联网
31 | 模块答疑：为什么大数据平台至关重要？
模块五 大数据分析与运营 (5讲)
32 | 互联网运营数据指标与可视化监控
33 | 一个电商网站订单下降的数据分析案例
34 | A/B测试与灰度发布必知必会
35 | 如何利用大数据成为“增长黑客”？
36 | 模块答疑：为什么说数据驱动运营？
模块六 大数据算法 (6讲)
37 | 如何对数据进行分类和预测？
38 | 如何发掘数据之间的关系？
39 | 如何预测用户的喜好？
40 | 机器学习的数学原理是什么？
41 | 从感知机到神经网络算法
42 | 模块答疑：软件工程师如何进入人工智能领域？
智慧写给你的寄语 (1讲)
所有的不确定都是机会——智慧写给你的新年寄语
结束语 (2讲)
结束语 | 未来的你，有无限可能
第2季回归丨大数据之后，让我们回归后端
从0开始学大数据
登录|注册
28 | 知名大厂如何搭建大数据平台？
李智慧 2019-01-01
专栏第 26 期，我介绍了一个常规的大数据平台架构方案，这种架构方案是基于大数据平台 Lamda 架构进行设计的。事实上，业界也基本是按照这种架构模型搭建自己的大数据平台。
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
淘宝大数据平台
淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的 Hadoop 大数据平台，比较典型。
淘宝的大数据平台基本也是分成三个部分，上面是数据源与数据同步；中间是云梯 1，也就是淘宝的 Hadoop 大数据集群；下面是大数据的应用，使用大数据集群的计算结果。
数据源主要来自 Oracle 和 MySQL 的备库，以及日志系统和爬虫系统，这些数据通过数据同步网关服务器导入到 Hadoop 集群中。其中 DataExchange 非实时全量同步数据库数据，DBSync 实时同步数据库增量数据，TimeTunnel 实时同步日志和爬虫数据。数据全部写入到 HDFS 中。
在 Hadoop 中的计算任务会通过天网调度系统，根据集群资源和作业优先级，调度作业的提交和执行。计算结果写入到 HDFS，再经过 DataExchange 同步到 MySQL 和 Oracle 数据库。处于平台下方的数据魔方、推荐系统等从数据库中读取数据，就可以实时响应用户的操作请求。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《从0开始学大数据》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(10)
AF老师你好
我们公司是做互联网金融的，流处理需求很少，大多都是批处理之后生成的报表
每天基本上就是用sqoop增量的把MySQL中前一天的业务数据导入到hive。然后做一些业务上的报表计算，另外还有我负责的风控中请求的几个第三方数据，每天大概有五六十GB的样子，还有用户的通讯录数据等，以及一些相关报表的计算，数据量的话多的也就二三十亿条，离线计算都是Spark on yarn，调度系统是azkaban。
因为现在没有业务需求会用到hbase，
有很少的埋点数据，用kafka，Sparkstreaming处理一下。
感觉现在的那些批处理的东西都用的差不多了，天天觉得没啥有挑战的事情做，觉得心里挺空的，想过了年换工作，但是目前，各大公司也都在裁员，很是纠结。希望老师给点建议😁作者回复: 多了解业务，了解哪些业务的问题可以用大数据解决，走出去而不是等需求，多学习大数据的知识，扩展知识面，思考哪些大数据技术可以用到自己的工作中，会有很多机会的
2019-01-01 20
方得始终Apache Airflow是一个的编排，调度和监控工作流的开源工具。它的工作流设计是基于DAG，而且是用Python来编写，可以说是workflow as code。我目前正在学习使用。2019-01-02 6
杰之7通过这一节的阅读，熟悉了各大互联网公司的大数据平台。大致模式是通过某种方式，对数据库中的数据进行提取，导入到大数据平台中，然后对数据平台的数据进行计算，返回可使用的数据。
对整个过程的调度和把控，淘宝、美团、滴滴各自用自身公司开发的调度管理系统，处理调度的优先级和执行顺序。
生活在今天这个时代，每个人都能享受这种数据智能的便捷，除了计算机本身的功能，更有一大批从事数据工作的人为我们提供了这样的服务。数据能如此精准，那同样我们对于我们的工作和生活，也应有像数据人那样，认真对待，这样才会工作之余更好的跟上数据智能时代的节奏，把握我们自身的生活。2019-01-01 4
1请问老师，这些架构设计文档可以从哪些途径获得。2019-01-10 2
小桥流水可否推荐几款好的任务调度开源工具2019-01-02 1 2- 李刚入门大数据，想了解下对于大数据上的存储，现在都有什么类型的数据，怎么设计结构的，又是用什么组件存储的2019-10-24
wiikzhao虽然没做过大数据开发，我是0基础，从第一章节，看到第28期，看了下大数据分为两种，大数据的两种:实时和离线，最后还是合并到一起HDFS进行计算、存储。就是天下合久必分，分久必合的道理一样，根据不同的需求会进行拆分，但是最终还是会进行合的操作。2019-10-17 1
Wu桑老师您好 我一直没太明白大数据框架和微服务有什么联系和区别？微服务属于大数据平台吗？如果属于 那它是在哪一层呢？是数据采集 数据计算处理 还是输出层呢？2019-02-09
小老鼠大数据实际工作中必须布署在云平台上吗作者回复: 自己搭大数据集群也可以，数据量不大单机也可以。
2019-01-22
二老师，大厂这些平台的架构设计文档可以从哪些途径获得。2019-01-20
收起评论