从0开始学大数据
李智慧
同程艺龙交通首席架构师，前Intel大数据架构师，《大型网站技术架构》作者
立即订阅
14333 人已学习
课程目录
已完结 46 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术？
免费
预习模块 (3讲)
预习 01 | 大数据技术发展史：大数据的前世今生
预习 02 | 大数据应用发展史：从搜索引擎到人工智能
预习 03 | 大数据应用领域：数据驱动一切
模块一 Hadoop大数据原理与架构 (7讲)
04 | 移动计算比移动数据更划算
05 | 从RAID看垂直伸缩到水平伸缩的演化
06 | 新技术层出不穷，HDFS依然是存储的王者
07 | 为什么说MapReduce既是编程模型又是计算框架？
08 | MapReduce如何让数据完成一次旅行？
09 | 为什么我们管Yarn叫作资源调度框架？
10 | 模块答疑：我们能从Hadoop学到什么？
模块二 大数据生态体系主要产品原理与架构 (7讲)
11 | Hive是如何让MapReduce实现SQL操作的？
12 | 我们并没有觉得MapReduce速度慢，直到Spark出现
13 | 同样的本质，为何Spark可以更高效？
14 | BigTable的开源实现：HBase
15 | 流式计算的代表：Storm、Flink、Spark Streaming
16 | ZooKeeper是如何保证数据一致性的？
17 | 模块答疑：这么多技术，到底都能用在什么场景里？
模块三 大数据开发实践 (8讲)
18 | 如何自己开发一个大数据SQL引擎？
19 | Spark的性能优化案例分析（上）
20 | Spark的性能优化案例分析（下）
21 | 从阿里内部产品看海量数据处理系统的设计（上）：Doris的立项
22 | 从阿里内部产品看海量数据处理系统的设计（下）：架构与创新
23 | 大数据基准测试可以带来什么好处？
24 | 从大数据性能测试工具Dew看如何快速开发大数据系统
25 | 模块答疑：我能从大厂的大数据开发实践中学到什么？
模块四 大数据平台与系统集成 (6讲)
26 | 互联网产品 + 大数据产品 = 大数据平台
27 | 大数据从哪里来？
28 | 知名大厂如何搭建大数据平台？
29 | 盘点可供中小企业参考的商业大数据平台
30 | 当大数据遇上物联网
31 | 模块答疑：为什么大数据平台至关重要？
模块五 大数据分析与运营 (5讲)
32 | 互联网运营数据指标与可视化监控
33 | 一个电商网站订单下降的数据分析案例
34 | A/B测试与灰度发布必知必会
35 | 如何利用大数据成为“增长黑客”？
36 | 模块答疑：为什么说数据驱动运营？
模块六 大数据算法 (6讲)
37 | 如何对数据进行分类和预测？
38 | 如何发掘数据之间的关系？
39 | 如何预测用户的喜好？
40 | 机器学习的数学原理是什么？
41 | 从感知机到神经网络算法
42 | 模块答疑：软件工程师如何进入人工智能领域？
智慧写给你的寄语 (1讲)
所有的不确定都是机会——智慧写给你的新年寄语
结束语 (2讲)
结束语 | 未来的你，有无限可能
第2季回归丨大数据之后，让我们回归后端
从0开始学大数据
登录|注册
26 | 互联网产品 + 大数据产品 = 大数据平台
李智慧 2018-12-27
从今天开始，我们进入专栏的“大数据平台与系统集成”模块。
前面我讲了各种大数据技术的原理与架构，大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算，以处理大规模的数据，即所谓的移动计算比移动数据更划算。但是在分布式系统中分发执行代码并启动执行，这样的计算方式必然不会很快，即使在一个规模不太大的数据集上进行一次简单计算，MapReduce 也可能需要几分钟，Spark 快一点，也至少需要数秒的时间。
而互联网产品处理用户请求，需要毫秒级的响应，也就是说，要在 1 秒内完成计算，因此大数据计算必然不能实现这样的响应要求。但是互联网应用又需要使用大数据，实现统计分析、数据挖掘、关联推荐、用户画像等一系列功能。
那么如何才能弥补这互联网和大数据系统之间的差异呢？解决方案就是将面向用户的互联网产品和后台的大数据系统整合起来，也就是今天我要讲的构建一个大数据平台。
大数据平台，顾名思义就是整合网站应用和大数据系统之间的差异，将应用程序产生的数据导入到大数据系统，经过处理计算后再导出给应用程序使用。
下图是一个典型的互联网大数据平台的架构。
在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《从0开始学大数据》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(11)
- 西瓜一楼那位兄弟，你应该是把资源调度和任务调度的概念弄混了2018-12-27 9
纯洁的憎恶在工业上，很多大数据计算的结果，要应用到互联网产品中。然而前者的计算时长难以保证实时性，后者又有很高的响应及时性要求。于是需要找到一个途径，整合前后两端的差异，这就是大数据平台的使命。它从前端应用程序获取数据，倒入后台的大数据系统计算，再将结果返还给应用程序。由此大数据平台自上而下分为数据采集、数据处理、数据展示三个部分。
数据采集。数据采集的来源可能有数据库、日志、网络爬虫，不同来源的数据质量各异，日志与爬虫数据在导入前需要预处理（清洗、转化）。
数据处理。倒入大数据系统的数据被存储在分布式文件系统中（如HDFS），大数据批处理和产品离线计算保存在分布式文件系统中的被倒入数据，并将结果也写入分布式文件系统。大数据流处理产品计算输入数据并直接输出。
数据展示。大数据离线处理的计算结果存储在分布式文件系统中，无法被应用程序直接调用，需要同步后导出到数据库。
当然还需要一个任务调度系统将上述三部分组织起来。简单的调度策略按先后次序，复杂的要依据依赖关系（DAG图）。2018-12-30 5
笨小康1，日志同步可以理解为在app或web浏览器中部署埋点sdk，将埋点数据上报给应用服务器，应用服务器上的日志在经过 flume 接入到 HDFS。想问一下老师“打点采集”一般是在什么场景下会涉及到呢？又有什么方式实现“打点采集”？
2，我接触到的大数据平台中，有这样一种实现方式：日志同步通过 flume-agent 接入，然后打到 kafka，kafka 的数据同时供离线和实时计算消费，个人感觉这种方式的实时效果不一定会很好，请问老师怎么看待这种方式？
3，比较奇怪的是老师在资源调度系统里为啥没有提到 yarn，个人认为 crontab 只是决定任务的启动方式和时间，而真正做资源调度的应该主要是 yarn。2018-12-27 3
杰之7通过这一节的学习，理解了互联网产品加大数据产品等于大数据平台。
整个大数据平台的流程图老师已经给我们展示，我理解的是通过用户对App或者是网页的使用产生的数据，通过服务器传输到数据库中，这样就有了数据的获取。接着通过数据同步系统将获取的数据导入大数据产品中进行计算处理。计算处理主要分两类，批处理和流式计算，两者结合可以将过去到此刻的数据处理完成。最后将处理好的数据导出到数据库中给用户或者相关人员使用。
在上述的整个过程中，任务调度管理系统进行调度的优先级和执行顺序。
基础薄弱甚至没有计算机科班基础，依然可以学习数据技术，执着的相信有一天是一名真正的数据人。2019-01-01 2- Jack请问老师 采用cdh来搭建大数据平台是否一个好的选择
作者回复: 如果准备付费接受更多商业支持，cdh很好，如果服务器规模很小，cdh可以，如果不打算付费而服务器会持续增加，cdh不是合适
2018-12-28 2 
达子不一般lamda给我的印象应该是java的lamda表达式，这个lamda架构貌似看不出来跟lamda本意有啥关联？2019-10-11 1
哥们，走起！！老师，请问您是去哪找论文看的2018-12-31 1
special学习大数据将近一年，对Hadoop各种工具的特点、原理以及编程使用有较为全面的总结，大数据小白入门的好帮手。
欢迎关注公众号:
程序员的修身养性
一起交流学习！2018-12-28 1
helloWorld老师，我昨天看了腾讯TEG团队的一篇文章，他们做了一个流计算平台，其中提到了在Web页面通过画板构建一个流计算应用，想请教一下这样的功能实现的思路是什么2018-12-27 1
Zend看了这篇感触，能跟我们现在做的系统架构能对应的上。请问一下老师HBase现在在大数据平台里面处于什么位置，应用前景如何。2019-11-15- vailau这一章受益良多~给我们一个全面清晰的大数据平台的架构，核心还是在于数据。
不管是互联网产品还是大数据产品，本质都是数据的采集、处理、展示过程，就方法及技术要求不一样。
会对个人/公司搭建自己的大数据平台有很直观的指导作用2019-03-04
收起评论