从0开始学大数据
李智慧
同程艺龙交通首席架构师，前Intel大数据架构师，《大型网站技术架构》作者
立即订阅
14349 人已学习
课程目录
已完结 46 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术？
免费
预习模块 (3讲)
预习 01 | 大数据技术发展史：大数据的前世今生
预习 02 | 大数据应用发展史：从搜索引擎到人工智能
预习 03 | 大数据应用领域：数据驱动一切
模块一 Hadoop大数据原理与架构 (7讲)
04 | 移动计算比移动数据更划算
05 | 从RAID看垂直伸缩到水平伸缩的演化
06 | 新技术层出不穷，HDFS依然是存储的王者
07 | 为什么说MapReduce既是编程模型又是计算框架？
08 | MapReduce如何让数据完成一次旅行？
09 | 为什么我们管Yarn叫作资源调度框架？
10 | 模块答疑：我们能从Hadoop学到什么？
模块二 大数据生态体系主要产品原理与架构 (7讲)
11 | Hive是如何让MapReduce实现SQL操作的？
12 | 我们并没有觉得MapReduce速度慢，直到Spark出现
13 | 同样的本质，为何Spark可以更高效？
14 | BigTable的开源实现：HBase
15 | 流式计算的代表：Storm、Flink、Spark Streaming
16 | ZooKeeper是如何保证数据一致性的？
17 | 模块答疑：这么多技术，到底都能用在什么场景里？
模块三 大数据开发实践 (8讲)
18 | 如何自己开发一个大数据SQL引擎？
19 | Spark的性能优化案例分析（上）
20 | Spark的性能优化案例分析（下）
21 | 从阿里内部产品看海量数据处理系统的设计（上）：Doris的立项
22 | 从阿里内部产品看海量数据处理系统的设计（下）：架构与创新
23 | 大数据基准测试可以带来什么好处？
24 | 从大数据性能测试工具Dew看如何快速开发大数据系统
25 | 模块答疑：我能从大厂的大数据开发实践中学到什么？
模块四 大数据平台与系统集成 (6讲)
26 | 互联网产品 + 大数据产品 = 大数据平台
27 | 大数据从哪里来？
28 | 知名大厂如何搭建大数据平台？
29 | 盘点可供中小企业参考的商业大数据平台
30 | 当大数据遇上物联网
31 | 模块答疑：为什么大数据平台至关重要？
模块五 大数据分析与运营 (5讲)
32 | 互联网运营数据指标与可视化监控
33 | 一个电商网站订单下降的数据分析案例
34 | A/B测试与灰度发布必知必会
35 | 如何利用大数据成为“增长黑客”？
36 | 模块答疑：为什么说数据驱动运营？
模块六 大数据算法 (6讲)
37 | 如何对数据进行分类和预测？
38 | 如何发掘数据之间的关系？
39 | 如何预测用户的喜好？
40 | 机器学习的数学原理是什么？
41 | 从感知机到神经网络算法
42 | 模块答疑：软件工程师如何进入人工智能领域？
智慧写给你的寄语 (1讲)
所有的不确定都是机会——智慧写给你的新年寄语
结束语 (2讲)
结束语 | 未来的你，有无限可能
第2季回归丨大数据之后，让我们回归后端
从0开始学大数据
登录|注册
30 | 当大数据遇上物联网
李智慧 2019-01-05
某位互联网大佬说过，未来 20 年最有发展潜力的三项技术分别是：区块链、人工智能、物联网。关于区块链，现在可能是最有争议也是最迷茫的时候；关于人工智能的价值，我们已经达成共识并稳步发展；而真正完成早期探索、处于突破临界点的可能就是物联网了。
物联网确实也能给我们足够的想象空间：万物互联，所有的一切设备都是智能的，它们通过互相通信，彼此联系；而人们也可以通过云端的应用掌控一切，就像科幻电影描述的那样。
最关键的是，相比人工智能和区块链还在进行技术探索，物联网的技术已经成熟，只待“临门一脚”了。
物联网应用场景分析
现在说“万物互联”也许为时尚早，但是很多细分的垂直领域场景已经实现了物联网。
1. 智能家居
智能家居可能是和我们最接近，也是目前最普及的物联网。目前市面上销售的各种大家电，很多都有上网和远程控制功能。小米旗下的几乎所有家电都可以通过网络控制，这些设备和智能音箱联通，我们可以通过语音控制台灯、电饭煲、自动窗帘等。
下班回家，说一句“我回来了”，家里的灯立即打开，空调开启、窗帘关闭。要睡觉了，说声“晚安”，大灯关闭、夜灯开启、空气净化器进入夜间模式。是不是很酷？最重要的，这些技术和产品都已经成熟，而且价格低廉。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《从0开始学大数据》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(18)
My dream老师只是给我们讲些理论和美好的前景，一点实际操作都没有，唉😔！我们要的是如何利用大数据平台高效解决我们实际应用场景中的困难:一是如何搭建自己的大数据平台，二是如何将数据导入大数据平台，三是如何用sql来查询出自己想要的数据并通过图形可视化的方式展示出来作者回复: 我以为这些想要的我都讲过了😂这个模块前几篇的架构图要不再看看，只看图不看文字，理解下图中每个模块的作用和彼此之间的关系
2019-01-05 39- 小千说到物联网，GE的Predix和西门子的MindSphere平台是绕不过去的。物联网的难点不光是软件，还有硬件，高性能高可靠性低价传感器，高速数据总线，高吞吐量网关都是难啃的骨头。物联网目前最致命的问题是对于绝大多数用户来说成本和代价太高，诚然有一些用户通过物联网完成了信息化改造实现了效率的飞跃，但是想推广现在还是太难了。ge去年股价受到重挫，不得不把predix剥离出来独立运营，物联网的发展还是任重道远。
作者回复: 👍🏻
2019-01-05 15 - Sunny感觉智慧老师讲的很好呀😊，第一遍读的时候可能没理解，觉得讲的东西离自己很遥远，懵懵懂懂的感觉，第二遍再看的时候突然有种恍然大悟，觉得讲的太好了，看来智慧老师讲的东西还是要多读几遍才好😄
作者回复: 😇
2019-03-04 1 6 
Dr.Strangelove“我们要的是如何利用大数据平台高效解决我们实际应用场景中的困难:一是如何搭建自己的大数据平台，二是如何将数据导入大数据平台，三是如何用sql来查询出自己想要的数据并通过图形可视化的方式展示出来”——引用自热评。这个专栏一直看到现在，感觉内容就好像某某平台教人如何实现财务自由一类的专栏似的，前几篇入门原理还可以后面讲的都是些屠龙术和空洞内容，在日常应用中没有啥价值甚至有被割韭菜收智商税的感觉。。。作者回复: 我以为这些想要的我都讲过了，一和二，至少花了一篇专栏讲😂
2019-01-07 3 6
修行者1. 马老板搞的 无人超市 应该是物联网应用的典型场景之一：每个物品都有 RFID，结账只需要过一遍闸机，自动扣款；各个地方都有摄像头，货架有传感器，分析；大数据技术可以分析消费行为，物品摆放位置等。
2. 东哥的智慧物流的自动分拣设备也是物联网应用场景之一：引进智能机器人设备对快递分拣，通过云端控制这些机器人的分拣规则，以及优化分拣路径。2019-01-05 5
有人@我老师 你应该讲一些心得 讲讲自己从事过大数据相关的项目2019-01-05 4
木白物联网的另一个应用就是智能穿戴了，但是“穿戴”这个概念目前好像就只有手表或者手环这种载体落地比较多一点。目前能够实现计时、提醒、步数、心律、等基本的操作。希望未来能够真正实现健康的监测，比如对于老年人实时上报健康状况。其他产品的话，未来我能想到的可以做智能温控的衣服、户外的时候可以采集热量，冷的时候可以释放采集的热量；自动感光或者当做屏幕显示的眼镜等2019-01-09 3
warm_day感觉物联网不仅用到了老师上面提到的技术，还结合了单片机，PLC等技术😄作者回复: 是的，物联网很多技术在端的一边，不过我们专栏是关于大数据的，内容关注云多一些。
2019-01-05 3
纯洁的憎恶吴军老师多次提出Iot是跟踪经济的前提。IoT在制药到销售环节的应用有可能杜绝假药、过期药，在人体健康指标跟踪方面可以提早预防疾病，还可以跟踪商业领域的每一笔交易，跟踪产业的全生命流程。
比如他在《智能时代》中讲过，美国酒吧的酒保偷酒喝情况很普遍，现在可以将酒架略作改装，一个酒吧大约需要1-2万美元，再将一个传感器（只要25美分）贴到酒瓶底下就可以了。这样，每一次倒酒，由谁倒的，在几点几分，倒了多少，跟踪记录得一清二楚。这些数据还通过移动互联网，送到老板的平板电脑中，这样老板即使不在家，也能了解每一笔交易的细节。
我们的主要供应商金风公司，通过IoT不仅了解到自己的风力发电机卖到了世界什么地区，而且知道每一台发电机后来运行的情况，这样就便于他们主动为用户维护发电机，而之前因为对运行情况一无所知，只能由当地工程商维护。2019-01-05 2
强哥有时间可以聊聊数据建模相关的知识吗？2019-01-06 1
杰之7通过这一节的阅读学习，理解了物联网中的大数据平台框架。
传感器与移动设备端将数据传输给智能网关，智能网关对传输来得数据进行数据处理，通过消息队列的方式传输给物联网大数据平台。
物联网大数据平台储存处理过后的数据。Storm通过实时计算发送给应用程序和存储设备。Spark通过对储存设备的数据进行批量计算处理和计算学习，并更新学习模型。应用程序通过设备端发送指令给智能网关，达到对智能终端设备的控制。
这样对完成了端—云—端的流程处理。万物互联依赖大数据技术，同时也会进一步促进大数据的发展。2019-01-06 1- 安德鲁andrew非常好，我几乎能拿原稿跟别人画饼，效果显著！2019-03-28
zjhiphop应用场景很多，例如：智能家居，智慧酒店，智能工厂，智慧小镇等。物联网是在传统行业的基础上进行改造升级，实现互联互通，提升生活便利。其中大数据平台的应用我认为需要有几个阶段：第一阶段是监控设备的状态，能够通过模型分析出故障数据；第二阶段是利用模型做预测性维护，通过设备传感器的前期异常数据来预测后续可能产生的故障2019-02-02
小老鼠Ipv6提出好些年头了，何时可以大量普及应用，难道我们现在不缺IP了吗？2019-01-22
格非物联网和大数据技术应用到工业领域，形成工业物联网、工业大数据2019-01-16
小气筒水电暖燃气等企业，各类表具一系列数据需要通过LORA,NB等协议通过采集器基站准实时或者实时的上传到大数据平台，数据通过清洗传送到业务中台供业务，应用，决策使用作者回复: 👍
2019-01-14
星辰这么说，大数据系统也是物联网的基础。
那，物联网技术的架构还会发生大的改变吗？
另外，新的技术诞生，蕴含着许多新的标准、规范，现在有没有哪家公司在物联网领域定义了什么标准或者规范呀？2019-01-07- 纯洁的憎恶这个大佬是吴军老师么2019-01-05
收起评论