从0开始学大数据
李智慧
同程艺龙交通首席架构师，前Intel大数据架构师，《大型网站技术架构》作者
立即订阅
14333 人已学习
课程目录
已完结 46 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术？
免费
预习模块 (3讲)
预习 01 | 大数据技术发展史：大数据的前世今生
预习 02 | 大数据应用发展史：从搜索引擎到人工智能
预习 03 | 大数据应用领域：数据驱动一切
模块一 Hadoop大数据原理与架构 (7讲)
04 | 移动计算比移动数据更划算
05 | 从RAID看垂直伸缩到水平伸缩的演化
06 | 新技术层出不穷，HDFS依然是存储的王者
07 | 为什么说MapReduce既是编程模型又是计算框架？
08 | MapReduce如何让数据完成一次旅行？
09 | 为什么我们管Yarn叫作资源调度框架？
10 | 模块答疑：我们能从Hadoop学到什么？
模块二 大数据生态体系主要产品原理与架构 (7讲)
11 | Hive是如何让MapReduce实现SQL操作的？
12 | 我们并没有觉得MapReduce速度慢，直到Spark出现
13 | 同样的本质，为何Spark可以更高效？
14 | BigTable的开源实现：HBase
15 | 流式计算的代表：Storm、Flink、Spark Streaming
16 | ZooKeeper是如何保证数据一致性的？
17 | 模块答疑：这么多技术，到底都能用在什么场景里？
模块三 大数据开发实践 (8讲)
18 | 如何自己开发一个大数据SQL引擎？
19 | Spark的性能优化案例分析（上）
20 | Spark的性能优化案例分析（下）
21 | 从阿里内部产品看海量数据处理系统的设计（上）：Doris的立项
22 | 从阿里内部产品看海量数据处理系统的设计（下）：架构与创新
23 | 大数据基准测试可以带来什么好处？
24 | 从大数据性能测试工具Dew看如何快速开发大数据系统
25 | 模块答疑：我能从大厂的大数据开发实践中学到什么？
模块四 大数据平台与系统集成 (6讲)
26 | 互联网产品 + 大数据产品 = 大数据平台
27 | 大数据从哪里来？
28 | 知名大厂如何搭建大数据平台？
29 | 盘点可供中小企业参考的商业大数据平台
30 | 当大数据遇上物联网
31 | 模块答疑：为什么大数据平台至关重要？
模块五 大数据分析与运营 (5讲)
32 | 互联网运营数据指标与可视化监控
33 | 一个电商网站订单下降的数据分析案例
34 | A/B测试与灰度发布必知必会
35 | 如何利用大数据成为“增长黑客”？
36 | 模块答疑：为什么说数据驱动运营？
模块六 大数据算法 (6讲)
37 | 如何对数据进行分类和预测？
38 | 如何发掘数据之间的关系？
39 | 如何预测用户的喜好？
40 | 机器学习的数学原理是什么？
41 | 从感知机到神经网络算法
42 | 模块答疑：软件工程师如何进入人工智能领域？
智慧写给你的寄语 (1讲)
所有的不确定都是机会——智慧写给你的新年寄语
结束语 (2讲)
结束语 | 未来的你，有无限可能
第2季回归丨大数据之后，让我们回归后端
从0开始学大数据
登录|注册
33 | 一个电商网站订单下降的数据分析案例
李智慧 2019-01-12
企业运营的数据可以让管理者、运营人员、技术人员全面、快速了解企业的各项业务运行的状况，并发现公司可能出现的经营问题，进而能通过这些指标进行详细分析，最后定位问题的原因，并找到解决的办法。
今天我们一起通过一个案例，来看看如何通过数据分析追踪并解决问题。
数据分析案例
X 网站是一家主营母婴用品的电商网站，网站运营多年，是该领域的领头者之一，各项数据指标相对比较稳定。运营人员发现从 8 月 15 日开始，网站的订单量连续四天明显下跌。由于受节假日、促销、竞争对手活动等影响，日订单量有所起伏是正常现象，所以前两天（8.15、8.16）运营人员并没有太在意。
但是，8 月 18 号早晨发现 8 月 17 号的订单量并没有恢复到正常水平，运营人员开始尝试寻找原因：是否有负面报道被扩散，是否竞争对手在做活动，是否某类商品缺货、价格异常，但是并没有找到原因。并且第二天发现订单量依然没有恢复正常，于是将问题提交给数据分析团队，作为最高优先级成立数据分析专项小组进行分析。
你从上图可以看到，8 月 15 日开始订单量明显下滑。
数据分析师第一反应是网站新增用户出现问题，因为历史上出现过类似比例的订单量下跌，当时查找到的原因是，网站的主要广告推广渠道没有及时续费，广告被下架，新增用户量明显下滑导致订单量下降。数据分析师拉取了同期的新增用户量数据，发现新增用户并没有明显下降，如下图所示。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《从0开始学大数据》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(11)
强哥能否讲下数仓的建设，例如建模平台的建设，正所谓“烂程序员关心的是代码，好程序员关心的是数据结构和他们之间的关系”。2019-01-12 11
且听风吟我们属于创业公司数据分析这块刚起步，数据量也并不大，数据分析的需求主要还是PV,UV,广告点击等指标，然后给出数据报表，可视化图表等数据。
目前技术实现上上围绕Elasticsearch来进行，通过日志、埋点、爬虫等方式收集数据，用python清洗后存入Elasticsearch并基于es进行各种纬度的分析。请问下针对小公司小数据量的数据分析老师有什么好的建议，是否一开始就使用spark，Hadoop，hdfs这些比较重的大数据工具呢？ 另外Elasticsearch是一个非常容易上手的数据搜索和分析工具，能否介绍下它在数据分析中的案例和场景呢？2019-01-12 6
老男孩把大目标分解成小目标，把小目标再分解成更小的目标。更小的目标更容易完成，也能带来完成小目标的成就感和满足感。如果只盯着大目标，有时候会迷失方向，最终放弃。老师的这种方法可以应用在日常的工作和学习中，久而久之，随着经验的积累，认知的不断升级，也许有一天也能抢答了。作者回复: 👍
2019-01-14 5
吴水永归因分析是数据分析一种基本能力，能力高低可可分为点，线，面。
解决过或旁观别人解决过问题，很自然想到这个方式，应用到新的问题上，手里拿着锤子，满眼看到都是钉子，这可谓之点。
积累多种解决问题之后，学会了金字塔之类的，按维度来逐级拆分，直到问题出现的粒度，这可谓之线。
世界是多维的，在时空上有外部，内部之分，同样亦有时间先后之后，另外也有宏观，微观之分。对应的就是切片，漏斗，市场经济，心理学维度。在不同角度的维度下，分析问题才会是全面的，才算是成体系。此谓之面。
正如文末所言，真正的高手，或者刻意练习的熟手，可能一眼就甄别出问题所在。2019-08-13 1 1
吴科🍀我们实际处理问题，大多也是通过转化漏斗分析，找到异常指标，一步步追查下去。
找到原因，有外部，也有内部的。
绝大部分是内部原因，运营问题，程序bug等等2019-01-12 1- weiruan85课程中提到的大数据思维是这节课对我最大的启发，作为一名从事IT运维多年的工程师，习惯从自身职业的角度看问题，对于从事大数据相关的工作，如何能够从数据中分析出异常，如何借助数据对问题进行思考是以后要重点学习的。
另外对于锻炼一个人的数据的思维，老师有没有什么建议？作者回复: 多实践，运维也是一个需要面对很多数据的工作，关注采集数据，整理统计数据，分析数据，在实践中提高。
2019-08-14 
hallo128异常监控本身就是一个大的课题，数据分析师人工介入来排查问题是一种方案。但对数据分析师本身来说，常规的异常检测完全可能设计的自动化一些。比如：转化漏斗上的问题，可以自动根据指标的波动异常比较判断来进行排查。2019-01-29
小老鼠1、金字塔分析法与思维导图分析法有无区别。
2、软件性能监控有无相应的大数据软件。2019-01-22
杰之7通过这一节的阅读学习,老师用一个实际电商案例做了数据分析。我也能感受到真正拥有这种数据分析思维的人，能看到事物的本质，找到事物问题的根源。
在这个案例中，由于订单量的下降，通过金字塔漏斗图对比分析各个因素的转化情况，之后发现是咨询量下降指导最后的订单量下降。
我自己认为的数据分析是在熟悉业务流程之后，对暴露出来的问题，通过数据分析方法和工具得到我们想要的结果。而这样思维是完全可以在后天的努力下训练出来的。2019-01-16
李劍℡₁₅₈ ₃₄₁ ₁₃₁₄...老师，您好！
有时间的话帮分享一下智能预测平台如何搭建的吧。2019-01-14
Hyun我觉得数据监控在把控各个子系统的稳健性上面也应该重视起来。
没有完整的数据治理方案，这些系统级别的异常无异于抓瞎。2019-01-12
收起评论